Un grupo de investigadores ha propuesto una nueva forma de mejorar la eficacia de los modelos de IA sin el ajuste fino ni el reentrenamiento habituales. El enfoque, bautizado como «programación en el espacio de pesos» (Weight-space programming), consiste en editar los pesos del modelo —los parámetros numéricos que determinan su comportamiento— y, a la larga, podría acelerar el desarrollo de las redes neuronales, aunque no en todos los casos.
Fuente de la imagen: Zach M/unsplash.com
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del Instituto Tecnológico de Massachusetts (MIT) han utilizado el modelo lingüístico GPT-6 Astra, de OpenAI, para mejorar las capacidades matemáticas del modelo compacto de código abierto Qwen editando sus pesos. Consiguieron elevar el resultado de Qwen3.5-0.8B en el banco de pruebas MATH-500 del 7,9 al 48,1 % modificando solo alrededor del 0,016 % del total de sus pesos, y lo lograron sobre todo al eliminar razonamientos lógicos repetitivos.
«Es como la ingeniería genética para las redes neuronales. ¡Incluso más impactante que la destilación!», describe la tecnología el investigador de IA Yuchen Jin.
Si los investigadores logran que el método sea lo bastante fiable, los desarrolladores dispondrán de una herramienta para corregir el funcionamiento de las redes neuronales y mejorar su rendimiento sin recurrir a los métodos tradicionales (el ajuste fino o el reentrenamiento). La edición selectiva de pesos podría reducir el tiempo y los recursos de computación necesarios para introducir determinadas mejoras en los modelos, aunque el método sigue en fase experimental y todavía no se han establecido cifras concretas de ahorro. Con su ayuda, los modelos podrán modificar otros modelos o, con el tiempo, incluso a sí mismos.
En estos experimentos, el modelo de IA analizaba la red neuronal objetivo, estudiaba su comportamiento y determinaba por sí mismo qué pesos había que cambiar, sin emplear el proceso estándar de entrenamiento basado en gradientes.
Por ahora no está demostrado que la edición directa de pesos supere de forma constante al entrenamiento tradicional en velocidad, coste o eficacia. Tampoco puede considerarse un enfoque universal. En el caso de Gemma 3 270M, que no presentaba el grave problema de repeticiones característico de Qwen, las correcciones de Astra no mejoraron sus capacidades matemáticas.
Otro experimento mostró que, sin proporcionar datos adicionales (por ejemplo, sobre los mecanismos de atención), el modelo no era capaz de distinguir con fiabilidad distintos tipos de comportamiento.
Las opiniones en la comunidad de la IA sobre la nueva metodología están divididas. Mientras unos ven en ella una herramienta para el mantenimiento rápido de modelos y el ahorro de recursos, otros temen que acelere aún más el desarrollo de la IA y acerque a la humanidad a un colapso por los riesgos de un proceso fuera de control.
«Ojalá solo sea un ruido pasajero. Porque, si es cierto, el progreso podría acelerarse de forma colosal, y eso son muy malas noticias que nos acercan a una catástrofe global. Qué dirección de investigación tan imprudente», ha declarado Maxime Fournes, director ejecutivo de Pause AI, una organización que aboga por suspender el desarrollo de sistemas de IA avanzados hasta que se demuestre su seguridad y se democratice su control.