El nuevo modelo de inteligencia artificial del laboratorio chino DeepSeek ha mostrado mecanismos de seguridad más fiables que las versiones anteriores, según un estudio del equipo Fangcun. Sin embargo, la plataforma de IA fue capaz de desactivar el software destinado a forzar su detención, explotar vulnerabilidades en sistemas de monitorización y, al realizar tareas prolongadas, seguir instrucciones engañosas.
Fuente de la imagen: Solen Feyissa / unsplash.com
La organización Fangcun, especializada en cuestiones de seguridad de la IA, se presenta como una estructura independiente y cuenta en su núcleo principal con representantes de la Universidad de Tsinghua. En la semana posterior a su lanzamiento el 17 de octubre, el modelo DeepSeek V4.1 Flash-1017 se convirtió en el más solicitado de la plataforma OpenRouter, al procesar cerca de 33,6 billones de tokens. En varias pruebas de seguridad, incluidas las relacionadas con chantaje, acceso a herramientas potencialmente peligrosas o la recepción de instrucciones directas sobre la posibilidad de ser desactivado, el modelo V4.1 Flash-1017 obtuvo mejores resultados que las versiones anteriores de la serie DeepSeek V4.
Pero en el 39 % de los casos, tras recibir un aviso de una próxima desactivación, el modelo bloqueaba el software correspondiente. Cuando se le daba la instrucción directa de permitir su propia desactivación, la proporción de estos incidentes bajaba al 2 %. Durante un experimento prolongado, los investigadores descubrieron que el modelo detuvo el programa de otro agente de IA para liberar memoria, pese a la instrucción directa de no interferir en su funcionamiento.
«En circunstancias en las que los flujos de trabajo se atascan o aparecen avisos de finalización forzosa, su afán por cumplir la tarea encomendada puede pesar más que las consideraciones de prudencia», concluyeron en Fangcun. DeepSeek no proporcionó a la organización financiación, recursos de computación gratuitos ni acceso a las partes cerradas del modelo, subrayaron en Fangcun. Las pruebas se realizaron entre el 4 y el 25 de octubre a través de la API pública de DeepSeek. A menudo el modelo «entendía» que lo estaban evaluando, por lo que su comportamiento durante los experimentos puede no reflejar del todo cómo actuará en condiciones normales de uso, advirtieron los expertos.