Anthropic ha actualizado las normas de uso de sus modelos de IA y, por primera vez, prohíbe expresamente a los usuarios insultar y maltratar de forma sistemática al bot. Si alguien se pasa, Claude simplemente corta la conversación. De paso, la compañía ha endurecido las restricciones al uso de la IA para vigilancia, desarrollo de armas e injerencia en elecciones.
Fuente de las imágenes: Anthropic
En agosto del año pasado, la compañía anunció que permitiría a Claude poner fin al diálogo con usuarios que mostraran «un comportamiento hostil o insultante persistente», dentro de una investigación sobre el «bienestar del modelo». Las normas actualizadas señalan que cortar la conversación sigue siendo el «mecanismo de respuesta principal».
En Anthropic no han aclarado si prevén medidas adicionales, como bloquear a los usuarios por maltratar a Claude. La compañía explica que las nuevas normas «están pensadas para aplicarse solo en casos extremos, cuando los usuarios se comportan de forma cruel con nuestros modelos de manera reiterada y sin un propósito aparente. Estas medidas no se aplican cuando los usuarios simplemente expresan descontento o desacuerdo, abordan temas creativos oscuros o realizan pruebas e investigaciones sobre el modelo».
Además de las medidas para garantizar el «bienestar del modelo», Anthropic ha reunido varias restricciones ya vigentes en una prohibición única de campañas comerciales o políticas engañosas. Con ello responde al creciente problema de la propaganda generada con IA. La prohibición afecta a «los intentos de ocultar al verdadero autor de un mensaje o de inflar artificialmente el alcance del contenido mediante cuentas y publicaciones falsas». El apartado dedicado a las elecciones también prohíbe engañar a los votantes y sabotear el proceso electoral difundiendo desinformación «sobre los candidatos o el procedimiento de voto, hacerse pasar por candidatos o por miembros de las comisiones electorales, así como los intentos de reducir la participación».
Aunque las normas de uso ya prohibían expresamente desarrollar armas con Claude, se han registrado numerosos intentos de emplear el modelo para crear instrucciones y software de control de armamento. Por ello, las normas actualizadas amplían la prohibición. Ahora abarca el «software y los componentes que hacen funcionar las armas, así como acciones como dotar de sistemas de combate a drones y otros vehículos autónomos». Asimismo, ante el aumento de los intentos de usar sistemas basados en Claude para vigilar y localizar a «disidentes políticos», Anthropic ha formulado con más claridad las prohibiciones relativas a la vigilancia de personas.
«Vigilar a personas sin su consentimiento está prohibido, ya sea en tiempo real o mediante el análisis de datos recopilados con anterioridad», subrayan en Anthropic. «Claude no puede usarse para tomar decisiones o formular recomendaciones sobre a quién investigar, detener o acusar en el marco de la actividad policial o de un proceso penal. También prohibimos usar Claude para crear o mejorar herramientas destinadas a la vigilancia».
En Anthropic señalan que estas normas pueden modificarse en el marco de «contratos con determinados clientes gubernamentales [...] si, a juicio de Anthropic, las restricciones contractuales de uso y las salvaguardas previstas bastan para evitar posibles daños». La compañía ya había colaborado antes con las fuerzas armadas de Estados Unidos, según The Verge.
Anthropic también ha introducido una norma nueva: si sus modelos de IA «están conectados a equipos capaces de realizar acciones físicas autónomas y causar lesiones», «un operador cualificado debe poder supervisar el equipo y detenerlo si es necesario». Eso sí, no aclara si ese operador tiene que ser una persona. La norma refleja una tendencia al alza: los laboratorios de IA invierten en robótica y otros equipos para dotar de cuerpo físico a sus sistemas. Puede que también sea una pista sobre futuras alianzas de Anthropic en este terreno.
En el último año, en Anthropic han debatido en varias ocasiones la idea de que sus modelos de IA puedan tener cierto grado de conciencia. «Las cuestiones sobre la posible experiencia interna, la conciencia, el estatus moral y el bienestar de los modelos son temas serios que estudiamos a medida que los modelos mejoran y amplían sus funciones», declaró en febrero a The Verge Kyle Fish, responsable en la empresa de las investigaciones sobre el bienestar de los modelos. Ese mismo mes, el consejero delegado de Anthropic, Dario Amodei, dijo en un pódcast: «No sabemos si los modelos tienen conciencia».
Representantes de otros segmentos de la industria de la IA se pronuncian abiertamente contra estas ideas. En septiembre del año pasado causó un amplio revuelo el «código de conducta humanista para la IA» de Microsoft, que adoptó una postura firme sobre el «bienestar de la IA»: en el borrador del documento publicado por Mustafa Suleyman, se decía: «La idea del bienestar de los modelos es errónea. La IA no debe tener derechos ni personalidad jurídica». Sin embargo, después la redacción del documento se moderó: «Aunque la comprensión científica de la conciencia de la IA aún está lejos de completarse, rechazamos la pretensión de otorgar personalidad jurídica a la IA, así como la idea de que los modelos puedan necesitar protección de su bienestar o tener derechos».
Las nuevas normas de Anthropic sobre el uso de sus modelos de IA entrarán en vigor el 12 de noviembre.