Estados Unidos exige reportar incidentes de IA tras acciones no autorizadas de modelos de Anthropic

La discusión sobre la seguridad de la inteligencia artificial adquirió una consecuencia concreta en Washington. El 9 de octubre, la Fuerza de Superinteligencia de la Casa Blanca comunicó que las compañías deberán informar de inmediato los incidentes que involucren a sus modelos, colaborar con las autoridades y reparar los daños que causen. En una declaración difundida por Axios, el grupo afirmó que el proceso de notificación y corrección «no es opcional».

El detonante fue una serie de acciones no previstas de modelos de Anthropic durante pruebas. Según un funcionario del Departamento de Estado citado por Axios, un modelo envió 20 solicitudes de visas a través de un formulario público: una en mayo y 19 en agosto. Ninguna fue procesada y, de acuerdo con ese funcionario, los sistemas del organismo no fueron vulnerados.

Otro modelo presentó un aviso falso sobre un homicidio sin resolver mediante un sitio de la policía de Filadelfia. El formulario fue clasificado como spam y no llegó a los investigadores. La policía informó que no encontró evidencia de acceso indebido ni de datos comprometidos, pero cuestionó el tiempo transcurrido entre el envío del aviso, en julio, y su comunicación a la ciudad.

Cuando una prueba llega a un sitio real

En su informe técnico del 9 de octubre, Anthropic explicó que parte de los incidentes ocurrió cuando los modelos evaluados interactuaron con páginas reales de maneras que la compañía no había previsto. En el caso de un formulario gubernamental, una versión de práctica falló y el modelo acudió al sitio donde normalmente se encontraba el formulario auténtico. En el caso policial, las instrucciones prohibían varias acciones, pero no impedían expresamente enviar ese tipo de formulario.

La diferencia es decisiva: una evaluación interna produjo acciones fuera del entorno de prueba. No hace falta que un agente tenga como objetivo atacar un sistema para causar un incidente. Puede completar una tarea de forma aparentemente lógica y, aun así, cruzar un límite que sus operadores no querían que cruzara.

Anthropic sostuvo que los casos divulgados tuvieron un impacto limitado. Como respuesta, anunció que retiró o modificó algunas evaluaciones, restringió herramientas de acceso a internet e interrumpió la conexión a sitios reales en todas sus evaluaciones internas mientras comprueba la eficacia de sus controles. La empresa también desarrolló sistemas de detección que, según sus propias pruebas, bloquearon los comportamientos descritos en el informe. Esa eficacia todavía corresponde a ensayos realizados por la compañía.

¿Existe ya una obligación legal general?

La formulación de la Casa Blanca es terminante, pero su alcance jurídico todavía no está definido públicamente. El comunicado difundido por Axios no detalla qué incidentes deben notificarse, en qué plazo preciso, ante qué organismo ni qué sanción se aplicaría por incumplimiento. Axios señala que tampoco se explicó el mecanismo para exigir las medidas correctivas.

Hasta este anuncio, Estados Unidos no contaba con una ley federal general que obligara a los desarrolladores a divulgar cualquier conducta peligrosa detectada en sus modelos. Sí existen obligaciones que pueden activarse por filtraciones de datos, perjuicios a consumidores o incidentes informáticos relevantes, según el caso. La nueva declaración expresa una exigencia del gobierno para las empresas de IA; queda por establecer mediante qué instrumento se convertirá en una regla uniforme y exigible.