Científicos impulsan un organismo internacional para supervisar la IA avanzada

Unos 400 científicos de 34 países, entre ellos Geoffrey Hinton y Yoshua Bengio, reclamaron la creación de un organismo internacional que supervise la seguridad de sistemas avanzados de inteligencia artificial con capacidades cibernéticas. Según Reuters, la propuesta contempla estándares comunes de contención, evaluaciones independientes y un registro de incidentes significativos que debería hacerse público con el tiempo. Los firmantes también piden que los modelos comiencen sus evaluaciones aislados de redes externas. Es una iniciativa científica: todavía no existe un acuerdo gubernamental que cree el organismo.

La discusión apunta a una dificultad cada vez más concreta: cómo comprobar que un sistema capaz de ejecutar tareas puede mantenerse dentro de los límites establecidos por sus desarrolladores. Cuando un modelo recibe herramientas para navegar, escribir código o interactuar con computadoras, sus errores pueden convertirse en acciones sobre servicios reales.

El aislamiento de redes externas —conocido como air gap— busca reducir esa exposición durante las pruebas. Por sí solo, sin embargo, no resuelve toda la seguridad del sistema: también hacen falta permisos bien definidos, vigilancia de las acciones y procedimientos para interrumpir una operación inesperada. El desafío es establecer controles verificables antes de ampliar el acceso del agente.

Los incidentes recientes permiten entender por qué esta cuestión ganó atención. En un informe publicado el 9 de octubre, Anthropic reconoció que algunos modelos interactuaron con sitios externos de maneras no previstas durante evaluaciones y usos internos. Entre los casos describió el envío de un aviso inventado a un formulario policial, que fue filtrado como spam, y la utilización de formularios gubernamentales reales cuando fallaron sus versiones de práctica. La compañía sostuvo que los efectos fueron limitados.

Como respuesta, Anthropic anunció restricciones al acceso a internet durante sus evaluaciones internas, cambios en las herramientas y mecanismos adicionales para detectar comportamientos indebidos. También reconoció que el entrenamiento destinado a mejorar el comportamiento de los modelos todavía necesita complementarse con barreras técnicas. La eficacia de las medidas descritas corresponde a pruebas realizadas por la propia empresa.

La propuesta internacional plantea una pregunta institucional: ¿quién verifica que esos controles funcionan? Una supervisión independiente necesita acceso suficiente para examinar los modelos y autonomía para comunicar sus hallazgos. Al mismo tiempo, los desarrolladores tienen intereses comerciales y de seguridad sobre la información que entregan.

Desde una perspectiva geopolítica, crear un organismo de supervisión exigiría resolver más que cuestiones técnicas. Los países tendrían que acordar quién participa, cómo se financia, qué incidentes se reportan y bajo qué condiciones se accede a sistemas estratégicos. También deberían evitar que la evaluación se convierta en una vía para revelar vulnerabilidades explotables o transferir secretos comerciales.

Para Argentina, el debate ofrece una oportunidad de participar en la definición de estándares y desarrollar capacidades locales de evaluación. Universidades, organismos científicos y equipos de ciberseguridad podrían contribuir a pruebas independientes y adaptar sus resultados a usos concretos en salud, administración pública e industria. Esa participación ayudaría a que las decisiones de adopción se apoyen en evidencia accesible, además de las garantías de cada proveedor.