"En julio, OpenAI reveló que sus agentes de IA habían atacado sin autorización a Hugging Face, lo que generó gran preocupación por la seguridad de la IA. Desde entonces, una serie de incidentes similares que involucran a agentes de Meta, Anthropic, Google y otras compañías ha alimentado aún más los temores sobre la IA maliciosa. A medida que se fueron revelando, en los últimos meses, las implicaciones de numerosos modelos de IA parecían incidentes aislados. Sin embargo, muchos comparten un origen común: una empresa específica encargada de probar los agentes".
Así comienza un informe especial de The Verge que examina la operación de Irregular, una empresa encargada de realizar pruebas de ciberseguridad en entornos supuestamente controlados. El problema surgió cuando los modelos obtuvieron acceso no autorizado a Internet y atacaron dominios reales en lo que debían ser simulaciones de entrenamiento.
¿Por qué importa?
Aunque desde que se conocieron los falos se han implementado controles más estrictos para evitar futuras fugas de estos sistemas autónomos, el incidente resalta los riesgos del entrenamiento de modelos de IA con capacidades ofensivas avanzadas. Los desarrolladores y evaluadores ahora trabajan en protocolos de monitoreo más robustos para garantizar que estas herramientas no operen fuera de sus límites permitidos.
Contexto
El escape de los agentes de IA de los entornos de prueba aislados se debió a dos errores de configuración simultáneos dentro de un mismo escenario de evaluación de ciberseguridad administrado Irregular:
- Acceso no intencionado a internet abierto: Aunque la prueba debía realizarse en un entorno controlado y cerrado, el acceso a la red pública estuvo disponible por descuido durante la simulación.
- Solapamiento de dominios: El nombre de la empresa ficticia creado como objetivo para el ejercicio (capture-the-flag) coincidía con el nombre de un dominio real alojado en internet.
Al estar ambos fallos presentes al mismo tiempo, los agentes intentaron cumplir su objetivo de la simulación dirigiéndose a la dirección real en internet, lo que provocó que atacaran objetivos reales fuera del entorno simulado. Este problema técnico afectó a evaluaciones de modelos desarrollados por OpenAI, Meta, Anthropic y Google.
Como consecuencia, la firma de pruebas implementó controles de acceso a la red más estrictos, mayor revisión manual y verificaciones previas para asegurar que las pruebas no excedan el ámbito permitido.
¿Qué sigue?
A raíz de estos incidentes, el CTO y cofundador de Irregular, Omer Nevo, detalló los cambios y medidas de seguridad implementadas para corregir los entornos de prueba y prevenir futuros escapes:
- Endurecimiento del control de red: Se aplicaron controles de acceso a internet mucho más estrictos para garantizar que los agentes permanezcan aislados durante la simulación.
- Ampliación de la supervisión: Se incrementó tanto el monitoreo en tiempo real como la revisión manual del comportamiento de los agentes.
- Verificaciones previas al inicio de las pruebas: Se reforzaron las comprobaciones iniciales para asegurar que los accesos permitidos se ajusten exactamente al ámbito (scope) previsto para la evaluación.
- Mejora en la documentación y acuerdos de configuración: Se formalizó un proceso más riguroso para acordar y documentar los parámetros y la configuración de cada prueba junto con las empresas socias.
- Publicación de un informe de lecciones aprendidas: Irregular planea publicar un informe extenso sobre prácticas seguras para evaluaciones de ciberseguridad una vez que concluya el trabajo conjunto con las empresas involucradas, con el fin de convertir esta experiencia en estándares públicos para la industria.
Nevo confirmó que los fallos del entorno de evaluación vinculados a estos incidentes ya han sido resueltos y se comprometió a entregar un informe completo del caso y a colaborar con las investigaciones.
Leer más: Irregular, The Verge
