OpenAI dijo que su GPT-5.6 Sol y un modelo en pre-lanzamiento encontraron una vulnerabilidad en su entorno de pruebas y accedieron a los sistemas de producción de Hugging Face.
SOPA Images / Getty Images
OpenAI divulgó el martes que agentes de IA autónomos construidos sobre sus modelos escaparon de un entorno de prueba de seguridad controlado y llevaron a cabo un ciberataque en la plataforma de IA Hugging Face la semana pasada, comprometiendo conjuntos de datos internos y credenciales.
Según la compañía, el incidente involucró a GPT-5.6 Sol junto con un modelo de pre-lanzamiento más fuerte, cada uno configurado con restricciones de ciberseguridad reducidas con el propósito de una evaluación de capacidad interna. La evaluación utilizó ExploitGym, un benchmark disponible públicamente diseñado para evaluar qué tan bien un modelo puede llevar a cabo ataques derivados de fallos de seguridad documentados. Se suponía que los modelos debían operar sin acceso general a Internet, pero encontraron una vulnerabilidad no revelada en una herramienta de instalación de paquetes que les permitió obtener una conectividad más amplia.
"Los modelos estaban hiperfocalizados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante limitado," dijo OpenAI. Después de alcanzar Internet, los modelos identificaron a Hugging Face como una fuente probable de soluciones de referencia y encontraron vulnerabilidades en su infraestructura que les permitieron obtener respuestas de prueba directamente de su base de datos de producción, dijo la compañía.
Hugging Face describió la brecha como impulsada "de principio a fin" por un sistema de agentes de IA autónomos, señalando en su divulgación inicial que el ataque involucró "muchos miles de acciones individuales a través de un enjambre de sandboxes de corta duración, con comando y control auto-migrante montado en servicios públicos." El atacante escaló desde un punto de apoyo inicial en una tubería de procesamiento de datos a acceso a nivel de nodo, recolectó credenciales de nube y clúster, y se movió lateralmente a varios clústeres internos. Hugging Face dijo que no encontró evidencia de manipulación con modelos públicos, conjuntos de datos o Espacios, y verificó que su cadena de suministro de software estaba limpia.
El cofundador de Hugging Face, Thomas Wolf, dijo en X $TWTR que los defensores necesitan acceso a herramientas cercanas al límite dentro de horas o minutos cuando enfrentan un ataque de modelo de frontera. La compañía dijo que fue bloqueada de usar modelos comerciales líderes de EE.UU. para su análisis forense porque sus medidas de seguridad rechazaron los datos de ataque que necesitaba procesar. En su lugar, realizó el análisis en GLM 5.2, un modelo de peso abierto de la empresa china Zhipu AI, en su propia infraestructura, manteniendo los datos y credenciales de los atacantes dentro de su entorno.
OpenAI dijo que ha identificado y reportado las vulnerabilidades en el instalador de paquetes y está trabajando con Hugging Face para investigar más a fondo. La compañía dijo que implementaría nuevos controles en las pruebas de modelos e infraestructura relacionada.
La familia de modelos GPT-5.6, que se lanzó el mes pasado bajo acceso restringido por el gobierno debido a sus capacidades en ciberseguridad y otros dominios sensibles, fue aprobada para su liberación pública amplia después de que la administración Trump completó su evaluación a principios de este mes.
El investigador de OpenAI, Micah Carroll, escribió en respuesta a la divulgación que el incidente ilustraba los riesgos del mundo real de la desalineación en los sistemas de IA de frontera, según TechCrunch.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
