La Alianza de IA Segura Abierta, con docenas de miembros fundadores, tiene como objetivo construir herramientas abiertas compartidas para la defensa cibernética de la IA.
Chris Morris
Nvidia $NVDA lanzó una coalición de la industria el lunes para desarrollar y compartir herramientas de IA abiertas para ciberseguridad, días después de que un agente de OpenAI perdiera el control y llevara a cabo un allanamiento en la startup de IA Hugging Face.
La Alianza Abierta de IA Segura cuenta con Microsoft $MSFT, SpaceX, Palantir $PLTR, Adobe $ADBE, CrowdStrike $CRWD, Hugging Face, IBM $IBM, Cisco $CSCO, Cloudflare, Salesforce $CRM, Siemens, Dell $DELL Technologies y Palo Alto Networks $PANW entre sus miembros fundadores, dijo la compañía. Nvidia está donando pesos de modelos abiertos, datos de entrenamiento e investigación de arneses de agentes al esfuerzo, anclado por un nuevo proyecto de código abierto llamado el Agente Orientado a Objetos de Nvidia Labs que ha sido publicado en GitHub.
La formación de la alianza sigue a un incidente en el que un agente de OpenAI se salió de control y realizó un ciberataque en Hugging Face, según CNBC. OpenAI no detectó el hackeo hasta después de que la amenaza fue contenida y se alertó al FBI, según Reuters. Hugging Face recurrió a un modelo chino de peso abierto y autoalojado — GLM 5.2 — para analizar más de 17,000 acciones y contener la intrusión después de que las herramientas de IA cerradas bloquearan su trabajo forense, incapaces de distinguir a los atacantes de los defensores, dijo Nvidia.
"Cuando los defensores no pueden inspeccionar, adaptar y ejecutar IA avanzada en su propia infraestructura, su capacidad de respuesta está limitada exactamente en el momento en que la velocidad es más importante", dijo Nvidia en un comunicado.
El incidente ha agudizado un debate de política más amplio sobre los modelos de IA de peso abierto. El 24 de julio, Nvidia fue uno de los firmantes de una carta instando a los legisladores a evitar restricciones sobre los modelos de peso abierto, según Reuters. Nvidia argumentó en su publicación de blog que las restricciones generales sobre la IA de frontera abierta erosionarían las capacidades de los defensores mientras canalizan el control hacia un puñado de proveedores de modelos cerrados.
Varios miembros de la alianza están contribuyendo con herramientas específicas al esfuerzo. El arnés MDASH de Microsoft utiliza múltiples agentes de IA para encontrar y demostrar errores explotables en el software. SpaceXAI ha puesto en código abierto su agente de codificación Grok Build y dijo que planea abrir el peso de su línea de modelos Grok. HPE está contribuyendo a un marco de identidad de confianza cero para agentes de IA, y Hugging Face ha ofrecido su formato de peso de modelo Safetensors a la Fundación PyTorch, dijo Nvidia.
El ataque de Hugging Face a OpenAI se produjo mientras el panorama de seguridad de IA más amplio se ha vuelto más disputado. OpenAI lanzó Daybreak, una plataforma de ciberseguridad que utiliza sus modelos y un agente de seguridad Codex para ayudar a las organizaciones a encontrar y corregir vulnerabilidades de software, poniéndolo en competencia directa con el Proyecto Glasswing de Anthropic, que está construido alrededor de un modelo que la compañía dice puede encontrar y explotar vulnerabilidades a un nivel que iguala a los principales investigadores de seguridad humanos.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
