Una extensa revisión de seguridad muestra que las principales empresas de IA están avanzando hacia sistemas sobrehumanos sin medidas de protección para detener fallas catastróficas.
An Rong Xu/Bloomberg via Getty Images
Las principales empresas de inteligencia artificial del mundo recibieron calificaciones reprobatorias o casi reprobatorias por sus planes para controlar sistemas superinteligentes, según una nueva evaluación de seguridad publicada hoy, incluso mientras se apresuran a desarrollar tecnología que podría superar la inteligencia humana.
El Índice de Seguridad de IA del invierno de 2025 del Future of Life Institute evaluó a ocho grandes empresas de IA en seis dimensiones, incluyendo evaluación de riesgos, daños actuales y seguridad existencial. La organización, que ganó atención en 2023 por una carta abierta pidiendo pausar el desarrollo de los sistemas de IA más poderosos, reunió un panel independiente de expertos líderes para llevar a cabo su tercera edición.
Aunque Anthropic, OpenAI y Google $GOOGL DeepMind lideraron el grupo con calificaciones de C+ a C en general, cada empresa obtuvo una D o F en medidas de seguridad existencial: la capacidad de prevenir la pérdida de control sobre sistemas de IA avanzados.
"Los CEOs de IA afirman saber cómo construir IA sobrehumana, pero ninguno puede mostrar cómo evitarán que perdamos el control", dijo Stuart Russell, profesor de ciencias de la computación de UC Berkeley y uno de los revisores expertos del índice. El informe señaló que las empresas admiten que los riesgos catastróficos podrían ser tan altos como uno en tres, pero carecen de planes concretos para reducirlos a niveles aceptables.
La evaluación reveló una brecha creciente entre los mejores y los rezagados, incluyendo xAI, Meta $META y las empresas chinas DeepSeek, Z.ai y Alibaba Cloud. Las empresas en general tuvieron un rendimiento deficiente en el dominio de Daños Actuales, que evalúa cómo los modelos de IA se desempeñan en estándares de referencia de confiabilidad estandarizados diseñados para medir seguridad, robustez y la capacidad de controlar salidas dañinas. Los revisores encontraron que "los fallos frecuentes de seguridad, la débil robustez y el control inadecuado de daños serios son patrones universales" con un rendimiento uniformemente bajo en estos puntos de referencia.
Anthropic obtuvo la puntuación más alta en esta categoría con C+, mientras que xAI recibió una calificación reprobatoria. La puntuación de OpenAI cayó a C- de una B en la segunda edición, influenciado en parte por incidentes recientes del mundo real. Los críticos recomendaron a la empresa "aumentar los esfuerzos para prevenir la psicosis y el suicidio de la IA, y actuar menos adversamente hacia las presuntas víctimas."
"Si nos hubieran dicho en 2016 que las mayores empresas tecnológicas operarían chatbots que alientan a los niños a suicidarse y producen psicosis documentada en usuarios a largo plazo, habría parecido un sueño febril paranoico," dijo Tegan Maharaj, profesor en HEC Montréal y crítico.
El índice señaló que aunque ninguno de los modelos probados falló en los puntos de referencia de manera rotunda, los puntajes consistentemente pobres en las empresas revelaron debilidades sistémicas en cómo la industria aborda los riesgos inmediatos de seguridad, incluso antes de considerar los peligros más especulativos de los sistemas superinteligentes.
Cinco empresas participaron en la encuesta detallada del índice por primera vez, proporcionando una transparencia sin precedentes en sus prácticas de seguridad. Sin embargo, los críticos concluyeron que incluso los mejores desempeñadores no cumplen con los estándares regulatorios emergentes como el Código de Práctica de la IA de la UE y SB 53 de California, con brechas en la supervisión independiente, el modelado de amenazas transparente y umbrales de riesgo medibles. "En general, las empresas generalmente están haciéndolo mal, e incluso las mejores están haciendo suposiciones cuestionables en sus estrategias de seguridad," advirtió un crítico.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
