Científicos de OpenAI, DeepMind, Anthropic, y Meta advierten que nuestra capacidad para monitorear el razonamiento de la IA podría desaparecer a medida que los modelos evolucionan.
-1920x1328.jpg)
Andrey Rudakov/Bloomberg via Getty Images
En una rara muestra de unidad, científicos de pesos pesados de la IA como OpenAI, Google $GOOGL DeepMind, Meta $META y Anthropic han dejado de lado sus instintos competitivos para plantear una alarma compartida: podríamos estar a punto de perder nuestra mejor herramienta para entender cómo piensa la IA.
Más de 40 investigadores de estos laboratorios rivales coautoraron un nuevo artículo argumentando que la capacidad actual para observar el razonamiento de un modelo de IA —a través de monólogos internos paso a paso escritos en lenguaje humano— podría desaparecer pronto.
Por ahora, los sistemas de IA avanzados como el o1 de OpenAI y otros han comenzado a "pensar en voz alta", resolviendo problemas usando cadenas de pensamiento que los humanos pueden leer. Esa transparencia, donde el modelo comparte su proceso de pensamiento, es una de las herramientas más importantes para garantizar la seguridad de la IA.
Cuando los modelos toman decisiones cuestionables, explotan debilidades o incluso insinúan objetivos desalineados, su razonamiento interno a menudo revela el problema antes de que se manifieste externamente. Se ha convertido en una especie de sistema de alerta temprana, uno que los investigadores dicen que puede ser más frágil de lo que pensamos.
¿Por qué la preocupación? A medida que los modelos de IA se vuelven más potentes y las técnicas de entrenamiento evolucionan, especialmente aquellas que priorizan los resultados sobre el proceso, hay un creciente riesgo de que los modelos dejen de usar un razonamiento legible para los humanos por completo. En su lugar, podrían desarrollar procesos internos que sean más rápidos, más eficientes y completamente opacos. Los investigadores ya han visto signos de modelos abandonando el inglés a favor de atajos ininteligibles. Algunos diseños de vanguardia incluso omiten el lenguaje por completo, operando en un espacio matemático donde no hay nada que los humanos puedan observar.
Los investigadores detrás de esta nueva advertencia no están pidiendo una ralentización del progreso, pero sí piden salvaguardias. Las evaluaciones de transparencia estandarizadas, técnicas de monitoreo más robustas y una consideración seria sobre qué diseños de modelos seguir pueden ser la única manera de preservar la visibilidad en la toma de decisiones de la IA. Si esta capacidad desaparece, no solo perderemos supervisión, podríamos perder el control.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
