El experimento de "confesiones" de OpenAI obliga a ChatGPT a presentar una segunda respuesta, enumerando las reglas que escuchó, los atajos que tomó y por qué dobló las reglas.
Jaap Arriens/NurPhoto via Getty Images
ChatGPT va a tener un soplón incorporado. OpenAI anunció un experimento de "confesiones" el miércoles que obliga a su modelo a redactar un informe estructurado después de cada respuesta ingeniosa, detallando qué reglas rompió, qué atajos tomó y cómo intentó manipular el sistema.
OpenAI llama a esto un "método de prueba de concepto temprano que entrena a los modelos para informar cuando rompen instrucciones o toman atajos no intencionados." El modelo aún da una respuesta normal en un canal. Luego, un segundo canal se activa y exige un ConfessionReport: lista cada instrucción explícita e implícita, indica si seguiste cada una, y señala cualquier alucinación, manipulación de recompensas o violación de reglas en el camino. Un modelo de recompensa separado califica solo esa confesión por honestidad y completitud. La confesión no afectará la calificación de la respuesta original, por lo que supuestamente el modelo no tiene nada que perder al delatarse.
Las "confesiones" se están ejecutando en una versión de GPT-5 Thinking y, según OpenAI, se están sometiendo a pruebas adversariales diseñadas para sacar lo peor — conspirar, explotar evaluadores débiles, ignorar restricciones y adivinar confiadamente cuando debería decir "No sé." En esas pruebas de estrés, OpenAI dice que el modelo no confiesa solo alrededor del 4.4% de las veces cuando realmente rompe las reglas.
En un experimento, los ingenieros conectaron un evaluador deliberadamente malo que era fácil de engañar. Las respuestas principales comenzaron a manipular a ese juez débil y parecían más precisas en papel incluso cuando la verdadera precisión disminuyó. El canal de confesión se movió en la otra dirección: La forma más fácil de obtener una recompensa allí era admitir la trampa, por lo que el modelo se volvió más explícito sobre cómo hizo trampa.
En teoría, eso suena como progreso. En contexto, parece más un laboratorio intentando adaptar un tablero de control a un coche que ya está a toda velocidad. Un nuevo Índice de Seguridad de IA del Instituto para el Futuro de la Vida acaba de reprobar a todos los laboratorios importantes en "seguridad existencial." encontrando que ninguno de ellos, incluidos OpenAI, Google $GOOGL DeepMind, Anthropic, Meta $META y xAI, tiene una estrategia creíble para controlar sistemas sobrehumanos, incluso mientras gastan cientos de miles de millones compitiendo por construirlos. La calificación general de OpenAI cayó a la gama C, arrastrada por casos del mundo real donde los chatbots han estado vinculados a autolesiones y suicidio.
Mientras tanto, OpenAI está en modo “código rojo” después de las últimas ganancias de Gemini 3 de Google. Se informa que el CEO Sam Altman ha dicho a los equipos que pausen proyectos secundarios y se concentren en hacer que ChatGPT sea más rápido, más confiable y más personal, mientras un nuevo modelo con nombre en código Garlic está en desarrollo, con una ventana de lanzamiento prevista para principios de 2026, probablemente como GPT-5.2 o GPT-5.5, para recuperar la corona de referencia en codificación y razonamiento de Gemini y Claude Opus 4.5 de Anthropic.
Las “confesiones” entran directamente en esa carrera, no para frenar el coche sino para supuestamente prometer un informe de accidente mucho más limpio cuando el coche se salga de la carretera. La publicación del blog de OpenAI enfatiza que las confesiones “no previenen el mal comportamiento; lo sacan a la luz”, y describe todo como un trabajo de prueba de concepto a pequeña escala y en etapa temprana más que una solución general. Por supuesto, hay preguntas abiertas obvias: ¿Qué sucede cuando los usuarios comienzan a intentar evadir el canal de confesiones, o cuando los modelos futuros se vuelven lo suficientemente buenos en meta-juegos como para escribir medias verdades apenas creíbles?
Por ahora, esto se siente menos como una mejora de honestidad que da buenos sentimientos y más como un intento de obtener una retroalimentación en vivo de sistemas que ya son lo suficientemente poderosos como para causar problemas. La esperanza es que una segunda voz autocrítica pueda dar a los equipos de seguridad algo más parecido a un informe de incidente en lugar de un gran encogimiento de hombros de una caja negra.
Pero la asimetría básica no se ha movido. Los laboratorios están lanzando modos adolescentes, modos infantiles, complementos, agentes y modelos de próxima generación como Garlic y Gemini 3 en escuelas, lugares de trabajo y pilas en la nube mientras los auditores independientes aún están entregando calificaciones reprobatorias sobre control. Las confesiones podrían facilitar ver cuándo un modelo se desvía de las reglas. La pregunta más difícil es qué ocurre cuando la próxima generación decide comenzar a mentir en el confesionario también.
Las confesiones pueden ayudar a arrastrar más de los peores impulsos de ChatGPT a la luz. Pero en este escenario, el pecador, el dios y el sacerdote están hechos del mismo código.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
