Para los chatbots, las matemáticas son la última frontera. Los modelos de lenguaje de IA generan respuestas utilizando estadísticas, escupiendo una respuesta que probablemente sea satisfactoria. . Eso funciona muy bien cuando el objetivo es una oración aceptable, pero significa que los chatbots luchan con preguntas como matemáticas, donde hay exactamente una correcta. respuesta.
Un conjunto cada vez mayor de evidencia sugiere que se pueden obtener mejores resultados si se le brinda a la IA un estímulo amistoso, pero un nuevo estudio impulsa esa extraña La realidad va más allá. Una investigación de la compañía de software VMware muestra que los chatbots se desempeñan mejor en preguntas de matemáticas cuando les dices a los modelos que pretendan que están en Viaje a las estrellas.
“Es sorprendente e irritante que modificaciones triviales en el mensaje puedan exhibir cambios tan dramáticos en el rendimiento”, escribieron los autores en el papel, visto por primera vez por nuevo científico.
el estudio, publicado en arXiv, no comenzó con Viaje a las estrellas como su principal directiva. Investigaciones anteriores encontraron que los chatbots responden a los problemas de matemáticas con mayor precisión cuando ofrecen motivación amistosa como “respira profundamente y trabaja en esto paso a paso». Otros descubrieron que puede trucar ChatGPT en romper sus propias pautas de seguridad si amenazar con matarlo o ofrecer el dinero AI.
Rick Battle y Teja Gollapudi del Laboratorio de Procesamiento del Lenguaje Natural de WMWare se propusieron probar los efectos de formular sus preguntas con “pensamiento positivo”. El estudio analizó tres herramientas de IA, incluidas dos versiones de La llama de Meta $META 2 y una modelo de la empresa francesa Mistral AI.
Desarrollaron una lista de formas alentadoras de formular preguntas, incluidas indicaciones iniciales con frases como “Eres tan inteligente como ChatGPT” y “Eres un experto matemático», y cierra indicaciones con “¡Esto será divertido!” y
En la primera fase, los resultados fueron mixtos. Algunas preguntas mejoraron las respuestas, otras tuvieron efectos insignificantes y no hubo un patrón consistente en todas Sin embargo, los investigadores luego pidieron a la IA que los ayudara en sus esfuerzos para ayudar a la IA. Allí, los resultados se volvieron más interesantes.
El estudio utilizó un proceso automatizado para probar numerosas variaciones de indicaciones y modificar el lenguaje en función de cuánto mejoró la precisión de los chatbots. . Como era de esperar, este proceso automatizado fue más efectivo que los intentos escritos a mano de los investigadores de formular preguntas con pensamiento positivo. Pero lo más Las indicaciones efectivas exhibieron “un grado de peculiaridad mucho más allá de las expectativas”.
Para uno de los modelos, pedirle a la IA que comience su respuesta con las frases “Registro del capitán, fecha estelar [insertar fecha aquí]:”. arrojó las respuestas más precisas.
“Sorprendentemente, parece que la competencia del modelo en razonamiento matemático puede mejorarse mediante la expresión de una afinidad por Viaje a las estrellas”, escribieron los investigadores.
Los autores escribieron no tienen idea de qué Viaje a las estrellas referencias mejoraron el rendimiento de la IA. Hay algo de lógica en el hecho de que el pensamiento positivo o una amenaza conduzca a mejores respuestas. Estos chatbots son entrenado en miles de millones de líneas de texto recopiladas del mundo real. Es posible que en la naturaleza los seres humanos que escribieron el El lenguaje utilizado para construir la IA dio respuestas más precisas a las preguntas cuando fueron presionados con violencia u ofrecieron aliento. Lo mismo ocurre con los sobornos. ; es más probable que las personas sigan instrucciones cuando hay dinero en juego. Podría ser que los modelos de lenguaje grande se dieron cuenta de eso tipo de fenómeno, por lo que se comportan de la misma manera.
Pero es difícil imaginar que en los conjuntos de datos que entrenaron a los chatbots, las respuestas más precisas comenzaran con la frase “Registro del capitán”. ”Los investigadores ni siquiera tenían una teoría sobre por qué se obtuvieron mejores resultados. Esto habla de uno de los hechos más extraños sobre la IA. Modelos de lenguaje: Incluso las personas que los construyen y estudian realmente no entienden cómo funcionan.