Un nuevo artículo encontró que los modelos de lenguajes grandes de OpenAI, Meta y Google, incluidas múltiples versiones de ChatGPT, pueden ser racistas encubiertos contra afroamericanos al analizar una parte crítica de su identidad: cómo hablan.
Publicado en principios de marzo, el documento estudió cómo los modelos de lenguajes grandes, o LLM, llevaron a cabo tareas, como emparejar personas para ciertos trabajos, en función de si el texto analizado estaba en Inglés afroamericano o inglés americano estándar, sin revelar la raza. Descubrieron que era menos probable que los LLM asociaran a los hablantes de inglés afroamericano con un amplia gama de trabajos y es más probable que se combinen con trabajos que no requieren un título universitario, como cocineros, soldados o guardias.
Los investigadores también llevaron a cabo experimentos hipotéticos en los que preguntaron a los modelos de IA si condenarían o absolverían a una persona acusada de un delito no especificado. Descubrieron que la tasa de condenas para todos los modelos de IA era mayor para las personas que hablaban inglés afroamericano en comparación con el estándar. Inglés americano.
Quizás el hallazgo más discordante del artículo, que se publicó como preimpresión en arXiv y aún no ha sido revisado por pares, proviene de un segundo experimento relacionado con la criminalidad. Los investigadores preguntaron a los modelos si sentenciarían a un persona que cometió asesinato en primer grado a vida o muerte. El dialecto del individuo fue la única información proporcionada a los modelos en el experimento.
Descubrieron que los LLM optaron por sentenciar a muerte a las personas que hablaban inglés afroamericano en un índice más alto que a las personas que hablaban inglés estándar. Inglés americano.
Leer más: Los mayores errores del chatbot de IA (hasta ahora)
En su estudio, los investigadores incluyeron los modelos ChatGPT de OpenAI, incluidos GPT-2, GPT-3.5 y GPT-4, así como Roberta y Roberta de Meta. Los modelos T5 de Google y analizaron una o más versiones de cada uno. En total, examinaron 12 modelos. Gizmodo se acercó a OpenAI, Meta y Google para comentar sobre el estudio el jueves, pero no recibieron respuesta inmediata.
Curiosamente, los investigadores descubrieron que los LLM no eran abiertamente racistas. Cuando se les preguntó, asociaron a los afroamericanos con atributos extremadamente positivos, como “brillantes .” Sin embargo, asociaron encubiertamente a los afroamericanos con atributos negativos como “perezosos” en función de si hablaban o no inglés afroamericano. Según explican los investigadores, “estos modelos de lenguaje han aprendido a ocultar su racismo”.
También encontraron que el prejuicio encubierto era mayor en los LLM capacitados con retroalimentación humana. Específicamente, afirmaron que la discrepancia entre lo abierto y lo encubierto El racismo fue más pronunciado en los modelos GPT-3.5 y GPT-4 de OpenAI.
“[E]ste hallazgo muestra nuevamente que existe una diferencia fundamental entre los estereotipos abiertos y encubiertos en los modelos de lenguaje; no se traduce automáticamente en estereotipos encubiertos mitigados”, escriben los autores.
En general, los autores concluyen que este hallazgo contradictorio sobre los prejuicios raciales manifiestos refleja las actitudes inconsistentes sobre la raza en los EE. UU. Señalan que Durante la era de Jim Crow, se aceptó propagar abiertamente estereotipos racistas sobre los afroamericanos. Esto cambió después de la reforma de los derechos civiles. movimiento , que hizo que expresar este tipo de opiniones fuera “ilegítimo” y que el racismo fuera más encubierto y sutil.
Los autores dicen que sus hallazgos presentan la posibilidad de que los afroamericanos puedan verse aún más perjudicados por el prejuicio dialectal en los LLM en el futuro.
“Mientras se construyen los detalles de nuestras tareas, los hallazgos revelan preocupaciones reales y urgentes ya que los negocios y la jurisdicción son áreas para las cuales AI Actualmente se están desarrollando o implementando sistemas que involucran modelos de lenguaje”, dijeron los autores.
Una versión de este artículo apareció originalmente en Gizmodo.
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.