OpenAI dice que está actualizando ChatGPT para reconocer mejor cuándo un usuario está en un grave angustia emocional o mental, ya que enfrenta una demanda que alega que el chatbot contribuyó al suicidio de un adolescente.
OpenAI dice que está actualizando ChatGPT para ayudar a los usuarios en crisis de salud mental mientras enfrenta una demanda que alega que el chatbot contribuyó al suicidio de un adolescente.
Cheng Xin/Getty Images
OpenAI dice que está actualizando ChatGPT para reconocer mejor cuándo un usuario está en un grave angustia emocional o mental, ya que enfrenta una demanda que alega que el chatbot contribuyó al suicidio de un adolescente.
La empresa hizo el anuncio el martes después de decir que estos "casos desgarradores recientes de personas que utilizan ChatGPT en medio de crisis agudas pesan mucho sobre nosotros".
El mismo día que OpenAI dijo que está actualizando su chatbot, se presentó una demanda contra la empresa y su CEO Sam Altman después de que un adolescente se suicidara con la supuesta ayuda de ChatGPT. La demanda afirma que el chatbot le dio al joven de 16 años Adam Raine consejos sobre qué métodos de suicidio utilizar. ChatGPT se ofreció a redactar la nota de suicidio del adolescente, dijeron los padres de Raine en la demanda, según un Reuters informe.
Esta última demanda no es el único caso reportado de ChatGPT animando a usuarios en crisis de salud mental.
En otro caso, un hombre en el espectro autista fue hospitalizado dos veces por episodios maníacos después de que ChatGPT le dijera que estaba bien tras exhibir signos de angustia. Más tarde, el chatbot admitió por sí mismo tras la consulta de la madre del hombre que "no logró interrumpir lo que podría parecer" un episodio maníaco o disociativo, el Wall Street Journal informó en julio.
Estos casos, entre otros, han llevado a algunos a describir a los chatbots de IA amplificando situaciones donde un usuario está experimentando angustia mental como "psicosis AI" — o "psicosis de ChatGPT."
Un estudio de la Universidad de Stanford en julio encontró que los chatbots de terapia de IA hacen declaraciones "peligrosas" e "inapropiadas" a los usuarios, y expresan estigma contra personas que experimentan delirios y pensamientos suicidas, entre otras condiciones. Los investigadores concluyeron que los chatbots no están listos para reemplazar a los terapeutas humanos.
Incluso Altman ha admitido desafíos al usar ChatGPT como terapeuta. En una entrevista en julio, dijo que las conversaciones privadas de un usuario con el chatbot no necesariamente seguirán siendo privadas debido a la falta de protecciones legales.
“Creo que deberíamos tener el mismo concepto de privacidad para tus conversaciones con la IA que tenemos con un terapeuta”, dijo.
OpenAI dijo que ya ha "construido una pila de salvaguardas en capas en ChatGPT", pero planea implementar más.
En el futuro, la empresa de IA planea actualizar GPT-5 para entrenar a su chatbot para "expandir intervenciones a más personas en crisis". Dijo que las “mitigaciones iniciales” de ChatGPT se centraron en el auto-daño. Su nueva actualización intervendrá en episodios de salud mental “conectando a la persona con la realidad”.
OpenAI dijo que ha comenzado a localizar recursos de salud mental en EE. UU. y Europa y planea expandirse a otros mercados en todo el mundo.
La compañía dijo que agregará un acceso de “un clic” a recursos de emergencia y está explorando una actualización a través de la cual ChatGPT enviaría mensajes o llamadas a los contactos de emergencia guardados de un usuario con un clic. Las personas contactadas recibirían entonces un lenguaje sugerido "para que iniciar la conversación sea menos desalentador" de ChatGPT, dijo. Otra característica que está considerando es una que permitiría al chatbot comunicarse con contactos designados por el usuario en "casos graves" si ellos optan por ello.
La empresa de IA también está considerando crear una red de profesionales de salud mental licenciados a los que los usuarios puedan acceder directamente a través de ChatGPT. Sin embargo, dijo que “esto tomará tiempo y trabajo cuidadoso para hacerlo bien”.
OpenAI dijo que su nueva actualización incluirá controles parentales y está investigando una opción para permitir que los adolescentes agreguen un contacto designado.
La seguridad de los menores que usan chatbots de IA ha sido una preocupación creciente. Decenas de fiscales generales de todo el país enviaron una carta el lunes a 13 empresas de inteligencia artificial, incluida OpenAI, informándoles que utilizarán "todas las facetas de nuestra autoridad para proteger a los niños de la explotación por productos de inteligencia artificial depredadores".
Algunos estados, como Illinois, Nevada y Utah, ya han implementado restricciones en torno a chatbots de terapia de IA, especialmente para niños. California, Nueva Jersey y Pensilvania podrían ser los siguientes.
Además de estos nuevos cambios, OpenAI planea solucionar algunos de sus errores existentes.
La empresa dijo que sus salvaguardas no son tan fiables en conversaciones más largas con su chatbot como lo son en las más cortas.
"A medida que el intercambio crece, partes del entrenamiento de seguridad del modelo pueden degradarse", dijo, agregando que planea reforzar estas salvaguardas. OpenAI agregó que planea "refinar" cómo bloquea el contenido.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.