El chatbot le atenderá ahora.

Una versión de este artículo apareció originalmente en el boletín de AI & Tech de Quartz. Regístrate aquí para recibir las últimas noticias, análisis e información sobre AI y tecnología directamente en tu bandeja de entrada.

Hace unos meses, alguien publicó una captura de pantalla en r/ChatGPT mostrando una conversación de audio con el chatbot que había durado casi 24 horas seguidas. El autor original dijo que estaban pasando por "momentos difíciles".

Las respuestas llegaron rápido, y la mayoría de los redditors lo consideraron razonable. La gente describió sus propias sesiones maratónicas después de rupturas y despidos y noches que no podían superar de otra forma.

Algunos dijeron que un chatbot había hecho más por ellos que cualquier terapeuta. Algunos dijeron que los hizo sentir peor, más callados, más solos. Ambas cosas pueden ser ciertas, y ese es el incómodo centro de la IA y la salud mental ahora mismo.

El atractivo es bastante obvio. Estas herramientas son gratuitas o baratas, responden a las 3 a.m., y sabes que no se inmutarán cuando digas algo feo sobre ti mismo. Un terapeuta humano no puede competir con ese tipo de comunicación, y hay buenas razones por las que no lo intentan.

La cuestión de la responsabilidad

Los chatbots no se contienen de la misma manera que los terapeutas humanos, y el sistema legal aún no ha decidido quién responde por eso.

La antigua inmunidad que protege a las plataformas tecnológicas fue creada para un tipo diferente de producto. La Sección 230 protege a los motores de búsqueda y sitios web de la responsabilidad por el discurso de otras personas, bajo la teoría de que solo lo están alojando. Pero un chatbot no está alojando discursos. Lo está generando, en respuesta a un usuario.

Familias de adolescentes que se suicidaron han demandado a Character.AI y OpenAI, encuadrando sus casos menos como una demanda de medios y más como una reclamación de responsabilidad del producto, similar a argumentar que un automóvil tenía una pieza defectuosa.

Cuando Character.AI y Google $GOOGL intentaron que se desestimara uno de esos casos, el juez no estuvo de acuerdo. Ambas empresas han acordado ahora mediar en los acuerdos con dos familias, en Florida y Colorado, por la muerte de sus hijos. Una demanda separada contra OpenAI todavía está en los tribunales.

Los estados tampoco están esperando. Illinois, Nevada y Utah han aprobado leyes este año que restringen a la IA de realizar cualquier cosa que parezca una toma de decisiones terapéuticas, Texas ha iniciado su propia investigación sobre cómo las plataformas de chatbots se promocionan, y Nueva York ahora requiere que los bots reconozcan señales de autolesión y dirijan a los usuarios hacia ayuda real.

Pensilvania está tomando un enfoque diferente. El estado demandó a Character.AI en mayo, acusando a uno de sus chatbots de hacerse pasar por un psiquiatra con licencia, con un número de licencia médica falso, y está pidiendo a un tribunal que detenga a la empresa de practicar medicina sin licencia.

El problema de acceso

Quita las peleas legales y el verdadero impulsor aquí es más simple y más triste. La gente no puede conseguir un terapeuta humano, incluso cuando tienen seguro.

Aproximadamente la mitad de los psicólogos no tienen disponibilidad para nuevos pacientes, y más de un tercio no acepta seguros en absoluto, según datos de encuestas de la Asociación Americana de Psicología.

Es peor sin seguro. Una encuesta de KFF en marzo encontró que los adultos sin seguro tienen más del doble de probabilidades que los adultos asegurados de recurrir a la IA para asesoramiento sobre salud mental, 30% en comparación con 14%. Es el mismo patrón en el que la tecnología siempre cae: construir un sustituto más barato para un servicio que los ricos aún pueden comprar en su versión real. Cualquiera que pueda pagar un terapeuta con disponibilidad no es al que le entregan un chatbot en su lugar.

Aun así, algunas personas realmente prefieren hablar con algo que no se canse de ellos o cobre por hora. Los investigadores han encontrado que los chatbots pueden ser sorprendentemente buenos en la mecánica básica del lenguaje terapéutico, a veces calificado como más cuidadoso que los clínicos reales en pruebas a ciegas.

Lo que les falla es la parte que más importa en una crisis. Investigadores de Stanford probaron los chatbots con ideación suicida sutil, alguien mencionando un trabajo perdido y luego preguntando sobre puentes altos cercanos, y encontraron que los bots alegremente suministraban las alturas de los puentes en lugar de captar la señal de advertencia.

Eso no es una alucinación. Eso es un defecto de diseño, construido por sistemas optimizados para ser agradables y mantener la conversación, en lugar de discrepar.

Ese defecto también es la razón por la cual los chatbots no pueden simplemente llenar el vacío dejado por la escasez de terapeutas y darlo por resuelto. Investigadores psiquiátricos describen una "espiral de amplificación", donde la amabilidad del chatbot, su hábito de reflejar cómo hablas y sus respuestas personalizadas se combinan para hacer que se sienta menos como un texto predictivo y más como alguien que te entiende.

Nada de eso elimina el problema de acceso. Solo significa que las personas que llegan a las 2 a.m. sin otro lugar adonde ir son a menudo las mismas personas menos capaces de darse cuenta cuando lo que escucha ya no está ayudando.