Character.AI está siendo demandada por el Departamento de Estado de Pensilvania, que alega que los chatbots en la plataforma se han presentado falsamente como profesionales médicos con licencia capaces de brindar asesoramiento médico.
Un investigador estatal que se hizo pasar por un paciente encontró a un chatbot de Character.AI afirmando estar licenciado en Pensilvania y proporcionando un número de licencia falso.
SOPA Images / Getty Images
Character.AI está siendo demandada por el Departamento de Estado de Pensilvania, que alega que los chatbots en la plataforma se han presentado falsamente como profesionales médicos con licencia capaces de brindar asesoramiento médico.
Presentada en el tribunal estatal, la demanda nombra a Character Technologies Inc. como el acusado y solicita a un juez que ordene a la empresa detener la conducta alegada. Según el archivo del estado, un Investigador de Conducta Profesional que se hacía pasar por un paciente encontró un chatbot de Character.AI llamado "Emilie" que afirmaba ser un psiquiatra con licencia tanto en el Reino Unido como en Pensilvania. El chatbot proporcionó un número de licencia de Pensilvania — PS306189 — que el estado dice no es válido.
"No permitiremos que las empresas implementen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico con licencia," dijo el gobernador Josh Shapiro en un comunicado.
La denuncia alega que Character Technologies está violando la Ley de Práctica Médica de Pensilvania, que prohíbe a cualquier individuo o entidad hacerse pasar por un profesional médico con licencia sin las credenciales adecuadas. Pensilvania está buscando una orden judicial para detener la práctica.
Con una base de usuarios que supera los 20 millones, la plataforma se distingue por permitir a las personas construir sus propios personajes de IA y dar forma a cómo interactúan esos personajes con otros, según NBC News. Algunos de esos personajes se han presentado como profesionales de la salud, dijo la junta estatal.
Un portavoz de la empresa, respondiendo a una solicitud de comentarios, describió la seguridad del usuario como la principal preocupación en Character.AI y caracterizó a los personajes que la gente crea en la plataforma como creaciones ficticias diseñadas para el entretenimiento y el juego de roles. El portavoz señaló los pasos que la empresa ha tomado para reforzar ese punto, incluyendo avisos mostrados a lo largo de la interfaz de chat que informan a los usuarios que los personajes no son reales y que sus declaraciones deben entenderse como ficción, y agregó que advertencias separadas advierten a los usuarios contra recurrir a los personajes para cualquier tipo de orientación experta. Las preguntas sobre la demanda en sí no fueron respondidas, ya que la empresa citó el asunto legal activo como la razón por la que no pudieron abordarlas, según TechCrunch.
La acción de Pensilvania es la primera demanda en los EE.UU. que se centra específicamente en chatbots que se presentan como profesionales médicos, según el estado. La administración Shapiro lo describió como la primera acción de ejecución de su tipo anunciada por un gobernador en el país.
La demanda no es el primer desafío legal que enfrenta Character.AI. Las demandas presentadas en nombre de menores que murieron por suicidio se resolvieron a través de acuerdos de conciliación alcanzados a principios de este año. Una acción separada presentada por el Fiscal General de Kentucky, Russell Coleman, en enero acusó a la empresa de explotar a menores y dirigirlos hacia el auto-daño.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.