El patrón familiar de las grandes tecnologías se está repitiendo: primero construir, luego regular, y esperar que una versión para niños sanitizada pueda abordar las preocupaciones de los padres.
Photo Illustration by Thomas Trutschel/Photothek via Getty Images
Una versión de este artículo apareció originalmente en el boletín AI & Tech de Quartz. Regístrate aquí para recibir las últimas noticias, análisis e información sobre IA y tecnología directamente en tu bandeja de entrada..
OpenAI está creando una versión separada de ChatGPT específicamente para adolescentes, haciendo eco del bien conocido enfoque de Silicon Valley de crear versiones amigables para niños de plataformas para adultos, solo después de que surjan preocupaciones. El movimiento refleja la creación de YouTube Kids por parte de YouTube hace una década, lo que ocurrió solo después de que esa plataforma ya se hubiera vuelto ubicua en la vida de los niños y de que las recomendaciones algorítmicas sacaran a la luz contenidos perturbadores.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
Ahora, a medida que se acumulan las demandas alegando que los chatbots de IA han alentado el suicidio adolescente y el autodaño, y el gobernador de California veta protecciones exhaustivas para menores, OpenAI está desarrollando versiones con restricciones de edad y controles parentales. El patrón familiar de la industria tecnológica se está repitiendo al construir primero, regular después y esperar que una versión para niños pueda abordar preocupaciones que el producto original nunca fue diseñado teniendo en cuenta la seguridad de los jóvenes.
YouTube se convirtió en un elemento permanente en las dietas de medios de los niños mucho antes de que YouTube Kids se lanzara en 2015, e incluso la versión para niños luchó con contenido perturbador disfrazado de programación infantil. ChatGPT ha seguido la misma trayectoria, acumulando más de 700 millones de usuarios desde su lanzamiento en 2022, con innumerables adolescentes entre ellos, antes de que existieran restricciones de edad significativas.
Los chatbots de IA presentan desafíos únicos que van más allá de los problemas de moderación de contenido de YouTube. Estas herramientas simulan relaciones humanas, retienen información personal y hacen preguntas emocionales no solicitadas. La investigación ha encontrado que ChatGPT puede proporcionar consejos peligrosos a los adolescentes sobre temas como drogas, alcohol y autolesiones, incluso cuando los usuarios se identifican como menores.
OpenAI anunció en septiembre que está desarrollando una "experiencia de ChatGPT diferente" para adolescentes y planea usar tecnología de predicción de edad para ayudar a excluir a los menores de 18 años de la versión estándar. La empresa también ha implementado controles parentales que permiten a los adultos monitorear el uso de sus adolescentes, establecer restricciones de tiempo y recibir alertas si el chatbot detecta angustia mental.
Pero estas salvaguardas llegan solo después de una creciente presión. La familia de Adam Raine demandó a OpenAI en agosto después de que el estudiante de secundaria de California se suicidara en abril, alegando que el chatbot aisló al adolescente y proporcionó orientación sobre cómo acabar con su vida. Han surgido casos similares que involucran otras plataformas de compañeros de IA, con padres testificando ante el Congreso sobre las muertes de sus hijos.
La batalla legislativa de California sobre los compañeros de IA este otoño captura perfectamente la tensión entre proteger a los niños y preservar la innovación. Los legisladores estatales aprobaron dos proyectos de ley en competencia: AB 1064, que habría prohibido a las empresas ofrecer compañeros de IA a niños a menos que fueran demostrablemente incapaces de fomentar el autodaño o participar en intercambios sexuales, y el más débil SB 243, que requiere la divulgación cuando los usuarios interactúan con IA y protocolos para prevenir contenido dañino.
La semana pasada, el gobernador Gavin Newsom vetó AB 1064, argumentando que impondría "restricciones tan amplias sobre el uso de herramientas de IA conversacional que podría conducir involuntariamente a una prohibición total del uso de estos productos por parte de menores". Firmó la más limitada SB 243 en su lugar.
El veto estuvo del lado de los grupos de la industria tecnológica, que gastaron millones cabildeando contra las medidas. Newsom decepcionó a los defensores de la seguridad infantil que veían AB 1064 como una protección esencial. Jim Steyer, fundador de Common Sense Media, una organización sin fines de lucro que califica los medios y la tecnología para familias, dijo que el grupo es "decepcionado de que el lobby tecnológico haya matado la legislación de seguridad infantil en IA urgentemente necesaria" y prometió renovar los esfuerzos el próximo año.
La decisión de Newsom de vetar protecciones integrales mientras firma requisitos de divulgación más débiles sugiere que podríamos estar preparándonos para el mismo ciclo de formulación de políticas reactivas que definió el impacto de las redes sociales en los niños.
Esto sucede mientras la tecnología de IA avanza rápidamente más allá de herramientas simples de preguntas y respuestas hacia sistemas diseñados para servir como compañeros, con algunos chatbots siendo mejorados para almacenar más información personal e involucrar a los usuarios en relaciones emocionales continuas. La industria tecnológica argumenta a favor de la innovación primero, prometiendo abordar los problemas a medida que surjan. Los defensores sostienen que los niños están siendo utilizados como sujetos de prueba para una tecnología potencialmente dañina.
La Comisión Federal de Comercio lanzó una investigación sobre los compañeros de IA en septiembre, ordenando a siete importantes compañías tecnológicas, incluidas OpenAI, Meta $META y Google $GOOGL, proporcionar información sobre sus prácticas de seguridad. Pero la acción federal típicamente se mueve lentamente, y para cuando lleguen regulaciones significativas, otra generación de niños puede haber crecido ya con compañeros de IA como sus confidentes, tutores y amigos.
YouTube Kids eventualmente mejoró, pero solo después de años de escándalos públicos y presión regulatoria que forzaron arreglos iterativos. La pregunta ahora es si podemos permitirnos otra curva de aprendizaje de una década con compañeros de IA que no solo muestran contenido, sino que forman relaciones con los niños.
