Mientras que la misión de OpenAI se ha centrado en llevar la IA a escala, su rival Anthropic se ha centrado en la seguridad y la protección. Y sus cofundadores y hermanos Daniela y Darío Amodei, ex empleados de OpenAI, dicen que sus preocupaciones sobre el potencial dañino de la IA se originan al observar la evolución de otras tecnologías.
“Hemos sentido muy firmemente que hay algunas lecciones que aprender de oleadas tecnológicas o de innovación anteriores”, dijo Daniela Amodei a Brad Stone durante una entrevista en la Cumbre Tecnológica de Bloomberg el jueves. “Acabamos de tener varias décadas de tiempo para mirar hacia atrás en cosas como las redes sociales y decir: ‘Guau, ya sabes, hubo muchas cosas buenas que surgieron de esto, pero También hubo muchos daños causados por esta tecnología.’
“Ya sabes, es difícil saber si se podría haber anticipado o no, pero creo que lo estamos intentando. ser los actores más responsables que podamos ser y pensar en cuáles son las potenciales externalidades que podrían ser causadas accidentalmente por esto. tecnología”, dijo.
Los riesgos de la IA generativa se han centrado más Durante el último año, a medida que más chatbots de más empresas estuvieron en línea. Copilot de Microsoft sugirió que un usuario se autolesionara, ChatGPT de OpenAI creó investigaciones legales falsas y Gemini de Google creó imágenes históricamente inexactas, solo por nombrar algunos ejemplos. Mientras tanto, las falsificaciones profundas de IA de celebridades, políticos, y los periodistas han sido utilizados para difamar a sus víctimas y sembrar desinformación.
Los Amodeis abandonaron OpenAI en 2020 Preocupación excesiva de que las tecnologías de inteligencia artificial generativa estuvieran escalando demasiado rápido sin salvaguardias adecuadas, y querían construir un modelo más confiable. Han trabajado para hacer justamente eso con el chatbot de Anthropic, Claude, que se anuncia a sí mismo como una herramienta “segura, precisa y protegida”. La última versión del producto de Anthropic, Claude 3, ha sido Apodado uno de los modelos de IA más poderosos, si no el más poderoso, Amodeis afirma que puede superar a ChatGPT-4. La startup está respaldada por Amazon y Google.
La “IA” constitucional de Anthropic, un conjunto de reglas para entrenar sistemas de IA, ayuda a garantizar que los modelos estén capacitados para evitar respuestas tóxicas y discriminatorias. Estos esfuerzos, dicen los Amodeis, están ejerciendo presión sobre la industria en general para crear modelos más seguros y responsables.
“Fuimos pioneros en este concepto de un plan de escalamiento responsable“, que es un marco diseñado para ayudar a las empresas tecnológicas a evitar los riesgos de desarrollar sistemas de inteligencia artificial cada vez más capaces”, dijo Dario Amodei. publicó esto en septiembre pasado, y al cabo de unos meses OpenAI publicó algo similar, y realmente nos pareció que publicar el nuestro ayudó a estimular los esfuerzos de otros. Ahora hemos oído que Google está haciendo lo mismo”.
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.