VoiceEngine parece una herramienta impresionante, pero ¿cuánto tiempo pasará antes de que se abuse de ella de forma generalizada?
Abierto AI anunció una nueva herramienta de clonación de audio basada en inteligencia artificial llamada Voice Engine el viernes. Si bien la compañía está obviamente orgullosa del potencial de esta tecnología—promocionando cómo podría usarse para brindar asistencia de lectura a los niños y dar voz a aquellos que han perdido la suya—OpenAI es claramente muy nervioso por cómo se podría abusar de esto . Y con buena razón.
“OpenAI está comprometida con el desarrollo de una IA segura y ampliamente beneficiosa”, dijo la compañía en un comunicado el viernes, dejando claras sus preocupaciones en el muy primera frase.
VoiceEngine utiliza esencialmente la misma tecnología que está detrás de su API de texto a voz y ChatGPT Voice, pero esta aplicación de la tecnología lo es todo sobre clonar una voz en lugar de leer algo en voz alta con el tono y la inflexión de un extraño. OpenAI señala que su tecnología es excepcional en que necesita sólo una muestra de 15 segundos para “crear voces emotivas y realistas”.
“Hoy compartimos ideas y resultados preliminares de una vista previa a pequeña escala de un modelo llamado Voice Engine, que utiliza entrada de texto. y una sola muestra de audio de 15 segundos para generar un discurso con sonido natural que se asemeja mucho al altavoz original”, escribió la compañía.
No está claro qué tipo de datos de entrenamiento se utilizaron para construir Voice Engine, un punto delicado para las empresas de IA que han sido acusadas de violar las leyes de derechos de autor al capacitar a sus modelos en obras protegidas. Empresas como OpenAI argumentan que sus métodos de capacitación cuentan como “uso justo” según Ley de derechos de autor de EE. UU., pero varios titulares de derechos han presentado demandas, quejándose de que no fueron compensados por su trabajo.
El sitio web de OpenAI tiene clips de audio de ejemplo que han sido alimentados a través de Voice Engine y son bonitos. malditamente impresionante. La capacidad de cambiar el idioma que alguien habla también es genial, pero todavía no puedes probarlo por ti mismo todavía. .
Ya hay varias herramientas de clonación de voz disponibles como ElevenLabs, y traductores como Respetor. Pero OpenAI se ha convertido en un gigante desde que lanzó por primera vez ChatGPT públicamente a finales de 2022. Y tan pronto como convierte a Voice Engine en un producto disponible públicamente (todavía no hay información sobre la fecha de lanzamiento) podría abrir las compuertas para todo tipo de nuevos abusos que Nunca he siquiera soñado.
La declaración de OpenAI del viernes señaló: “Estamos adoptando un enfoque cauteloso e informado para un lanzamiento más amplio debido al potencial de voz sintética. Mal uso», enfatizando las preocupaciones que todas las grandes empresas enfrentan ahora con este tipo de tecnología de IA.
Un ejemplo particularmente preocupante de alguien que utiliza la clonación de voz mediante IA con fines nefastos ocurrió a principios de este año utilizando La voz del presidente Joe Biden.Steve Kramer, que trabajó para el candidato presidencial demócrata Dean Phillips, clonó la voz de Biden para crear un mensaje que decía que la gente no debería molestarse en votar en las primarias de New Hampshire. Kramer usó la herramienta de voz AI de ElevenLabs y lo hizo en “menos de 30 minutos”. enviando el mensaje de llamada automática a unas 5.000 personas, según Correo de Washington.
“Esperamos iniciar un diálogo sobre el despliegue responsable de voces sintéticas y cómo la sociedad puede adaptarse a estas nuevas capacidades”. La declaración de OpenAI decía: “Basándonos en estas conversaciones y los resultados de estas pruebas a pequeña escala, tomaremos una decisión más informada. sobre si y cómo implementar esta tecnología a escala».
Esa, por supuesto, es el arma de doble filo de toda nueva tecnología. Los estafadores siempre encontrarán una manera de explotar las herramientas emergentes para Estafamos a las personas con el dinero que tanto les costó ganar. Pero no es necesario utilizar voces falsas generadas por IA para estafar a las personas. Informado a principios de esta semana, los últimos usos de cripto estafas actores reales contratados en Fiverr para leer un guión que ayuda a vender su estafa como auténtica.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
