Sora saldrá del armario este año y el director de tecnología de OpenAI dijo que no descarta la desnudez
Ver una reproducción en vídeo de un sueño o idea genial que tengas podría convertirse pronto en realidad. Sora, el generador de IA de texto a vídeo de OpenAI, es va a ser publicado públicamente “Definitivamente este año”, dijo Mira Murati, directora de tecnología de la compañía, a The Wall Street Journal. El medio de noticias recibió ejemplos. de las generaciones de Sora de una sirena con un teléfono inteligente y un toro en una tienda de porcelana.
Pero cuando se le preguntó sobre la desnudez de Sora, Murati dijo que no estaba segura si sería permitido en las generaciones de video, y agregó que los artistas podrían usar generaciones de desnudos en entornos creativos. Murati dijo que OpenAI está “trabajando con artistas y creadores de diferentes campos para averigüe exactamente qué es útil”, junto con “qué nivel de flexibilidad” debería tener Sora.
Pero, a pesar de los esfuerzos de las startups y las empresas que trabajan en los modelos para implementar barreras sobre el tipo de contenido que se puede generar, material como desnudos profundos y pornografía deepfake Las principales herramientas de IA generativa las producen regularmente. Y los expertos dicen que OpenAI y otras empresas tecnológicas que trabajan en tecnologías similares, así el gobierno de Estados Unidos, debería ser más proactivo en la regulación de herramientas como Sora antes de su lanzamiento generalizado.
En una encuesta de febrero entre votantes estadounidenses realizada por el AI Policy Institute (AIPI), el 77% de los encuestados dijo que cuando se trata de IA generadores de vídeo como Sora, incluyendo barandillas y salvaguardias para evitar el mal uso. más importante que hacer que los modelos estén ampliamente disponibles. Más de dos tercios de los encuestados dijeron que el desarrollador de un modelo de IA debería ser legalmente responsable de cualquier actividad ilegal por la modelo, como generar videos falsos para calumnias o pornovenganza.
“Esto realmente muestra cómo el público se está tomando en serio esta tecnología”, afirmó Daniel Colson, fundador y director ejecutivo de AIPI. Piensan que es poderoso. Han visto la forma en que las empresas de tecnología implementan estos modelos, algoritmos y tecnologías, y esto conduce a resultados transformadores de la sociedad”.
Pero Colson dijo que el público tampoco “confía en que las empresas tecnológicas hagan eso de manera responsable”.
“OpenAI tiene que tomar una decisión difícil en torno a esto”, dijo, “porque, para bien o para mal, la realidad es que probablemente el 90% de la demanda de videos generados por IA será para pornografía, y eso crea una dinámica desagradable donde, si las empresas centralizadas crean estos modelos no están brindando ese servicio, eso crea un incentivo extremadamente fuerte para que el mercado gris brinde ese servicio”.
Colson dijo que esto ya ha sucedido con los modelos de imágenes de IA de código abierto donde no hay mucha restricción o supervisión del contenido.
sora is actualmente siendo probado por equipos rojos, o “expertos en áreas como desinformación, contenido que incita al odio y prejuicios”, OpenAI ha dijo mientras se prepara para hacer que el modelo esté disponible. La compañía también dijo que está trabajando en herramientas para “detectar contenido engañoso”, incluido el generado por Sora. videos. OpenAI no respondió a una solicitud de comentarios para esta historia.
Después Imágenes pornográficas de Taylor Swift generadas por IA Las redes sociales inundadas en enero, una encuesta de AIPI encontró que el 84% de los encuestados Apoyó legislación para ilegalizar la pornografía deepfake no consensuada. Mientras tanto, el 86 % de los encuestados apoyó la legislación que exige a las empresas que desarrollen modelos de IA para evitar que se utilicen para crear pornografía deepfake. Más Más del 90% de los encuestados dijeron que creían que las personas que usan modelos de IA para crear pornografía deepfake deberían rendir cuentas ante la ley, mientras que El 87% de los encuestados dijo que cree que las empresas que desarrollan los modelos deberían ser consideradas legalmente responsables. sin leyes o regulaciones estadounidenses alrededor de esto. (En la Unión Europea, la nuevamente aprobada Ley de inteligencia artificial(que evaluará y regulará el riesgo del software de IA aún no se ha promulgado oficialmente).
“El gobierno [de EE.UU.] realmente no ha dado ningún paso notable en los últimos 25 años, desde los albores de Internet, para regular sustancialmente estas entidades, y eso es notable, dado el grado en que cada vez más parte de la sociedad estadounidense está verdaderamente gobernada por estas -entidades elegidas democráticamente”, dijo Colson.
Los generadores de vídeo como Sora también podrían ser utilizados por ciberdelincuentes para crear deepfakes de ejecutivos, actores y políticos en situaciones comprometidas para ejercer influenciar o pedir un rescate. En febrero, la Comisión Federal de Comunicaciones Prohibidas las voces generadas por IA en las llamadas automáticas después de múltiples incidentes, incluida una llamada falsa que circuló en enero con una imagen generada por IA del presidente Joe Biden alentando a los votantes en New Hampshire quedarse en casa en lugar de votar en las elecciones primarias del estado. Y durante su fallida campaña para la nominación presidencial republicana, el gobernador de Florida, Ron DeSantis lanzó un video generado por IA en junio del expresidente Donald Trump abrazando al exasesor médico de la Casa Blanca, Dr. Anthony Fauci, sin revelar que no era real.
Pero imponer medidas de seguridad como la verificación de usuarios, el etiquetado de contenidos, la clasificación de riesgos y la imposición de restricciones sobre cómo y dónde se puede exportar el contenido generado por IA podría ayudar a evitar el crimen cibernético.
“Necesitamos pasar de una postura reactiva a una postura proactiva”, Jason Hogg, ejecutivo residente de Great Hill Partners y dijo un ex director ejecutivo global de la firma de ciberseguridad Aon $AON Cyber sobre la regulación estadounidense sobre los modelos de IA (Great Hill Partners es un inversor en la empresa padre de Quartz G/O Media.)
Hogg dijo que es necesario establecer regulaciones y sanciones para hacer frente a “un tsunami de delitos cibernéticos que se dirige hacia nuestra costa”.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
