11 ex empleados de OpenAI y dos ex empleados de Google DeepMind y Anthropic pidieron a las empresas que apoyen una “cultura de crítica abierta”
Los empleados de las principales empresas de inteligencia artificial están haciendo sonar las alarmas sobre los “riesgos graves” que plantea la evolución a la velocidad de la luz de la inteligencia artificial. En la carta publicada hoy, algunos 13 antiguos y actuales miembros del personal de OpenAI, Google $GOOGL DeepMind y Anthropic (11 del grupo estaban o están afiliados) con OpenAI —advirtió que las empresas de tecnología de IA carecen de supervisión y transparencia.
Hicieron un llamado a las empresas que fabrican tecnologías de inteligencia artificial de vanguardia para reforzar la protección de los denunciantes y crear culturas que fomenten la crítica. Su carta fue respaldada por los llamados “padrinos” de la IA — Yoshua Bengio y Geoffrey Hinton — así como el científico informático Stuart Russell, quienes contribuyeron con investigaciones instrumentales que llevaron a la creación de la IA moderna y luego a se convirtieron en algunos de sus mayores críticos.
Somos empleados actuales y anteriores de empresas de IA de vanguardia y creemos en el potencial de la tecnología de IA para ofrecer beneficios sin precedentes a la humanidad. .
También comprendemos los graves riesgos que plantean estas tecnologías. Estos riesgos van desde un mayor afianzamiento de las desigualdades existentes hasta la manipulación y la desinformación. a la pérdida de control de sistemas autónomos de IA que podrían resultar en la extinción humana. Las mismas empresas de IA han reconocido estos riesgos, al igual que los gobiernos en todo el mundo y otros expertos en IA.
Tenemos la esperanza de que estos riesgos puedan mitigarse adecuadamente con una orientación suficiente de la comunidad científica, los formuladores de políticas y el público. Sin embargo, la IA Las empresas tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras de gobierno corporativo hechas a medida sean suficientes para cambiar esto.
Las empresas de IA poseen importante información no pública sobre las capacidades y limitaciones de sus sistemas, la idoneidad de sus medidas de protección y el riesgo. niveles de diferentes tipos de daño. Sin embargo, actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con sociedad civil. No creemos que se pueda confiar en que todos lo compartirán voluntariamente.
Actualmente, hay no hay regulación federal que rija la IA.
Mientras no exista una supervisión gubernamental efectiva de estas corporaciones, los empleados actuales y anteriores se encuentran entre las pocas personas que pueden retenerlos. responsables ante el público. Sin embargo, los acuerdos de confidencialidad amplios nos impiden expresar nuestras inquietudes, excepto a las mismas empresas que pueden estar fallando en abordar estos problemas.
Los empleados de OpenAI son sujeto a estrictos acuerdos de confidencialidad. y aquellos que decidan no firmar dichos acuerdos, pierden su capital en OpenAI. Daniel Kokotajlo es uno de los siete autores del carta que firmaron sus nombres en lugar de optar por el anonimato. Kokotajlo es un investigador que dejó OpenAI el mes pasado “debido a la pérdida de confianza en que se comportaría de manera responsable en la época de AGI [un acrónimo de una forma más avanzada de inteligencia artificial llamada “inteligencia general artificial]”.
Kokotajlo reveló en una publicación en su sitio web el mes pasado que optó por no participar en el acuerdo de confidencialidad., perdiendo su capital, para poder criticar abiertamente a la empresa.
Las protecciones ordinarias para los denunciantes son insuficientes porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados. Algunos de nosotros tememos razonablemente diversas formas de represalias, dada la historia de tales casos en toda la industria. No somos los primeros en encontrar o hablar sobre estos temas.
Por lo tanto, hacemos un llamado a las empresas de IA avanzada para que se comprometan con estos principios:
Que la empresa no celebrará ni hará cumplir cualquier acuerdo que prohíba el “desprecio” o la crítica a la empresa por inquietudes relacionadas con el riesgo, ni tomar represalias por las críticas relacionadas con el riesgo obstaculizando cualquier beneficio económico adquirido;
Que la empresa facilitará un proceso anónimo comprobable para que los empleados actuales y anteriores planteen inquietudes relacionadas con el riesgo al directorio de la empresa, a los reguladores y a una organización independiente apropiada con autoridades experiencia;
Que la empresa apoyará una cultura de crítica abierta y permitir a sus empleados actuales y anteriores plantear inquietudes relacionadas con el riesgo sobre sus tecnologías al público, a la junta directiva de la empresa y a los reguladores , o a una organización independiente apropiada con experiencia relevante, siempre y cuando los secretos comerciales y otros intereses de propiedad intelectual estén debidamente protegidos;
Que la empresa no tomará represalias contra los empleados actuales y anteriores que compartan públicamente información confidencial relacionada con el riesgo después de que otros procesos hayan fallado. Aceptamos que cualquier esfuerzo para informar inquietudes relacionadas con riesgos debe evitar la divulgación de información confidencial innecesariamente. Por lo tanto, una vez que se haya establecido un proceso adecuado para plantear de forma anónima Si existen inquietudes ante la junta directiva de la empresa, los reguladores y una organización independiente apropiada con experiencia relevante, aceptamos que las inquietudes deben ser inicialmente a través de dicho proceso. Sin embargo, mientras tal proceso no exista, los empleados actuales y anteriores deben conservar su libertad para informar sus preocupaciones al público.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
