Primer plano de Sam Altman hablando en el escenario frente a un fondo negroImágenes GettyTres meses después de su formaciónEl nuevo Comité de Seguridad y Protección de OpenAI es ahora un
comité independiente de supervisión de la juntay ha hecho sus recomendaciones iniciales de seguridad y protección para los proyectos de OpenAI, según una publicación en el sitio web de la empresa.Zico Kolter, director del departamento de aprendizaje automático de la Escuela de Ciencias de la Computación de Carnegie Mellon, presidirá la junta, dijo OpenAI. La junta también incluye al cofundador y director ejecutivo de Quora, Adam D’Angelo, al general retirado del ejército de EE. UU. Paul Nakasone y a Nicole Seligman, ex vicepresidenta ejecutiva de Sony Corporation.
SONY). OpenAI anunció el Comité de Seguridad y Protección en mayo, después de
desmantelando su equipo de Superalineación, que se dedicaba a controlar los peligros existenciales de la IA. Ilya Sutskever y Jan Leike, codirectores del equipo de Superalignment, renunciaron a la empresa antes de su disolución. El comité revisó los criterios de seguridad y protección de OpenAI y los resultados de las evaluaciones de seguridad para su
Los modelos de IA más nuevos que pueden «razonar»
, antes de su lanzamiento, dijo la compañía. Después de realizar una revisión de 90 días de las medidas de seguridad y protecciones de OpenAI, el comité hizo recomendaciones en cinco áreas clave que la compañía dice que implementará.
Esto es lo que el nuevo comité de supervisión independiente de la junta directiva de OpenAI recomienda que la startup de inteligencia artificial haga mientras continúa desarrollando e implementando sus modelos.
“Establecer una gobernanza independiente para la seguridad y la protección”Los líderes de OpenAI tendrán que informar al comité sobre las evaluaciones de seguridad de sus principales lanzamientos de modelos, como lo hicieron con o1-preview. El comité también podrá ejercer supervisión sobre los lanzamientos de modelos de OpenAI junto con la junta en pleno, lo que significa que puede retrasar el lanzamiento de un modelo hasta que se resuelvan los problemas de seguridad.Es probable que esta recomendación sea un intento de restaurar cierta confianza en la gobernanza de la empresa después de que la junta directiva de OpenAI intentara derrocar al director ejecutivo Sam Altman en noviembre. Altman fue derrocado, dijo la junta, porque “no fue siempre sincero en sus comunicaciones con la junta”. A pesar de la falta de transparencia sobre por qué exactamente fue despedido, Altman fue
reinstalado días después
.
“Mejorar las medidas de seguridad”
OpenAI afirmó que sumará más personal para formar equipos de operaciones de seguridad “las 24 horas” y continuará invirtiendo en seguridad para su infraestructura de investigación y productos. Después de la revisión del comité, la empresa afirmó que encontró formas de colaborar con otras empresas de la industria de la IA en materia de seguridad, incluso mediante el desarrollo de un Centro de análisis e intercambio de información para informar sobre inteligencia de amenazas e información de ciberseguridad.
En febrero, OpenAI afirmó haber encontrado y cerrado cuentas de OpenAI pertenecientes a “cinco actores maliciosos afiliados a estados” que utilizaban herramientas de inteligencia artificial, incluido ChatGPT, para llevar a cabo ciberataques.
“Estos actores generalmente buscaban utilizar los servicios de OpenAI para consultar información de código abierto, traducir, encontrar errores de codificación y ejecutar tareas de codificación básicas”, afirmó OpenAI en un comunicado. OpenAI afirmó que sus “hallazgos muestran que nuestros modelos ofrecen solo capacidades limitadas e incrementales para tareas maliciosas de ciberseguridad”.“Ser transparentes sobre nuestro trabajo”Si bien ha publicado tarjetas de sistema que detallan las capacidades y los riesgos de sus últimos modelos, incluidos los de GPT-4o y
o1-vista previa
OpenAI dijo que planea encontrar más formas de compartir y explicar su trabajo en torno a la seguridad de la IA.
La startup afirmó que desarrolló nuevas medidas de entrenamiento de seguridad para las habilidades de razonamiento de o1-preview, y agregó que los modelos fueron entrenados “para refinar su proceso de pensamiento, probar diferentes estrategias y reconocer sus errores”. Por ejemplo, en una de las “pruebas de jailbreaking más difíciles” de OpenAI, o1-preview obtuvo una puntuación más alta que GPT-4.
“Colaboración con organizaciones externas”OpenAI afirmó que quiere que grupos independientes realicen más evaluaciones de seguridad de sus modelos y agregó que ya está colaborando con organizaciones de seguridad y laboratorios de terceros que no están afiliados al gobierno. La startup también está trabajando con los Institutos de Seguridad de IA en los EE. UU. y el Reino Unido en investigaciones y estándares. En agosto, OpenAI y Anthropic
Llegamos a un acuerdo
con el gobierno de EE. UU. para permitirle el acceso a los nuevos modelos antes y después de su lanzamiento público. “Unificación de nuestros marcos de seguridad para el desarrollo y monitoreo de modelos”A medida que sus modelos se vuelven más complejos (por ejemplo, afirma que su nuevo modelo
puede “pensar”), OpenAI dijo que está desarrollando sus prácticas anteriores para lanzar modelos al público y que su objetivo es tener un marco de seguridad y protección integrado establecido. El comité tiene el poder de aprobar las evaluaciones de riesgo que utiliza OpenAI para determinar si puede lanzar sus modelos. Helen Toner, una de las exmiembros de la junta directiva de OpenAI que estuvo involucrada en el despido de Altman, dijo:
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.