OpenAI prometió dedicar el 20% de su potencia informática a combatir los tipos más peligrosos de IA, pero nunca lo cumplió.

Ahora, menos de un año después, ese equipo, que se llamaba Superalignment, se disolvió en medio de renuncias de empleados y acusaciones de que OpenAI está priorizando los lanzamientos de productos sobre la seguridad de la IA. Según seis fuentes familiarizadas con el trabajo del equipo OpenAI Superalignment, OpenAI nunca cumplió su compromiso de proporcionar al equipo el 20% de su potencia informática.

En cambio, según las fuentes, el equipo vio repetidamente sus solicitudes de acceso a unidades de procesamiento de gráficos, chips informáticos especializados necesarios para entrenar y ejecutar aplicaciones de IA, rechazadas por el liderazgo de OpenAI, a pesar de que el presupuesto informático general del equipo nunca se acercó a lo solicitado. Se prometió un umbral del 20%.

Estas revelaciones plantean dudas sobre la seriedad con la que OpenAI toma su compromiso público y si se debe confiar en otros compromisos públicos que la empresa asume. OpenAI no respondió a las solicitudes de comentarios sobre esta historia.

Actualmente, la compañía se enfrenta a una reacción violenta por el uso de la voz en sus funciones de generación de voz basadas en inteligencia artificial que tienen un parecido sorprendente con las de la actriz Scarlett Johansson. En este caso, se han planteado dudas sobre la credibilidad de las declaraciones públicas de OpenAI de que la similitud entre la voz de la IA a la que llama «Sky» y la de Johansson es pura coincidencia. Johansson dice que Sam Altman, cofundador y director ejecutivo de OpenAI, la contactó en septiembre pasado, cuando debutó la voz de Sky, y le pidió permiso para usar su voz. Rechacé. Ella dice que Altman volvió a pedir permiso para usar su voz la semana pasada, justo antes de una demostración del último modelo GPT-4o, que usa la voz de Sky. OpenAI ha negado haber usado la voz de Johansson sin su permiso, diciendo que le pagó a una actriz profesional, que no puede revelar legalmente, para crear Sky. Pero las afirmaciones de Johansson ahora han puesto en duda esto, y algunos especulan en las redes sociales que OpenAI en realidad clonó la voz de Johansson o tal vez mezcló la voz de otra actriz con la de Johansson de alguna manera para crear Sky.

El equipo OpenAI Superalignment fue creado bajo el liderazgo de Ilya Sutskever, cofundador de OpenAI y ex científico jefe, cuya salida de la empresa se anunció la semana pasada. Jan Laecke, investigador de OpenAI desde hace mucho tiempo, codirigió el equipo. Anunció su dimisión el viernes, dos días después de la marcha de Sutskever. A continuación, la empresa informó a los restantes empleados del equipo, unas 25 personas, de que se disolvía y que serían reasignados dentro de la empresa.

Fue una caída precipitada para un equipo cuyo trabajo hace menos de un año OpenAI había considerado vital para la empresa e importante para el futuro de la civilización. La superinteligencia es la idea de un futuro hipotético sistema de inteligencia artificial que será más inteligente que todos los humanos juntos. Es una tecnología que iría más allá del objetivo declarado de la empresa de crear inteligencia artificial general, o AGI, un sistema único de IA que sea tan inteligente como cualquier persona.

Superinteligencia, Inc. Dijo al anunciar el equipo.Podría representar una amenaza existencial para la humanidad al intentar matar o esclavizar a las personas. «No tenemos ninguna solución para guiar y controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta», dijo OpenAI en su anuncio. Se suponía que el equipo de Superalignment investigaría estas soluciones.

Era una misión tan importante que la compañía dijo en su anuncio que dedicaría «el 20% de la informática que hemos adquirido hasta ahora durante los próximos cuatro años» a ese esfuerzo.

Pero seis fuentes familiarizadas con el trabajo del equipo de Superalignment dijeron que dicha computación nunca fue asignada al grupo. En cambio, recibió una cantidad mucho menor que el presupuesto normal de asignación informática de la empresa, que se reevalúa cada tres meses.

No ha habido ninguna métrica clara sobre cómo calcular exactamente el 20%, lo que lo hace abierto a una amplia interpretación, dijo una fuente familiarizada con el trabajo del equipo de Superalignment. Por ejemplo, la fuente dijo que nunca se le dijo al equipo si la promesa significaba “20% anual durante cuatro años”, “5% anual durante cuatro años” o alguna cantidad variable que podría terminar siendo “1% o 2%”. ”% durante cuatro años” los primeros tres años, luego la mayor parte del compromiso en el cuarto año. De todos modos, todas las fuentes suerte Esta historia confirmó que el equipo de Superalignment nunca tuvo nada cercano al 20% de cómputo seguro para OpenAI en julio de 2023.

Los investigadores de OpenAI también pueden enviar solicitudes para lo que se conoce como computación “elástica” (acceso a capacidad de GPU adicional más allá de lo presupuestado) para manejar nuevos proyectos entre reuniones presupuestarias trimestrales. Pero estas fuentes dijeron que los altos funcionarios rechazaban habitualmente las solicitudes flexibles del equipo de Superalineación.

Bob McGraw, vicepresidente de investigación de OpenAI, fue el ejecutivo que informó al equipo del rechazo de estas solicitudes, pero otros en la empresa, incluida la CTO Mira Moratti, estuvieron involucrados en la toma de decisiones, dijeron las fuentes. Ni McGraw ni Moratti respondieron a las solicitudes de comentarios para esta historia.

Mientras el equipo investigaba un poco, se publicó. papel La fuente dijo que, al detallar sus experiencias al conseguir que un modelo de IA menos potente controlara un modelo más potente en diciembre de 2023, la falta de computación frustró las ideas más ambiciosas del equipo.

Tras su dimisión, Lyke hizo el viernes una serie de publicaciones en X (anteriormente Twitter) en las que criticaba a su antiguo empleador, diciendo: «La cultura y los procesos de seguridad se han quedado atrás de productos brillantes». También dijo: “Durante los últimos meses, mi equipo ha estado navegando contra el viento. A veces teníamos dificultades para calcular y completar esta importante investigación se hacía cada vez más difícil.

Cinco fuentes familiarizadas con el trabajo del equipo de Superalignment respaldaron el relato de Leike, diciendo que los problemas de acceso a la computación empeoraron a raíz del enfrentamiento previo al Día de Acción de Gracias entre Altman y la junta directiva de la organización sin fines de lucro OpenAI.

Sutskever, que era miembro de la junta, votó a favor de despedir a Altman y fue la persona elegida por la junta para informar a Altman de la noticia. Cuando los empleados de OpenAI se rebelaron en respuesta a la decisión, Sutskever publicó más tarde en X que «lamenta profundamente» su participación en el despido de Altman. Al final, Altman fue reelegido y Sutskever y varios otros miembros de la junta involucrados en su destitución renunciaron a la junta. Sutskever nunca volvió a trabajar en OpenAI después de que Altman fue recontratado, pero no dejó oficialmente la empresa hasta la semana pasada.

Una fuente no estuvo de acuerdo con el método de las otras fuentes. suerte Habló sobre los problemas informáticos que enfrentó Superalignment, diciendo que eran anteriores a la participación de Sutskever en el golpe fallido, que había plagado al grupo desde el principio.

Si bien hubo algunos informes de que Sutskever continuaba codirigiendo el equipo de Superalignment de forma remota, fuentes familiarizadas con el trabajo del equipo dijeron que ese no era el caso y que Sutskever no tenía acceso al trabajo del equipo y no desempeñó ningún papel en la dirección del equipo a partir de entonces. . Acción de gracias.

Con la salida de Sutskever, el equipo de Superalignment perdió a la única persona del equipo que tenía suficiente capital político dentro de la organización para defender con éxito su apropiación informática, dijeron las fuentes.

Además de Leike y Sutskever, OpenAI ha perdido al menos otros seis investigadores de seguridad de IA de varios equipos en los últimos meses. Uno de los investigadores, Daniel Kokotaglo, dijo al sitio de noticias Vox que «gradualmente perdió la confianza en el liderazgo de OpenAI y en su capacidad para manejar responsablemente AGI, por lo que renunció».

En respuesta a los comentarios de Leike, Altman y el cofundador Greg Brockman, presidente de OpenAI, publicaron en [Leike] Por todo lo que hizo por OpenAI. Los dos continuaron escribiendo: «Necesitamos continuar elevando el nivel de nuestro trabajo de seguridad para igualar los riesgos de cada nuevo modelo».

Luego ofrecieron su punto de vista sobre el enfoque de la compañía hacia la seguridad futura de la IA, que incluirá un enfoque mucho mayor en probar los modelos actualmente en desarrollo en lugar de intentar desarrollar enfoques teóricos sobre cómo hacer que los modelos futuros más potentes sean seguros. «Necesitamos un circuito de retroalimentación muy estrecho, pruebas rigurosas, una consideración cuidadosa en cada paso, seguridad de clase mundial y armonía entre seguridad y capacidades», escribieron Brockman y Altman, y agregaron que «la comprensión experiencial puede ayudar a determinar el camino a seguir».

Las personas con las que hablaron suerte Lo hicieron de forma anónima, ya sea porque dijeron que temían perder sus empleos, o porque temían perder acciones adquiridas en la empresa, o ambas cosas. Los empleados que dejaron OpenAI se vieron obligados a firmar acuerdos de separación que incluían una estricta cláusula de no menosprecio que establecía que la empresa podía canjear sus acciones adquiridas si criticaban públicamente a la empresa, o incluso si admitían que existía la cláusula. A los empleados se les ha dicho que cualquiera que se niegue a firmar el acuerdo de separación también perderá sus acciones.

Después del zorro mencionado Respecto a estos términos de separación, Altman publicó en X que no estaba al tanto de esta cláusula y que estaba «realmente avergonzado» por este hecho. Dijo que OpenAI nunca intentó hacer cumplir la cláusula y recuperar acciones adquiridas para nadie. Dijo que la compañía estaba en el proceso de actualizar sus documentos de salida para «solucionar» el problema y que cualquier ex empleado que estuviera preocupado por las disposiciones de los documentos de salida que firmaron podría contactarlos directamente sobre el problema y se cambiarían.