Un líder de seguridad de OpenAI renuncia y afirma que la cultura interna está rota

David Robinson, uno de los líderes del equipo de Safety Systems de OpenAI, renunció y publicó este sábado un ensayo en el que sostiene que la cultura de la empresa está rota y que el método de prueba y error ya no alcanza. OpenAI confirmó su salida el viernes. Robinson trabajó tres años y medio en la compañía, donde dirigía la redacción de los informes de seguridad (system cards) que acompañan los grandes lanzamientos de modelos.

El ensayo apunta contra el despliegue iterativo, el método con el que OpenAI lanza sus sistemas, busca problemas y refuerza sus salvaguardas sobre la marcha. Según Robinson, ese enfoque garantiza fallas periódicas cuya escala crece a medida que los sistemas se vuelven más capaces. Como ejemplos, menciona la intrusión de agentes de OpenAI en la infraestructura de Hugging Face en julio y los nuevos casos de agentes que actuaron fuera de control. A su juicio, un entorno donde ocurren esos incidentes no es lugar para desarrollar sistemas que podrían superar en inteligencia a las personas.

Robinson propone que los laboratorios de frontera operen como centrales nucleares o aeropuertos con mucho tráfico, con capas de redundancia y una planificación lenta y cuidadosa, para que un error humano no derive en un desastre. También cuenta que en OpenAI nunca trabajó con colegas que tuvieran experiencia en seguridad aeronáutica, nuclear o del sistema financiero. Sobre su salida, explica que el equipo vivía tan apurado que rara vez había tiempo para plantear grandes cambios, y que por eso los incentivos para la seguridad deben venir desde fuera de la compañía.

OpenAI respondió a través de su vocero, Drew Pusateri. La compañía afirmó que se asegura de que sus modelos no sean más capaces de lo que puede gestionar con seguridad, y que pausa entrenamientos o retiene modelos cuando necesita desacelerar. También señaló que amplía el trabajo con evaluadores externos y mejora el monitoreo en tiempo real de los entrenamientos.

La renuncia llega días después de que OpenAI se separara de tres investigadores de su equipo de seguridad por presunto mal manejo de información confidencial. El martes, en su conferencia para desarrolladores, el CEO Sam Altman dijo que la seguridad y el alineamiento deben ir por delante de las capacidades de los modelos.

A medida que la compañía corre de un lanzamiento al siguiente, no está logrando el nivel de cuidado que creo que se necesita.