TSJ Staff
Empleados de Faculty, el negocio especializado en IA de Accenture, se integrarán dentro de Anthropic para poner a prueba sus salvaguardas, atacar los modelos en simulacros y evaluar si se comportan de acuerdo con valores humanos. El acuerdo no es exclusivo: Anthropic también conversa con la organización sin fines de lucro METR.
Anthropic eligió a Accenture como su primer evaluador incrustado, el primer paso concreto del plan que su CEO Dario Amodei publicó para desacelerar el ritmo de desarrollo de la inteligencia artificial. Cada compañía espera invertir al menos US$1.000 millones en el proyecto durante los próximos cinco años.
El acuerdo es inusual en su mecánica. Empleados de Faculty, el negocio especializado en inteligencia artificial de Accenture, se integrarán dentro de Anthropic para poner a prueba sus salvaguardas, someter los modelos a red teaming, es decir ataques simulados para forzar fallas de seguridad, y evaluar si se comportan de acuerdo con valores humanos. No es una auditoría externa que llega, revisa y se va.
Esa es exactamente la primera parte del plan que Amodei publicó el 12 de septiembre bajo el título We Must Pace the Frontier: darle a evaluadores externos acceso de nivel empleado a la compañía para que verifiquen las prácticas de seguridad y reporten incidentes. El argumento es que nadie puede auditar de verdad un laboratorio de IA desde afuera, leyendo documentos que el propio laboratorio redacta.
El acuerdo no es exclusivo. Anthropic dijo que también conversa con METR, la organización de investigación sin fines de lucro, y con otros terceros. El 17 de septiembre había publicado tres métricas para que las compañías de IA monitoreen el ritmo de su propio desarrollo: investigación y desarrollo liderados por IA, supervisión de agentes y cómputo dedicado a seguridad.
El anuncio coincide con la preparación de su salida a bolsa, para la que presentó un prospecto confidencial en junio. El debate excede a la compañía: Sam Altman y Elon Musk también advirtieron este mes que la IA avanza demasiado rápido, mientras que el presidente Donald Trump rechazó el 14 de septiembre los pedidos de regulación y apuntó contra Amodei.