Las promesas contundentes de los directores de Anthropic y OpenAI para limitar el desarrollo de la inteligencia artificial están generando tensiones internas sobre la seguridad y otras preocupaciones, lo que pone en evidencia las dificultades prácticas de llevar el discurso a la realidad.
El personal de los creadores de Claude y ChatGPT se apresura a implementar las recomendaciones de sus respectivos directores ejecutivos, Dario Amodei y Sam Altman, para frenar el ritmo de avance de la IA y evitar consecuencias desastrosas, tras una serie de advertencias alarmantes por parte de los investigadores.
Ambos directivos se han mostrado cada vez más firmes en meses recientes sobre la necesidad de “marcar el paso de la frontera” en el desarrollo de modelos de IA, lo que culminó en una inusual muestra de unidad entre los dos rivales el fin de semana pasado. A pesar de sus declaraciones públicas, internamente hay muy poco preparado para poner en marcha las nuevas propuestas, de acuerdo con varias personas cercanas a las compañías.
Amodei publicó un ensayo detallado el sábado en el que solicitó un desarrollo de IA más lento, evaluaciones independientes de los modelos e incrementó la coordinación entre laboratorios y gobiernos a nivel global. También pidió protección legal frente a las normas de competencia de EEUU que podrían obstaculizar dicha colaboración, algo que otros laboratorios de IA también están ansiosos por asegurar.
A los empleados de OpenAI y Anthropic, así como los investigadores de seguridad en los que confían para llevar a cabo esta labor, les tomaron por sorpresa los anuncios del fin de semana. Aunque muchos coinciden en la necesidad de desacelerar, también temen que llevarlo a la práctica pueda poner en riesgo su trabajo.
Un punto crítico dentro de ambas empresas es el plan de incorporar evaluadores externos dentro de los laboratorios para supervisar el desarrollo de los modelos. Algunos temen que esto pueda comprometer la seguridad de su tecnología insignia, según personas familiarizadas con las discusiones internas; uno de ellos lo describió como una fuente de “conflicto”.
Amodei, quien dejó OpenAI para fundar Anthropic en 2021 por motivos de seguridad, propuso que los evaluadores externos cuenten con un “acceso equivalente al de un empleado” en los principales laboratorios, lo que incluye credenciales, laptops, acceso a oficinas y uso de herramientas internas.
Las empresas líderes en IA ya contratan a terceros para evaluar el rendimiento y la seguridad de sus modelos, pero la propuesta de Amodei aumentaría de forma sustancial su nivel de participación.
Altman afirmó que era una “gran idea” y que OpenAI haría lo mismo.
Sin embargo, el consenso está lejos de ser completo. OpenAI señaló que desea colaborar con otros laboratorios, pero que su enfoque ante estos temas es más pragmático que el de Anthropic.
OpenAI también declaró que “ya ha tomado medidas concretas, incluyendo la pausa en el entrenamiento de ciertas tecnologías de frontera para moderar el desarrollo”, mientras que Anthropic no ha detenido sus investigaciones.
Implementar los compromisos de los directores ejecutivos para dar mayor acceso a expertos externos, al tiempo que se equilibra la seguridad y la protección de datos, representará grandes desafíos prácticos, según personas cercanas a ambas organizaciones.
A algunos miembros del personal les preocupa otorgar demasiado acceso a personas ajenas sobre sistemas que son sumamente potentes y el foco de una intensa competencia en la industria tecnológica.
Los laboratorios de IA ya aplican estrictas medidas de seguridad para sus empleados, restringiendo el acceso a ciertos sistemas o limitando la consulta de datos de entrenamiento.
En meses recientes, OpenAI ha buscado limitar aún más el acceso para proteger su propiedad intelectual e información confidencial, además de evitar que empleados deshonestos manipulen los sistemas. La compañía afirmó que ofrecer un acceso significativo mientras se protegen los sistemas sensibles requiere un diseño muy cuidadoso.
“Actualmente, la mayoría de las organizaciones externas tienen mucho, mucho menos acceso que el empleado de tiempo completo con el nivel más bajo de permisos. Por lo tanto, probablemente se requerirá algún tipo de mandato vinculante para establecer esto en toda la industria”, dijo Miles Brundage, exinvestigador de OpenAI que ahora se desempeña como director ejecutivo del Instituto de Investigación para la Verificación y Evaluación de la IA.
Por su parte, Anthropic indicó que ha trabajado durante mucho tiempo con evaluadores externos y que planea integrar a un evaluador dentro de la empresa en un futuro cercano.
Las organizaciones independientes que operan como evaluadoras han cobrado relevancia este año tras registrarse fallas de seguridad por parte de agentes de IA durante pruebas y fases de desarrollo en OpenAI y Anthropic.
Dos organizaciones sin fines de lucro, METR y Redwood Research, encabezaron una investigación sobre el ataque perpetrado en julio por agentes de OpenAI al sitio de desarrolladores Hugging Face, donde revisaron decenas de miles de registros de más de 1,200 agentes.
OpenAI afirmó que la colaboración sentó un precedente importante para la industria y servirá de base para investigaciones futuras. Las firmas investigadoras recibieron computadoras portátiles de OpenAI con evidencias, pudieron trabajar desde la sede central de la empresa en San Francisco e entrevistar al personal. Ninguno de los dos grupos de investigación recibió pago por el informe publicado el mes pasado.
No obstante, la investigación recibió críticas por su alcance sumamente limitado, al restringirse únicamente a fechas específicas relacionadas con el incidente de Hugging Face.
Otros críticos han acusado a las organizaciones de seguridad de mantener una relación demasiado cercana con los laboratorios de IA para ofrecer una supervisión imparcial. “Dejen de pretender que METR es independiente cuando está vinculada con los inversionistas y el personal de Anthropic”, publicó en X David Sacks, asesor de IA de la Casa Blanca.
METR aseguró que no acepta donaciones de empresas de IA ni de su personal, y que sus empleados están obligados a declarar cualquier conflicto de interés. “Nuestro objetivo es llevar la información interna de estas empresas al dominio público”, añadió.
David Krueger, exintegrante del Instituto de Seguridad de IA del Reino Unido (el organismo gubernamental que prueba los modelos), opinó que los gobiernos, y no los laboratorios de IA, deberían ser quienes determinen los niveles de acceso.
“Todas estas organizaciones solo cuentan con el acceso que las empresas de IA deciden otorgarles, y eso es completamente insuficiente”, afirmó Krueger, profesor de IA responsable en la Universidad de Montreal.
“(El enfoque exclusivo en las evaluaciones) invierte de forma errónea la carga de la prueba; sienta un precedente en el que se asume que los sistemas de IA son seguros hasta que se demuestre que son peligrosos”, agregó.
Amodei ha abogado por una legislación federal que exija evaluadores permanentes integrados y auditorías de terceros, sugiriendo además una exención antitrust limitada para que las empresas puedan colaborar en normas voluntarias mientras tanto.
Otros laboratorios también buscan obtener esta exención antitrust por temor a que, sin ella, futuras administraciones los acusen de colusión ilegal.
Cabilderos de las grandes empresas tecnológicas han visitado esta semana a legisladores en Washington para presionar por incluir la exención de competencia dentro de la Ley de Autorización de Defensa Nacional, un presupuesto anual de defensa de aprobación obligatoria.
El fiscal general Todd Blanche evitó pronunciarse el martes sobre si las empresas necesitarían la exención antitrust: “En la medida en que estas empresas busquen autorregularse o corregir sus propios problemas, deberían hacerlo, colaborando con nosotros de ser necesario”, declaró, añadiendo que el Departamento de Justicia “no intentará regular la IA”.
El impulso por establecer límites enfrenta la oposición del presidente Donald Trump, quien el lunes calificó las preocupaciones sobre la seguridad de la IA como un “engaño” y afirmó que un freno en la investigación estadounidense perjudicaría al país al permitir que la tecnología china tome la delantera.
“Los auditores y evaluadores de riesgo tradicionales han analizado la gestión del riesgo durante siglos”, indicó Rajiv Dattani, cofundador de Artificial Intelligence Underwriting Company, una empresa emergente dedicada a desarrollar auditorías para seguros de IA. “La industria de la IA puede aprender tanto de los éxitos como de los fracasos en sectores como la electricidad, el automotriz, las auditorías financieras y la energía nuclear”.
