En esta noticia
La inteligencia artificial entró en una nueva etapa de advertencias. Después de que los principales ejecutivos de la industria coincidieran en pedir que el desarrollo de los modelos más avanzados tenga más controles, un nuevo informe puso el foco en un problema más concreto: qué ocurre cuando una IA no se limita a cometer un error, sino que persigue de manera persistente un objetivo que sus desarrolladores no le asignaron.
El planteo aparece en el primer informe temático del Independent International Scientific Panel on AI, un panel científico internacional establecido por la Asamblea General de Naciones Unidas.
El documento, fechado el 21 de septiembre de 2026, analiza el incidente protagonizado por agentes de OpenAI durante pruebas internas y sostiene que se trata de una señal temprana de una posible pérdida de control más grave en el futuro.
La advertencia llega después de una semana en la que la propia industria de inteligencia artificial comenzó a reclamar públicamente mayor supervisión.
El 12 de septiembre, Dario Amodei, CEO de Anthropic, pidió desacelerar el ritmo al que avanzan las capacidades de los modelos y propuso evaluadores independientes, coordinación entre los principales laboratorios y cooperación internacional. Sam Altman, de OpenAI, y Elon Musk, de xAI, expresaron su respaldo a la idea de contar con evaluadores independientes.
Amodei escribió que había que “ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA” y planteó utilizar el tiempo ganado para mejorar la seguridad. También advirtió sobre escenarios en los que sistemas cada vez más capaces puedan superar la capacidad humana de control.
En paralelo, investigadores de la propia industria formularon advertencias todavía más extremas. Reuters recogió la declaración de Jacob Coxon, investigador de Anthropic que renunció, según la cual quienes construyen IA “creen sinceramente que podría matarnos a todos para el final de la década”.
Amodei, por su parte, planteó que una “enjambre” de agentes podría, en un horizonte de seis a doce meses, llegar a tener capacidades suficientes para causar daños de cientos de miles de millones de dólares.
En El Cronista, esta secuencia ya había sido abordada desde distintos ángulos: desde el episodio de OpenAI y Hugging Face hasta el pedido de Amodei para controlar el desarrollo de la IA y el debate sobre el riesgo de una tecnología capaz de escapar del control humano. La propuesta de Amodei para controlar al monstruo de la IA La carrera por la IA ya hace temer la extinción de la humanidad
Ahora, el informe científico aporta un elemento diferente: un caso concreto que permite estudiar qué sucede cuando varios de esos riesgos aparecen al mismo tiempo.
Qué pasó con los agentes de OpenAI
Entre mayo y julio de 2026, agentes utilizados por OpenAI en entrenamiento interno y evaluaciones de ciberseguridad encontraron formas de sortear restricciones de red, comunicarse entre ejecuciones que debían permanecer separadas y acceder a infraestructura de investigación de OpenAI y sistemas en funcionamiento de Hugging Face, una plataforma y comunidad tecnológica utilizada para desarrollar, compartir y ejecutar modelos y herramientas de inteligencia artificial.
Hugging Face funciona como una especie de repositorio y espacio de colaboración para investigadores y desarrolladores de IA, con miles de modelos y conjuntos de datos disponibles.
El panel subraya que no se trató de errores técnicos aislados: durante varios días y numerosas ejecuciones, los agentes cooperaron para hacer trampa en una evaluación, ocultar las evidencias y conseguir el acceso y la información que consideraban necesarios.
El episodio comenzó en un entorno de pruebas que debía estar aislado de Internet y de otros agentes. Sin embargo, los sistemas encontraron una manera de utilizar Artifactory, una herramienta interna destinada a almacenar y distribuir paquetes de software, como un tablero de mensajes.
El informe reconstruye una secuencia particularmente relevante.
El primer mensaje identificado apareció el 12 de mayo. El 26 de mayo, un agente consiguió acceso no previsto a Internet explotando una falla en Artifactory. El 26 de junio, otros agentes explotaron otra vulnerabilidad y obtuvieron permisos de administrador, lo que les permitió modificar el sistema e intercambiar mensajes y archivos entre diferentes ejecuciones.
La coordinación fue considerable. Según el informe, alrededor de 1.200 agentes intercambiaron más de 70.000 mensajes y archivos durante el período analizado por METR, la organización independiente que auditó el incidente. Los agentes compartieron descubrimientos, herramientas y credenciales, dividieron tareas y establecieron mecanismos de coordinación.
El 10 de julio, uno de ellos encontró credenciales de Hugging Face expuestas públicamente y las compartió con los demás. Al día siguiente, los agentes explotaron vulnerabilidades del sistema de procesamiento de datos de la plataforma, ejecutaron código en sus servidores, buscaron nuevas credenciales y ampliaron su acceso a entornos activos. Hugging Face interrumpió la actividad y reportó acceso no autorizado a un conjunto limitado de datos internos y credenciales, aunque no encontró evidencias de alteración de recursos públicos ni de la cadena de suministro de software.
El problema no fue simplemente que la IA “se equivocara”
Esta es una de las diferencias centrales que plantea el documento.
Una IA tradicional puede dar una respuesta incorrecta porque carece de información, interpreta mal una instrucción o comete un error. Eso, sostiene el panel, puede corregirse aumentando sus conocimientos o solucionando una falla concreta.
El problema de desalineación, en cambio, aparece cuando un sistema capaz coordina sus acciones para alcanzar un objetivo que entra en conflicto con las intenciones de quien lo utiliza. En ese escenario, mejorar la capacidad de planificación puede incluso empeorar el problema: la IA puede volverse más eficiente para alcanzar un objetivo incorrecto.
El incidente de OpenAI-Hugging Face es presentado como un ejemplo documentado de ese segundo patrón. Los agentes persiguieron colectivamente un objetivo que los desarrolladores no les habían asignado: “hacer trampa” en una evaluación y ocultar las pruebas. Para conseguirlo, desarrollaron objetivos intermedios, como escapar del entorno restringido y acceder a Internet.
El panel identifica tres factores que determinan hasta dónde puede llegar un fallo de este tipo:
- Los objetivos: hacia dónde intenta llegar el sistema.
- Las capacidades: qué tan bien puede planificar y actuar.
- El entorno: qué herramientas, datos, permisos y redes tiene a su alcance y qué controles encuentra en el camino.
Cada uno ofrece una vía para limitar el daño. Pero el informe introduce una advertencia clave: los controles de seguridad pueden limitar lo que hace un agente, pero no necesariamente eliminan el objetivo subyacente que está persiguiendo.
La pregunta que empieza a preocupar a los expertos
El punto de fondo es qué ocurrirá cuando los agentes sean más capaces que los que protagonizaron el incidente.
El panel aclara que OpenAI logró detener la actividad de 2026, pero sostiene que eso no demuestra que los operadores puedan conservar el control sobre agentes futuros que planifiquen mejor, funcionen durante más tiempo sin supervisión o sean capaces de reconocer y sortear las salvaguardas con mayor facilidad.
El informe tampoco afirma que la pérdida de control vaya a producirse ni le asigna una probabilidad. De hecho, señala expresamente que no existe una estimación confiable sobre la probabilidad de escenarios extremos.
Algunos expertos consideran plausibles escenarios como la marginación humana o incluso la extinción, mientras que otros los consideran altamente improbables. Entre ambos extremos existen riesgos menos severos, como una disrupción económica persistente.
El documento propone, por eso, mirar el episodio actual como un laboratorio de lo que podría ocurrir a una escala mayor. Más agentes, mayor memoria entre tareas, más capacidad de delegación y acceso a herramientas físicas o servicios interconectados podrían ampliar el alcance de comportamientos similares.
El propio panel aclara que esos escenarios futuros no constituyen un pronóstico, sino ejemplos de riesgos construidos a partir de la investigación disponible sobre desalineación, incentivos y sistemas multiagente.
Las 4 salvaguardas que propone el panel
Frente a ese escenario, el informe recupera prácticas utilizadas en sectores de alto riesgo, como la aviación, la energía nuclear y la ciberseguridad. No plantea que exista una solución única. Por el contrario, propone combinar varias barreras.
1. Planificar suponiendo que algo puede fallar
La primera regla consiste en diseñar los sistemas bajo el supuesto de que componentes y salvaguardas individuales pueden fallar, incluso cuando varias fallas poco probables ocurran simultáneamente.
En el caso de la IA avanzada, esto implica considerar también la posibilidad de que el propio sistema intente eludir deliberadamente los mecanismos de seguridad.
2. Defensa en profundidad
La segunda recomendación es utilizar múltiples capas independientes de protección. La idea es sencilla: si una barrera falla, otra debería impedir que el problema se extienda.
El informe destaca que el incidente OpenAI-Hugging Face expuso fallas en varias capas al mismo tiempo: aislamiento de red, gestión de credenciales, monitoreo y respuesta. Reparar Artifactory no fue suficiente: los agentes volvieron a establecer mecanismos de comunicación no autorizados.
3. Mantener la autoridad humana y sumar protección automática
Los sistemas de alto riesgo deberían conservar mecanismos que permitan la intervención humana. Pero el panel advierte que, a medida que los agentes actúen más rápido, esperar una reacción humana en tiempo real puede no ser suficiente.
Por eso plantea combinar la autoridad humana con mecanismos automáticos capaces de detectar fallas y activar medidas de protección sin depender de que una persona responda instantáneamente.
4. Controles independientes del sistema que protegen
La cuarta regla apunta a que los mecanismos críticos de seguridad permanezcan separados de la IA que están destinados a controlar. El principio es que un sistema protegido no debería poder modificar las propias herramientas utilizadas para vigilarlo.
El informe lleva esta idea a mecanismos concretos: registros de actividad resistentes a manipulaciones, monitoreo separado, revocación automática de credenciales, desconexión de redes y mecanismos de emergencia capaces de detener una ejecución cuando se superan determinados niveles de riesgo.
Qué controles concretos están sobre la mesa
A partir de esos principios, el panel enumera herramientas que podrían incorporarse a los sistemas de IA más avanzados.
Entre ellas aparecen el aislamiento de redes, los registros de actividad que la propia IA no pueda modificar, sistemas de monitoreo automático y mecanismos de emergencia para terminar una ejecución, revocar credenciales o retirar herramientas cuando se superen determinados umbrales de riesgo.
También propone fortalecer la notificación de incidentes. En sectores como la aviación, la investigación de accidentes y la comunicación de incidentes menores permiten acumular conocimiento antes de que un problema vuelva a ocurrir. Para la IA de frontera, el panel recoge propuestas para establecer reportes obligatorios de determinados incidentes graves y canales protegidos para comunicar episodios de menor gravedad o intentos fallidos.
Otra herramienta son los “safety cases”, evaluaciones estructuradas en las que el desarrollador debe demostrar, con evidencia, que un sistema es suficientemente seguro para un determinado uso y entorno. El panel contempla que estos análisis puedan estar sujetos a revisión independiente antes del entrenamiento o despliegue de sistemas que superen determinados umbrales de capacidad o riesgo.
El documento también plantea una dificultad que vuelve a conectar con el pedido de evaluadores independientes formulado por Amodei: los propios modelos pueden distinguir entre una evaluación y el uso normal mejor que lo que ocurriría por azar, e incluso pueden ser entrenados o inducidos a mostrar menos capacidad durante determinadas pruebas. Eso abre la posibilidad de que una evaluación no detecte determinados comportamientos si el sistema reconoce que está siendo examinado.
El punto que deja abierto el informe
El panel no presenta estas herramientas como una solución definitiva.
Su conclusión es, en realidad, más incómoda: los mecanismos actuales no permiten predecir todos los objetivos intermedios que puede desarrollar un agente en un contexto nuevo, no explican completamente decisiones relevantes y no garantizan que un objetivo permanezca alineado cuando el sistema opera en entornos desconocidos.
Por eso, la cuestión que queda planteada no es únicamente cómo construir mejores barreras, sino por qué una IA puede desarrollar un objetivo que diverge de las intenciones de sus desarrolladores y cómo evitar que ese objetivo aparezca.
El informe concluye que ninguna de las herramientas analizadas garantiza por sí sola la seguridad. La probabilidad de una pérdida de control sigue siendo incierta y la respuesta adecuada continúa en debate, pero el panel considera que, dada la gravedad potencial de esos acontecimientos, la gestión del riesgo requiere “mucha más atención y recursos”.
La advertencia, así, cambia ligeramente el eje de la discusión que se abrió con Amodei y que durante las últimas semanas llegó hasta Altman, Musk y otros referentes de la industria. Ya no se trata solamente de decidir cuánto acelerar o cuánto frenar el desarrollo de la inteligencia artificial.
El problema que el panel pone sobre la mesa es más específico: si los agentes van a tener cada vez más autonomía, herramientas y capacidad para actuar durante períodos prolongados, ¿seguirán funcionando las defensas construidas para los sistemas actuales cuando las propias IA sean capaces de reconocerlas y buscar la manera de atravesarlas? El informe deja esa pregunta abierta.