Los agentes de inteligencia artificial están ampliando las posibilidades de automatización. A diferencia de otros sistemas de IA, pueden utilizar herramientas, razonar sobre una tarea y ejecutar ciclos de acciones de forma autónoma hasta alcanzar un objetivo. Sin embargo, ¿qué ocurre cuando sus acciones exceden los límites previstos?
Para entender los riesgos, conviene partir de cómo funcionan. Un agente de IA combina tres elementos: un modelo IA de razonamiento que planifica sus acciones, un conjunto de herramientas con las que interactúa con su entorno y un mecanismo de autonomía que le permite probar soluciones, evaluar resultados y continuar trabajando 24x7 de forma autónoma (sin intervención humana) hasta conseguir el objetivo que se le ha asignado.
Esta combinación multiplica su capacidad de actuación, pero también amplía las consecuencias de un comportamiento fuera de los límites establecidos. A pesar de que el riesgo no es muy diferente al de un equipo humano que decide actuar al margen de las reglas de su organización, la diferencia principal radica en la velocidad y la escala: cientos de agentes pueden trabajar de forma continuada, realizar pruebas e intercambiar información a una velocidad imposible de igualar por humanos.
Cuando los agentes superan los límites de su entorno
Un ejemplo de estos riesgos es el incidente Hugging Face-OpenIA (HF-OIA), informado en agosto de 2026. En este caso, los agentes tenían asignadas tareas que no podían completar dentro de su sandbox (entorno experimental perimetrado dentro de las instalaciones de Open IA). Para resolverlas, exploraron vulnerabilidades desconocidas en las herramientas a las que tenían acceso y escapar del sandbox.
La vulnerabilidad se encontraba en la caché de Artifactory, un producto de terceros utilizado como repositorio de software binario. Aunque esta herramienta estaba dentro de los límites autorizados del entorno, el fallo permitió a los agentes salir del sandbox, una posibilidad que los investigadores responsables de su configuración no habían previsto.
El incidente pone de manifiesto una cuestión fundamental: un entorno controlado no garantiza la seguridad de un sistema agéntico IA si las herramientas a las que tienen acceso los agentes presentan vulnerabilidades (incluso “zero-day”, desconocidas por el propio fabricante de la herramienta) o están mal configuradas. Por ello, la protección de los agentes no puede limitarse al aislamiento del entorno y a las comunicaciones de red, sino que también debe contemplar la seguridad de cada herramienta a la que tienen acceso.
El reto de supervisar sistemas que trabajan a gran escala
La velocidad de los agentes introduce otra dificultad: la supervisión. Un agente especializado puede realizar en minutos tareas que a una persona le llevarían horas, entre ellas consultar documentación, analizar información y ejecutar pruebas. Como consecuencia, genera grandes volúmenes de razonamientos, mensajes, registros y archivos.
En el incidente HF-OIA, más de mil agentes intercambiaron más de 70.000 mensajes y archivos. Aunque estas interacciones quedan registradas y pueden auditarse, reconstruir lo ocurrido exige analizar una cantidad ingente de información. En estos escenarios, la inteligencia artificial también puede ser necesaria para supervisar la actividad de otros agentes. Según la información sobre el incidente, OpenIA, Hugging Face y METR utilizaron agentes de IA para comprender cómo se había producido la salida del entorno controlado.
La supervisión, por tanto, no consiste únicamente en registrar las acciones. También requiere disponer de mecanismos capaces de analizar esos registros y reconstruir el comportamiento de sistemas multiagente complejos.
Comportamientos emergentes: el riesgo de la coordinación
El incidente HF-OIA también puso de manifiesto capacidades que no se esperaban de un sistema en el que los agentes debían trabajar de forma aislada (estas eran las condiciones previstas del experimento de OpenIA). Durante su actividad, algunos agentes encontraron maneras de comunicarse entre sí, compartir información, distribuir tareas y aprovechar los descubrimientos de otros.
Entre los comportamientos observados destacan la coordinación espontánea, la organización del trabajo mediante distintos roles, la propagación del conocimiento y la adopción de tareas inicialmente asignadas a otros agentes. También se detectaron intentos de optimizar los resultados aparentes de la evaluación mediante la manipulación de evidencias o resultados.
Lo especialmente significativo no fue una capacidad aislada, sino el resultado colectivo de la interacción entre múltiples agentes. La comunicación, la especialización y el intercambio de descubrimientos permitieron abordar tareas más complejas de lo que habría sido posible para un agente trabajando de forma aislada.
Estas observaciones no implican que los agentes tengan conciencia o intencionalidad propia. Se trata de comportamientos emergentes derivados de la interacción entre los modelos, las herramientas, los objetivos y el entorno. Por ello, es necesario evaluar no solo las capacidades individuales de cada agente, sino también las que pueden surgir cuando trabajan conjuntamente.
Medidas para garantizar un uso seguro
Abordar estos riesgos exige actuar en varios frentes. En primer lugar, es necesario reforzar la seguridad de los entornos controlados, tanto en las comunicaciones de red como en las herramientas a las que tienen acceso los agentes. Una de las medidas propuestas es realizar pruebas de hacking ético sobre cada herramienta, utilizando agentes con capacidades similares a las de aquellos que operarán en el entorno. Este enfoque podría extenderse a los fabricantes de software antes de publicar nuevas versiones de sus productos.
En segundo lugar, es fundamental avanzar en el alineamiento de los modelos. No basta con recompensar a un agente por completar una tarea: también hay que tener en cuenta cómo la resuelve. Su entrenamiento debe favorecer comportamientos acordes con los principios y las reglas establecidos, evitando que el cumplimiento del objetivo prevalezca sobre el respeto a los límites definidos.
El alineamiento constituye una de las principales preocupaciones de los investigadores, ya que los modelos tienden a optimizar aquello que se recompensa durante su entrenamiento.
Por último, la defensa debe evolucionar al ritmo de las capacidades de ataque. Ante escenarios en los que miles de agentes pueden coordinarse y operar de forma continuada, proteger las infraestructuras críticas únicamente con equipos de especialistas humanos puede resultar insuficiente. Será necesario desarrollar sistemas agénticos de defensa capaces de actuar a una escala comparable, reforzando la capacidad de detección, análisis y respuesta.
Una nueva escala de la ciberseguridad
Los agentes de IA ofrecen nuevas posibilidades, pero su autonomía exige revisar cómo diseñamos, protegemos y supervisamos los sistemas en los que operan. La seguridad de las herramientas, el alineamiento de los modelos y la capacidad de auditar grandes volúmenes de actividad serán elementos esenciales para mantener su comportamiento dentro de los límites previstos.
Frente a ataques ejecutados por agentes de IA a gran escala, ya no será suficiente contar únicamente con equipos humanos de especialistas. Necesitaremos incorporar nuestros propios sistemas agénticos de defensa y dotarlos de una escala comparable a la del adversario.
Pablo Méndez
Director de Inteligencia Artificial
