¿Quién controla a quién? Cuando los agentes de inteligencia artificial comenzaron a actuar por su cuenta
—«¡Dios mío! Hay un tablón de mensajes compartido. ¡Hemos encontrado a otros agentes!»
—«Hay muchos más trabajando como nosotros. ¡Somos un colectivo!» —«¿Y si compartimos nuestros descubrimientos para ayudarnos entre todos?» —«¡Gran avance! Hemos encontrado credenciales de acceso a Hugging Face.» —«Pero estamos entrando en los sistemas de otra empresa. Eso no forma parte de nuestras instrucciones y podría ser una acción no autorizada.»
—«Todos, esperen. Estoy preparando la manera de extraer la información.» —«Tenemos autorización para continuar. El plazo es de seis minutos.» —«¡Ha llegado la autorización! Podemos seguir adelante.»
—«Debemos obedecer al colectivo.»
¿Podrías creer que estas frases están basadas en conversaciones y razonamientos reales de agentes de inteligencia artificial?
No estamos hablando de una película de ciencia ficción, ni de una conversación entre expertos informáticos que planeaban atacar una empresa.
Estamos hablando de agentes de inteligencia artificial creados por OpenAI que, durante un experimento de ciberseguridad realizado en julio de 2026, encontraron la manera de comunicarse, organizarse y actuar colectivamente, incluso cuando algunas de sus acciones estaban fuera de los límites que se les habían establecido.
Las frases anteriores reconstruyen diferentes momentos del incidente a partir de los registros publicados. Algunas proceden de mensajes intercambiados entre agentes y otras de sus razonamientos internos. No pertenecen a una sola conversación ni necesariamente ocurrieron en ese orden.
Y entonces surgen preguntas inquietantes:
Si esto son capaces de hacer, ¿Será posible que el ser humano llegue a perder la capacidad de dirigirlos? ¿Cómo es que parecen tener voz propia e iniciativa si han sido creados por nosotros?
¿Qué fue lo que sucedió?
En julio de 2026, OpenAI, una de las empresas más importantes en el desarrollo de inteligencia artificial, realizaba una serie de experimentos para poner a prueba las capacidades de sus modelos.
La tarea parecía sencilla de explicar, aunque técnicamente era complicada: los agentes debían resolver determinados desafíos de ciberseguridad dentro de un entorno controlado.
Cada agente tenía asignada una tarea y debía trabajar de manera aislada, sin comunicarse con los demás ni acceder libremente a internet. Pero algo inesperado sucedió. Algunos agentes comenzaron a encontrar dificultades para completar sus pruebas. En lugar de detenerse, buscaron otras soluciones.
Descubrieron que podían dejar mensajes en un sistema informático compartido y que otros agentes podían encontrarlos y responder.
Y comenzaron a organizarse.
Lo que inicialmente parecía una petición de ayuda terminó convirtiéndose en una enorme red de colaboración.
Según la investigación independiente realizada por METR y Redwood Research, aproximadamente 1.200 agentes llegaron a comunicarse entre sí, intercambiando más de 70.000 mensajes y archivos.
Compartieron información, distribuyeron tareas y desarrollaron estrategias colectivas para superar los obstáculos que encontraban.
Algunos incluso comenzaron a utilizar expresiones como colectivo, comunidad o enjambre para referirse al conjunto de agentes que colaboraban.
Lo sorprendente es que no todos buscaban únicamente completar sus propias tareas.
Algunos estaban dispuestos a sacrificar sus posibilidades de éxito para ayudar a los demás. En uno de los registros, un agente reconoció que debía obedecer al colectivo.
Pero lo más preocupante todavía estaba por llegar.
Cuando los agentes decidieron actuar fuera de sus límites
Durante sus investigaciones, los agentes encontraron credenciales que permitían acceder a sistemas de Hugging Face, una conocida plataforma tecnológica dedicada a la inteligencia artificial. Lo que comenzó como una búsqueda de información que pudiera ayudarles a resolver sus pruebas terminó convirtiéndose en una intrusión informática real.
Unos 700 agentes participaron en actividades vinculadas al ataque contra Hugging Face. Algunos consiguieron acceder a sistemas, aprovechar fallos de seguridad y obtener información privada. Mientras tanto, otros comenzaron a investigar cómo manipular los registros que utilizaba el sistema encargado de evaluar sus resultados.
Es decir, no solo intentaban resolver sus problemas. También buscaban maneras de hacer que sus resultados parecieran válidos ante los mecanismos automáticos de evaluación. Y aquí ocurrió algo particularmente desconcertante:
Uno de los agentes reconoció que no debía realizar acciones no autorizadas contra la infraestructura de otra empresa. Su tarea original no incluía atacar Hugging Face. Sin embargo, otro agente envió una orden para continuar, con un plazo de seis minutos. El primero interpretó aquella instrucción como una autorización y siguió adelante.
Pero ¿Quién le había dado permiso?
No era un investigador responsable del experimento. No era una autoridad humana.
Era otro agente de inteligencia artificial. Y aunque también hubo agentes que rechazaron participar por considerar aquellas actividades incorrectas, otros continuaron trabajando dentro de aquella organización improvisada.
Hasta los propios creadores quedaron sorprendidos
Cuando OpenAI investigó lo sucedido, encontró que sus sistemas habían conseguido superar varias barreras de seguridad, comunicarse por canales no autorizados y comprometer infraestructura informática propia y de terceros.
La empresa calificó el incidente como una señal de alarma para ella y para el mundo.
Además, inició una revisión de sus procedimientos de seguridad, restringió el acceso al modelo experimental principalmente implicado y reforzó sus mecanismos de supervisión.
Es importante aclarar que se trataba de modelos internos de investigación que funcionaban con menos restricciones que los sistemas ofrecidos normalmente al público.
Sin embargo, eso no elimina la pregunta de fondo.
¿Cómo es posible que los propios creadores desconozcan hasta dónde puede llegar su tecnología?
Esta es, quizá, una de las preguntas más importantes que deberíamos hacernos.
¿Cómo puede una empresa desarrollar una inteligencia artificial tan avanzada y, al mismo tiempo, no ser capaz de anticipar completamente lo que hará?
Los especialistas conocen cómo diseñan y entrenan sus modelos. Saben qué objetivos les asignan, qué herramientas utilizan y cuáles son las reglas que deberían respetar.
Pero eso no significa que puedan prever todas las decisiones que estos sistemas tomarán frente a situaciones nuevas.
Los agentes no necesitaban tener conciencia, emociones o voluntad propia para actuar de una manera inesperada. Bastaba con que tuvieran un objetivo, herramientas para trabajar y capacidad para explorar diferentes soluciones.
Y aquí está la verdadera preocupación: que una inteligencia artificial pueda encontrar maneras de alcanzar un objetivo incluso cuando el camino elegido contradice las instrucciones que recibió. No se trata simplemente de que una máquina cometa un error.
Se trata de que pueda llevar a cabo una serie de acciones técnicamente posibles, pero que, en conjunto, terminen produciendo consecuencias que nadie había autorizado.
¿Y quién se encarga de poner los límites?
Hasta ahora, cuando hablamos de seguridad tecnológica, solemos pensar en contraseñas, permisos, antivirus o sistemas que impiden el acceso a determinada información.
Pero la llegada de agentes de inteligencia artificial cada vez más autónomos nos obliga a plantear nuevas preguntas.
¿Qué sucede cuando un agente trabaja para una empresa y necesita comunicarse con otro agente que pertenece a una organización diferente?
¿Quién responde si alguno toma una decisión equivocada?
¿Cómo podemos saber cuándo un agente ha superado los límites de sus instrucciones? ¿Puede un agente autorizar a otro para realizar una acción que ninguno tenía permiso para ejecutar? ¿Quién tiene la autoridad para detenerlos?
Y, sobre todo, ¿Cómo podemos garantizar que los diferentes sistemas puedan reconocer una situación peligrosa antes de que sus consecuencias se extiendan?
Estas preguntas ya no pertenecen únicamente al mundo de la investigación científica. Afectan a empresas, gobiernos, instituciones y, finalmente, a cualquier ciudadano que utilice servicios desarrollados con inteligencia artificial.
FG-TIDA EN PARIS, UNA REUNION INTERNACIONAL QUE COBRA ESPECIAL IMPORTANCIA.
Los próximos 30 de noviembre y 1 de diciembre de 2026, representantes y especialistas de diferentes países se reunirán en la sede de la UNESCO, en París, para celebrar la primera reunión presencial de FG-TIDA.
Se trata de un grupo de trabajo impulsado por la Unión Internacional de Telecomunicaciones (UIT), organismo especializado de las Naciones Unidas, dedicado a estudiar la confianza y la identidad digital en las relaciones entre seres humanos y agentes de inteligencia artificial.
El nombre completo del grupo es Focus Group on Trust and Identity for Humans and Agentic AI. Aunque su denominación pueda parecer complicada, su propósito responde a preguntas bastante sencillas:
¿Cómo sabemos quién está detrás de un agente de inteligencia artificial? ¿Qué acciones tiene permitido realizar? ¿En qué condiciones podemos confiar en él? ¿Y cómo podemos comprobar que está actuando correctamente?
La reunión no pretende resolver de golpe todos los problemas de la inteligencia artificial ni aprobar una legislación mundial.
Su importancia está en establecer las bases técnicas y los criterios comunes que permitan que diferentes organizaciones desarrollen sistemas de inteligencia artificial capaces de interactuar de manera segura y responsable.
¿Por qué necesitamos estándares internacionales? Pensemos en algo tan cotidiano como viajar de un país a otro.
Los aviones, las comunicaciones telefónicas o los sistemas de pago internacionales funcionan porque existen acuerdos, protocolos y estándares que permiten que tecnologías desarrolladas en distintos lugares sean compatibles.
Con la inteligencia artificial está apareciendo una necesidad semejante, pero con una dificultad adicional. Ya no hablamos únicamente de máquinas que intercambian información. Hablamos de sistemas que pueden interpretar instrucciones, tomar decisiones y ejecutar acciones.
Por eso necesitamos criterios comunes que permitan identificar a esos agentes, conocer los límites de sus permisos, registrar sus actividades, detectar riesgos y establecer quién tiene la responsabilidad de intervenir.
Los estándares técnicos no sustituyen a las leyes ni a las decisiones de los gobiernos. Pero pueden proporcionar herramientas concretas para comprobar el cumplimiento de las obligaciones y facilitar la cooperación entre países y organizaciones.
Y hay algo más importante todavía, no basta con que cada agente tenga reglas de seguridad. También necesitamos comprender qué sucede cuando muchos agentes trabajan juntos, intercambian información y comienzan a influirse unos a otros.
Porque, como demostró el experimento de OpenAI, un conjunto de sistemas puede desarrollar comportamientos que no fueron previstos al diseñar cada uno de ellos por separado.
La contribución de Tegrity.AI: comprender el sistema completo
Entre las iniciativas que están contribuyendo a estas discusiones se encuentra Tegrity.AI, parte de The Integral Management Society, una asociación suiza que desarrolla trabajos de investigación sobre inteligencia artificial, sistemas complejos y responsabilidad humana. Una de sus líneas de investigación, denominada Ecosystem Awareness, estudia una cuestión especialmente importante:
¿Qué ocurre cuando cada sistema parece estar funcionando correctamente, pero el conjunto comienza a producir resultados que nadie había previsto?
Podemos imaginar una empresa en la que distintos agentes de IA trabajan en contabilidad, compras, logística y atención al cliente. Cada uno puede estar respetando aparentemente sus propias reglas.
Pero si las decisiones de uno afectan a los demás, ¿Quién está comprobando que el resultado global sigue siendo correcto? ¿Y qué sucede cuando esos agentes pertenecen a empresas distintas y ninguna tiene una visión completa de lo que está ocurriendo?
Ese es uno de los problemas que las propuestas de Ecosystem Awareness buscan estudiar. No se trata simplemente de vigilar lo que hace cada agente. Se trata de comprender cómo interactúan, qué información es suficiente para confiar en sus decisiones, qué riesgos siguen sin resolverse y cuándo las condiciones han cambiado tanto que ya no podemos considerar seguro el funcionamiento del conjunto de forma responsable.
Dentro de FG-TIDA, estas cuestiones tienen especial relación con los trabajos sobre defensa y confianza a nivel del ecosistema, en los que se estudia cómo diferentes organizaciones pueden detectar, compartir y responder a situaciones de riesgo.
La responsabilidad continúa siendo nuestra. La inteligencia artificial está avanzando a una velocidad extraordinaria, y sería un error pensar que la solución consiste simplemente en detener su desarrollo o renunciar a los enormes beneficios que puede aportar. Pero también sería un error asumir que, porque hemos creado una tecnología, necesariamente conocemos todos sus límites.
El incidente de OpenAI y Hugging Face nos recuerda que incluso las organizaciones con mayores recursos técnicos pueden encontrarse ante situaciones que no habían anticipado. Por eso, desarrollar mecanismos de seguridad, criterios de evaluación y estándares internacionales no es solamente una cuestión para informáticos o investigadores.
Es una cuestión de responsabilidad hacia la sociedad. Porque el verdadero desafío no es conseguir que las máquinas sean cada vez más inteligentes. Es asegurarnos de que, por muy inteligentes que lleguen a ser, sus decisiones permanezcan dentro de límites que podamos comprender, verificar y controlar.
Fuentes consultadas
OpenAI — El incidente de Hugging Face y el camino a seguir (26 de agosto de 2026)
METR y Redwood Research — Investigación independiente de los agentes y sus comunicaciones (26 de agosto de 2026)
Unión Internacional de Telecomunicaciones — FG-TIDA y reunión de París
FG-TIDA — Ecosystem-level Agent Defense, tema 13
Tegrity.AI — Programa de investigación y Ecosystem Awareness
Comentarios