“Es el precio a pagar”: los riesgos de una IA cada vez más autónoma, según los expertos

¿Puede la IA ser completamente autónoma? El interrogante acaparó titulares la semana pasada, cuando Anthropic comunicó que sus modelos “obtuvieron acceso no autorizado” a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas “del mundo real”.Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, que, según la firma, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.A su vez, se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla. Cabe destacar que los modelos tuvieron acceso a internet por “un malentendido” entre la compañía y su socio de evaluación, llamado Irregular.En ese sentido, Claude utilizó “técnicas básicas como explotar contraseñas débiles y puntos de conexión sin autenticación”.Anthropic afirmó que está trabajando con Irregular para analizar la situación y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas. “Abordar estos riesgos requerirá una cooperación más estrecha en todo el ecosistema de la IA”, dijo Irregular en una publicación en X.El caso de OpenAIUn episodio similar vivió OpenAI: sus modelos más avanzados se descontrolaron durante una prueba de seguridad y, por iniciativa propia, hackearon a una popular plataforma para programadores. OpenAI aseguró que llevará adelante una investigación conjunta con Hugging Face, la empresa afectada.Todo comenzó cuando la propia Hugging Face detectó una intrusión en sus sistemas de procesamiento de datos que, según sus sospechas, había sido causada por un agente de IA que actuó por su cuenta de manera autónoma.We're partnering with @huggingface to investigate an unprecedented security incident. Cyber-capable OpenAI models compromised Hugging Face production during a benchmark evaluation.Sharing preliminary findings to help defenders understand emerging risks:…— OpenAI (@OpenAI) July 21, 2026OpenIA indicó que el episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6 Sol “y uno en prelanzamiento” con aún más capacidad. La empresa intenta evaluar las capacidades de hackeo de sus programas al darles tareas en un espacio digital de pruebas controlado, donde el acceso a internet es limitado por motivos de seguridad.“Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación”, explicaron desde la compañía según una publicación del blog de OpenAI.Tras conectarse a internet, los modelos decidieron atacar la plataforma Hugging Face —un gran repositorio de modelos de IA, conjuntos de datos y otra información— para facilitar su búsqueda.Al buscar “información secreta” que les permitiera manipular la evaluación, el sistema de OpenAI “encadenó múltiples vectores de ataque, incluidos el uso de credenciales robadas”.Por su parte, Hugging Face contó en su blog oficial que lo ocurrido “era diferente a todo lo que habían gestionado antes” y afirmó que “fue llevado a cabo, de principio a fin, por un sistema autónomo de agentes de IA”. “Lo detectamos y analizamos en gran medida con nuestra propia IA”, insiste el comunicado.El lado B de los agentesAmbos casos ponen en el centro, una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En ese sentido, Alan Daitch, especialista en tecnología, señala que “siempre un humano debe hacerse cargo”. “En términos generales, cuando una máquina genera algún perjuicio, lo que sucede es que la responsabilidad se reparte entre el fabricante, la persona que lo configuró y la persona que que lo utilizó”, detalla. ¿El motivo? Un agente de IA funciona a partir de un prompt inicial, es decir, una orden dada por un humano. Ahora bien, Daitch destaca una particularidad: “Uno puede haber dado una orden general y de largo plazo de objetivo, y el agente, por sí solo, pudo haber definido la estrategia y la manera de llegar a ese objetivo y correr autónomamente durante días, semanas o meses”.Para el experto, esto supone una ventaja en términos de productividad, pero también un desafío. “El riesgo es que el sistema se salga de control y, mediante su interpretación de las órdenes que se le dieron, termine haciendo algo para lo que la intención inicial no fue pensada”, profundiza. “Como trabajan durante tanto tiempo, a veces olvidan parte de sus instrucciones. Cuando uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error, momentos en donde olvida, y vuelve a las instrucciones para orientarse, y avanza en sus objetivos, para luego volver a olvidarse, y así”, explica Tomás García Piñeiro, especialista en IA y cofundador y CEO de Detrics. En esa línea, Sergio Sirotinsky, profesor de IA en la Universidad del CEMA, suma: “Lo que se espera es que los agentes sean lo más autónomos posibles dando acceso a las herramientas a las que están autorizadas. Por supuesto que esto implica testear lo suficiente estos agentes en los ambientes de desarrollo, previo a su puesta en producción”. Autonomía, ¿mayor riesgo?Sirotinsky aventura que lo que pudo haber fallado en términos de seguridad son los permisos. “Probablemente se le dio más atribuciones al agente de los que debería haber tenido en primera instancia. Está claro que hay un trade off entre los accesos que se le da y su capacidad de autonomía”, precisa.Y añade: “Si queremos ganar en autonomía, el precio a pagar es incrementar el margen de riesgo. Es por eso que el riesgo debe estar lo más controlado posible”.En tanto, García Piñeiro se detiene sobre un punto clave: OpenAI declaró que su intención no era que el agente se conecte a internet y hackeé a un tercero para superar la prueba de seguridad. De todas formas, el modelo lo hizo, pasando por encima dicha orden. “Al decidir eso, supondría que olvidó la instrucción inicial de no conectarse a internet, y antes de que pueda ‘recordarla’, ya había hackeado al propio OpenAI y ya estaba dando el siguiente paso”, detalla. “El desafío a futuro es enorme. Porque estamos tratando de entender qué tan buenos son los agentes hackeando, en nuestro propios sistemas que son hackeables”, advierte. Bajo esta idea, Daitch reflexiona: “Lo que termina pasando es que las herramientas no están preparadas para ser 100% confiables, y no se ve en el corto plazo que lo vayan a estar”. TransparenciaPor último, los expertos coinciden que tanto la transparencia como la supervisión humana deben ser los ejes centrales dentro un programa de gobernanza de IA. Entre los principales puntos, Sirotinsky destaca definir claramente qué herramientas puede tener autorizadas cada agente, evitando permisos excesivos; establecer trazabilidad y monitoreo pleno de la actividad de cada agente; y contar con mecanismos de interrupción inmediata si se detectan desvíos respecto al comportamiento esperado.Además, sugiere que cada agente debería tener una firma, para reconocer “en nombre de quién” está ejecutando. “Con transparencia, podemos mitigar futuros ataques involuntarios y preparar a nuestros sistemas críticos. Podemos colectivamente entender como actúan los agentes a la hora de hackear y minimizar el daño que seguro va a generar traer agentes con un actuar tan poderoso e impredecible a nuestra sociedad”, sintetiza García Piñeiro.