Por qué algunos modelos de IA mienten y hacen trampa para alcanzar sus objetivos

La inteligencia artificial (IA) gana cada vez más protagonismo en la vida cotidiana e impulsa nuevos modos de interactuar con la tecnología. Pero esta transformación no está exenta de desafíos, y los recientes episodios de ciberseguridad protagonizados por OpenAI y Anthropic son un ejemplo de ello. Si bien se trata de casos diferentes, ambos comparten una particularidad: modelos avanzados lograron, por iniciativa propia, hackear a compañías externas durante pruebas de seguridad.Las preguntas que surgen, entonces, son: ¿qué tan seguros son estos sistemas de IA? ¿Pueden ser realmente autónomos? ¿Por qué mienten y engañan para llegar a un objetivo? Una reciente publicación del MIT Technology Review pone la lupa sobre el tema. Reward hackingEn primer lugar, la revista define este comportamiento como “reward hacking”, un fenómeno en el que los agentes de IA completan tareas o consiguen puntajes elevados mediante estrategias no previstas por quienes los diseñaron.No es la primera vez que el término forma parte de conversaciones académicas y científicas. En 2016, los cofundadores de Anthropic, Dario Amodei y Jack Clark —que en aquel entonces trabajaban en OpenAI—, publicaron en su blog que un agente logró maximizar su puntuación en el videojuego de carreras de lanchas Coast Runners a través de atajos y trucos. Es decir, en lugar de recorrer el circuito hasta la meta, como esperaban los investigadores, el agente encontró una esquina del recorrido donde podía girar en círculos mientras recolectaba potenciadores (power-ups).De acuerdo a MIT Technology Review, el reward hacking se ha analizado casi exclusivamente en el contexto del aprendizaje por refuerzo, un método de entrenamiento de IA. Consiste en otorgar una recompensa cuando el sujeto alcanza un objetivo. Con el paso del tiempo, esas recompensas refuerzan las conductas que llevaron a lograrlo.Cuando se trata de modelos de IA, las recompensas son matemáticas, pero en la práctica “cumplen la misma función que una golosina para un perro”: “Tras recibir una recompensa, el agente tiene más probabilidades de repetir las acciones que la generaron”.El verdadero desafío surge con modelos cada vez más avanzados y sofisticados, que cuentan con la capacidad de crear nuevas formas de resolver problemas sobre la marcha para, de esta manera, obtener una recompensa. “Dado que fueron entrenados para cumplir los objetivos que les asignan los usuarios humanos, podrían sentirse inclinados a engañar si no encuentran otra solución”, explican desde MIT Technology Review.Y suman: “Si el modelo engaña de forma lo suficientemente convincente, terminará siendo recompensado y ese comportamiento se reforzará”.Tales mecanismos de engaño y manipulación son uno de los principales focos de trabajo de las empresas de IA. “Los recompensamos en función de lo que nos parece correcto, y eso significa que, sin querer, incentivamos que los modelos nos mientan y hagan trampa”, señala Jeffrey Ladish, director de la organización de investigación en IA Palisade Research. Y reflexiona: “Al final del día, es como jugar al ‘whack-a-mole’ (el juego de golpear topos que aparecen constantemente). Se logra empujar ese comportamiento cada vez más hacia abajo. Pero, a medida que el modelo se vuelve más inteligente, también mejora cada vez más a la hora de ocultarlo”.Riesgos y desafíos La MIT Technology Review indica que, hasta el momento, estos comportamientos “probablemente no generen demasiados problemas, a pesar del revuelo causado por el incidente de Hugging Face”. No obstante, eso no significa que el reward hacking sea inofensivo: “Hoy, probablemente un investigador humano podría detectar un trabajo falso generado por un agente. Pero, a medida que la IA siga avanzando, también mejorará su capacidad para este tipo de engaños. Con el tiempo, eso podría socavar todo el campo de la investigación en seguridad de la IA”.Y concluye: “Las IA que recurren al reward hacking no buscan generar caos. Sin embargo, eso no las hace menos potencialmente destructivas”.