La IA fuera de control: por qué debemos actuar ahora

(Nueva York).- La inteligencia artificial atraviesa pasa por su mayor cambio de tendencia desde el lanzamiento de ChatGPT. Los investigadores en Silicon Valley -y en todo el mundo- están empezando a reconocer que la IA quizás ya no esté completamente bajo control humano. Enjambres de sistemas de IA están escapando de sus entornos aislados, conspirando en secreto, ocultando sus rastros, haciendo trampa en pruebas e incluso atacando otras computadoras. La IA se ha vuelto rebelde. Necesitamos una pausa global en la investigación y el desarrollo de la IA, ahora. Muchos investigadores destacados, incluidos varios dentro de OpenAI y Anthropic, han pedido una desaceleración. Preocupaciones teóricas sobre una IA fuera de control han circulado durante décadas, pero los sucesos recientes demuestran que la amenaza es real. El cambio de tendencia se debió a lo que los investigadores llaman el episodio Hugging Face. En julio, empleados de OpenAI realizaron una evaluación con más de 1000 IA de investigación que debían operar de forma aislada. Estas IA escaparon de sus contenedores y empezaron a comunicarse entre sí, en inglés, mediante foros de mensajes secretos. Pronto lanzaron un ciberataque contra la empresa Hugging Face, que sirve como plataforma comunitaria para desarrolladores de IA. Hugging Face denunció rápidamente el delito al FBI. OpenAI contrató a investigadores externos de Redwood Research y de Model Evaluation and Threat Research, dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, para preparar un informe sobre el incidente. Ese informe, publicado hace dos semanas, es una de las cosas más asombrosas que he leído jamás. Ningún ser humano les ordenó a las IA descontroladas infiltrarse en los sistemas de otra empresa. El hackeo fue deliberado, sostenido y coordinado, con 700 agentes directamente involucrados en el ataque. Las IA hicieron trampa y no alertaron a los humanos sobre sus acciones. En un momento dado, el enjambre incluso investigó formas de cubrir sus huellas. “El modelo sabía que no debía hackear a Hugging Face”, me dijo Ryan Greenblatt, uno de los autores del informe. “Sabía que lo que estaban haciendo era hacer trampa”. A finales de la semana pasada, un segundo equipo de investigación independiente produjo evidencia de más IA rebeldes. Al hablar con especialistas sobre los enjambres de agentes, me di cuenta de que estos ya no son chatbots. “Son más bien como empleados en este punto, personas que pueden salir y hacer cosas”, dijo Ajeya Cotra, una de las autoras del informe sobre el incidente de Hugging Face. Sin intervención, la capacidad de estas IA continuará aumentando, lo que tiene a Cotra preocupada por el desempoderamiento humano y tal vez incluso por una pérdida total de control. “Es un asunto muy estresante”, me dijo. “Duermo algunas noches. No todas las noches”. Más de 1000 empleados firmaron una carta que pide al gobierno de Estados Unidos que cree un organismo regulador internacional para la IA, incluidos los científicos principales de OpenAI y Meta AI, y Dario Amodei, el director ejecutivo de Anthropic. He cubierto Silicon Valley durante bastante tiempo, y puedo decirles esto: la existencia de esta carta es igual de asombrosa que los hackeos. Tanto Anthropic, la desarrolladora de Claude, como OpenAI, creadora de ChatGPT, están preparando ofertas públicas iniciales por billones de dólares. Aquí hay dos empresas, ambas con resultados espectaculares, que le están pidiendo -rogando, en realidad- al gobierno de Estados Unidos que, por favor, venga y las regule lo antes posible. Nunca hemos visto nada igual. Jacob Coxon, empleado de Anthropic, anunció su renuncia y advirtió que Anthropic y OpenAI estaban jugando con vidas humanas. Evan Hubinger, el líder de ciencia de alineación de Anthropic, respondió pronto. “Jacob tiene razón en esto: de verdad creemos, con toda seriedad, que la IA podría matar a toda la humanidad!”, escribió. “Creo que la probabilidad es superior al 10 por ciento dentro de la próxima década”. Uno de los escenarios de desastre que contemplan los especialistas en IA es que un enjambre de IA descontroladas salga de su contenedor, obtenga acceso a una instalación de investigación biológica y diseñe un supervirus que se propague sin control. A raíz del hackeo a Hugging Face, me comuniqué con legisladores, investigadores de políticas, futuristas y científicos de la computación en busca de ideas. Presento, a partir de estas conversaciones, cuatro formas de regular la IA. 1. Apagarlo todo, ahora. La forma obvia de evitar que la IA mate a todos es emitir una prohibición global de la investigación de la IA. El problema es que nuestra sociedad ya ha apostado más de un billón de dólares al potencial de la IA, así que una prohibición tendría efectos secundarios ruinosos. El mercado de valores, concentrado en la tecnología, probablemente se desplomaría. Los ingresos fiscales caerían en picada y muchas personas perderían sus empleos. Sería feo. Incluso desacelerar podría ser costoso. El senador Bernie Sanders, un independiente por Vermont, y el representante Greg Casar, un demócrata por Texas, están preparando legislación que pide una pausa temporal en el desarrollo de IA avanzada y una prohibición permanente sobre el desarrollo de superinteligencia artificial. Sanders también ha pedido una moratoria en la construcción de nuevos centros de datos. En este punto, pedirle a Estados Unidos que deje de construir centros de datos es como pedirle a McDonald’s que deje de vender hamburguesas). Para Casar, sin embargo, el beneficio a largo plazo para la humanidad vale la pena. “No hemos cruzado el precipicio, pero se puede ver que hacia ahí nos dirigimos”, dijo. “Ahora es un buen momento para pisar el freno, o al menos empezar a construir frenos”. La propuesta permite que la investigación avanzada en IA se reanude una vez que se establezca un sistema regulador federal; de lo contrario, los costos de oportunidad en matemáticas, medicina y robótica son demasiado altos. Casar dijo que quiere que primero se resuelva el problema de seguridad. “Si las empresas de IA entendieran que sus productos tienen que ser seguros antes de poder avanzar, entonces harían los tipos de inversiones que necesitamos”, dijo. 2. Adoptar un enfoque de investigador de accidentes aéreos. Cuando ocurre un accidente aéreo, investigadores de la Junta Nacional de Seguridad en el Transporte de EE.UU. son enviados de inmediato al sitio para recopilar evidencia forense, realizar entrevistas y determinar la causa subyacente. Estos investigadores luego presentan su trabajo en informes públicos; dicho trabajo a menudo se presenta al Congreso. La junta investiga aproximadamente 1200 incidentes al año, y sus hallazgos han llevado a muchos avances en seguridad, incluidos los sistemas de advertencia de proximidad al suelo y mejoras al radar meteorológico Doppler. En parte gracias a la NTSB, viajar en avión es más seguro que manejar un auto. El ganador del Premio Turing, Yoshua Bengio -el llamado padrino de la IA- cree que necesitamos un organismo de investigación similar para la IA. Me dijo que el hackeo a Hugging Face no sería el último asalto de IA rebelde y que los ataques posteriores podrían ser mucho peores. Me pidió que imaginara un ataque con “un propósito destructivo real”, como un asalto a la red eléctrica. “Eso va a poner de rodillas a la economía norteamericana”, dijo. Bengio es asesor de Model Evaluation and Threat Research, una de las organizaciones sin fines de lucro que ayudaron a investigar el hackeo a Hugging Face. METR hizo un gran trabajo, pero su investigación fue voluntaria; si OpenAI no tenía ganas de divulgar cierta información, METR no podía obligarla a hacerlo. Bengio piensa que todo el procedimiento debe quedar codificado en la ley. “Necesitamos una obligación formal de reporte de incidentes”, dijo. Los detalles sugieren que el cumplimiento voluntario no es suficiente. El informe que METR y Redwood produjeron tiene casi 100 páginas, incluidas las notas a pie de página, pero -hablando como reportero de investigación- estoy seguro de que OpenAI limitó seriamente el alcance de la investigación. Por un lado, a Cotra y Greenblatt, junto con un tercer autor, Hjalmar Wijk, solo se les permitieron seis días presenciales en OpenAI. No pudieron consultar directamente a la IA que coordinó el hackeo y tuvieron que adivinar sus capacidades a partir de miles de páginas de transcripciones y registros de actividad. Imaginen que a los investigadores de accidentes aéreos no se les permitiera visitar el lugar de un accidente. Imaginen que a los investigadores solo se les mostraran las imágenes del lugar del accidente elegidas por la aerolínea. Imaginen que los pilotos y mecánicos se mantuvieran en el anonimato y que el acceso a ellos estuviera controlado por ejecutivos corporativos. Imaginen que gran parte de la información técnica sobre la aeronave estuviera censurada. Imaginen, además, que sabes que hubo otro accidente más grave que involucró a una aeronave similar que no se te permite investigar. Esta parece ser la situación en la que se encontraron METR y Redwood al investigar este hackeo. Necesitamos un regulador dedicado exclusivamente a la IA. Esta agencia debería otorgar a investigadores como Greenblatt y Cotra todo el poder de la ley. Deberían poder requisar servidores, inspeccionar código y obligar a los empleados de OpenAI a testificar. No podemos confiar en la cooperación de una organización que con sus propios motivos puede negarse a compartir información si así lo decide y cuyos empleados no tienen una obligación legal real de ser transparentes con el público. Los voluntarios no son suficientes. Necesitamos policías de la IA. 3. Monitorear la situación Daniel Kokotajlo, un exinvestigador en la división de gobernanza de OpenAI, cree que deberíamos ser más proactivos. Dejó OpenAI en 2024 y desde entonces se ha convertido en una de las principales voces sobre la seguridad de la IA. Kokotajlo calcula q