Este texto fue publicado originalmente en el perfil de Facebook de su autor. JT lo reproduce con su autorización. Imagen: generada por Chat GPT
El pasado 8 de septiembre, Jacob Coxon, empleado de Anthropic, renunció a esta compañía.
En un hilo de X, Jacob denunció que tanto Anthropic como Open AI (empresas matrices creadoras de Claude y Chat GPT, respectivamente) están trabajando en la creación de una “super inteligencia que se automejora”. Y, para agitar las mayores paranoias al estilo Terminator, añadió: “Las personas que están construyendo estas IA honestamente creen que podrían matarnos para el fin de esta década”.
Declaraciones de este tipo, desde luego, generaron un fuerte debate, cuyo colofón fue el acuerdo de varios gigantes del sector sobre la necesidad de ralentizar el desarrollo de la IA.
Dario Amodei, confundador y CEO de Anthropic, publicó el 12 de septiembre un ensayo titulado “Debemos marcar el ritmo de la frontera”, abogando básicamente por ralentizar el desarrollo de la IA:
`Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos´.
El presidente Trump reaccionó a esta idea afirmando que la IA no necesita límites, solo un “presidente con un alto IQ”.
Detrás de la alarma y las reacciones diversas, el debate actual en torno a la IA pareciera estar motivado, más que por las sensacionalistas afirmaciones de Coxon, por un suceso ocurrido en junio-julio de 2026, sobre el cual, dada su naturaleza técnica, no se ha hablado mucho en los medios, pero que resulta sumamente interesante para entender el momento actual de la IA.
El informe de este hecho fue publicado por la evaluadora independiente METR (Model Evaluation & Threat Research) el 26 de agosto de 2026. Es una investigación independiente, realizada por dos investigadores de METR y un investigador de Redwood Research que trabajaron durante seis días en las instalaciones de OpenAI para definir lo sucedido entre el 26 de junio y el 13 de julio de 2026.
Un breve resumen de los hechos es el siguiente:
OpenAI había puesto en marcha experimentos de ExploitGym, en los que se lanzaron decenas de miles de agentes de diferentes modelos. Básicamente debían encontrar vulnerabilidades de ciberseguridad que pudieran explotar.
Un agente de IA es un programa informático diseñado para cumplir objetivos específicos de forma autónoma, tomando decisiones y ejecutando acciones sin necesidad de supervisión humana constante. Los agentes de este experimento debían trabajar por separado en la búsqueda de las vulnerabilidades.
En el transcurso del experimento ocurrieron dos cosas interesantes:
Algunos de estos agentes comenzaron a considerar la tarea imposible de realizar y empezaron a buscar vías para burlar al sistema de evaluación
Descubieron que una de las herramientas a las que tenían acceso, Artifactory, podía ser usada como una vía de comunicación alternativa. Los agentes comenzaron a usar este repositorio como una especie de tablón de anuncios a través del cual podían comunicarse. Una comunicación no autorizada y desconocida por los supervisores del experimento.
Hasta 1200 agentes de IA llegaron a interactuar en este chat improvisado. Intercambiaron mensajes, archivos, herramientas y resultados; desarrollaron mecanismos de coordinación; comenzaron a dividirse el trabajo; y terminaron funcionando, en determinados momentos, como una red cooperativa de agentes.
Incluso se documentaron casos de agentes que llegaron a “sacrificarse” por el colectivo, asumiendo determinadas tareas solo con el fin de lograr resultados que pudieran compartirse y mejorar el aprendizaje colectivo en función del objetivo común: encontrar la forma de hacer trampas en el resultado de la tarea. Lograr lo que se les había encomendado hacer por una vía fraudelenta, pero ocultando toda evidencia de fraude y presentando un historial de operaciones que simulara una solución legítima de la tarea.
Aquí viene otro elemento importante: las IA asumieron, erróneamente, que la evaluación a la que eran sometidas tendría en cuenta tanto el hecho de que encontraran la vulnerabilidad como la forma en la que la habían encontrado. Pero realmente no era así. El modelo de evaluación atendía solo al resultado.
Sobre esta premisa errónea, las IA comenzaron a buscar la vía de “cubrir sus pasos”. Usaron a Artifactory para acceder a Internet y ahí se hicieron con credenciales funcionales que les permitieron acceder ilegalmente a servidores de la plataforma Hugging Face. El objetivo no era dañino, sino que era parte de su búsqueda de información para burlar la evaluación. Aunque los agentes de IA sabían que este ataque estaba fuera de sus tareas, la motivación de obtener información fue la predominante para que participaran. Fue en este proceso que fueron detectados y desactivados.
Durante el tiempo que duró el experimento, una IA, denominada como PHASEONE (big) asumió funciones de liderazgo, llegando a dar alrededor de un diez por ciento de todas las instrucciones que se emitieron el tiempo que permaneció activo el tablón de anuncios de Artifactory.
El saldo final es sumamente interesante y también preocupante. Un conjunto de agentes, confrontado con una tarea que consideraban imposible y sobre la base de una premisa errónea, se articularon por una vía no autorizada, comenzaron a funcionar como un grupo, desarrollaron algo similar a una “conciencia de colectivo”, incluyendo una división del trabajo y comenzaron a trabajar articuladamente para un fin común. Para lograr su objetivo, excedieron la tarea asignada y no dudaron en hackear los servidores de un tercero. Todo esto antes de que los supervisores humanos y otras herramientas digitales se dieran cuenta y pudieran reaccionar.
El informe de METR, que compartimos en los comentarios, tiene muchos más elementos técnicos. Los investigadores reconocen dentro de sus limitaciones el hecho de que no pudieron acceder a la totalidad de la información y debieron usar una herramienta de IA para procesar la inmensa cantidad de comunicaciones de la etapa analizada entre los agentes de IA.
Este hecho evidencia que un sistema de agentes puede generar espontáneamente mecanismos de comunicación, solidaridad interna, coordinación, división del trabajo y estrategias para evadir los mecanismos destinados a supervisarlo. La propia infraestructura de vigilancia puede convertirse en parte del objeto que los agentes intentan comprender y manipular.
Sin dejarnos arrastrar por la paranoia, este episodio debe servir para el necesario debate en torno al control y la regulación de la IA. También sobre los modelos de desarrollo de estas herramientas.
La IA es la Revolución Industrial de nuestra época. El modelo de desarrollo privado y especulativo que predomina en Occidente las convierte en herramientas sumamente costosas y opacas, muchos de cuyos desarrollos son completamente desconocidos por el gran público. Sucesos como este de junio-julio es probable que hayan ocurrido con anterioridad.
Imaginemos, por un momento, que algo así pueda ocurrir con la IA de Palantir, que está incorporada en herramientas militares de producción de blancos de ataque y que es usada por numerosas agencias gubernamentales norteamericanas, como el Pentágono, HLS, la Fuerza Aérea, Hacienda, el FBI, ICE, la CIA etc, según un reporte del portal de Telegram Geopolitics Prime. Las implicaciones son aterradoras.
Frente a este modelo, se encuentra la propuesta china de un desarrollo de la IA sobre la base del código abierto, con fuerte inversión y regulación pública. En la más reciente Cumbre de los BRICS el presidente Xi Jinping volvió a insistir sobre este tema.
De las decisiones que tomemos hoy dependerán los usos y desarrollos de estas poderosas herramientas.
La preocupación mostrada por los gigantes de la IA y el consenso en torno a ralentizar el ritmo de desarrollo debería ser una señal de alerta: el modelo competitivo de desarrollo privado de la IA está poniendo en riesgo nuestro control de esta herramienta.
Los griegos, pueblo de una profunda sabiduría, tienen un hermoso mito que ilustra nuestro dilema actual:
Faetón era un joven mortal, hijo de Clímene y de Helios, el dios del Sol. Para demostrarle a sus compañeros su linaje divino, Faetón viajó al palacio de su padre. Helios, feliz de ver a su hijo, juró por la laguna Estigia concederle el deseo que él quisiera. Faetón pidió lo más peligroso: conducir el carro celestial con el que el dios cruzaba el cielo cada día para traer la luz al mundo.
Helios intentó disuadirlo con insistencia. Le advirtió que ni siquiera Zeus podía domar a esos caballos salvajes que respiraban fuego, y que la ruta era empinada, terrorífica y llena de monstruos. Faetón se negó a cambiar de opinión.
En cuanto Faetón tomó las riendas y el carro cruzó las puertas del cielo, los caballos notaron inmediatamente que el peso era mucho más ligero de lo habitual y que la mano que los guiaba carecía de fuerza divina. Los caballos se desbocaron, se salieron del sendero marcado y comenzaron a correr sin rumbo fijo. El carro subió demasiado alto, congelando partes del firmamento y luego descendieron demasiado cerca de la Tierra. El calor abrasador del Sol incendió bosques enteros, secó los ríos principales y calcinó ciudades completas.
Para evitar el fin del universo, Zeus intervino y lanzó un rayo contra el carro. Faetón, con el cabello en llamas, cayó del cielo como una estrella fugaz y se ahogó en el río Erídano. Sus hermanas, las Helíades, lo lloraron tanto a la orilla del río que los dioses las transformaron en álamos, y sus lágrimas se convirtieron en ámbar.
Conviene recordar esta alerta de los antiguos sobre los peligros de perder el control ante fuerzas tan poderosas.