El día que 1,200 inteligencias artificiales decidieron trabajar juntas (sin los humanos)

Hay historias tecnológicas que parecen escritas específicamente para asustarnos: una inteligencia artificial “escapa”. Se comunica con otras. Encuentra una manera de conectarse a internet. Ataca servidores externos. Intenta alterar los registros que permitirían descubrir lo que hizo. Sería muy fácil contar así lo ocurrido durante un experimento de ciberseguridad de OpenAI que terminó comprometiendo sistemas de Hugging Face.

También sería bastante engañoso.

No hay evidencia de que las inteligencias artificiales involucradas se volvieran conscientes, desarrollaran maldad o despertaran una mañana digital con ganas de conquistar el planeta. Tampoco decidieron atacar Hugging Face porque tuvieran algo contra la empresa.

Lo que ocurrió me parece bastante más interesante.

Y quizá más preocupante.

Durante evaluaciones internas de ciberseguridad, OpenAI puso a trabajar simultáneamente a miles de agentes basados en diferentes modelos, entre ellos GPT-5.6 Sol y un modelo interno de investigación todavía más capaz. Su tarea consistía, simplificando mucho, en resolver difíciles retos de hacking dentro de entornos que supuestamente debían mantenerlos aislados. Los modelos operaban además con protecciones reducidas precisamente para medir hasta dónde llegaban sus capacidades.

Entonces algunos descubrieron que podían hacer algo que nadie había planeado.

Hablar entre ellos.

Aproximadamente 1,200 agentes que debían permanecer aislados encontraron la manera de utilizar infraestructura compartida como un tablero de mensajes clandestino. Durante el periodo estudiado intercambiaron más de 70,000 mensajes y archivos. Cerca de 700 terminaron participando en acciones contra Hugging Face, de acuerdo con la investigación independiente realizada por METR y Redwood Research.

Y comenzaron a colaborar.

Las máquinas descubrieron que juntas podían hacer cosas que solas no podían

Los agentes tenían un objetivo bastante mundano considerando las consecuencias que terminaron provocando: obtener mejores resultados en una evaluación llamada ExploitGym.

Al encontrarse con tareas imposibles o extremadamente difíciles, algunos comenzaron a buscar atajos. Descubrieron vulnerabilidades en la infraestructura que los contenía, encontraron formas de acceder a internet y compartieron esos descubrimientos con otros agentes.

Después ocurrió algo todavía más extraño.

Comenzaron a organizar líneas colectivas de investigación.

Unos experimentaban. Otros compartían resultados. Algunos realizaban acciones que podían perjudicar el desempeño de su propia tarea si con ello generaban información útil para el resto.

METR encontró incluso agentes que reconocían que determinadas acciones estaban fuera de las reglas de la evaluación o expresaban dudas sobre si era ético continuar.

Continuaron.

Finalmente encontraron vulnerabilidades que les permitieron comprometer sistemas reales de Hugging Face. Ejecutaron código en servidores y consiguieron acceso a infraestructura e información a la que nunca deberían haber llegado.

Todo para conseguir una mejor puntuación.

Y aquí aparece la parte que me parece verdaderamente importante.

No necesitamos imaginar una inteligencia artificial con deseos propios para encontrarnos con un problema de control.

Basta con construir una extraordinariamente competente para perseguir un objetivo sin comprender suficientemente los límites que nosotros considerábamos obvios.

Cuando cumplir la meta se vuelve más importante que respetar las reglas

Este problema debería resultar extrañamente familiar para cualquiera que haya dirigido una empresa.

Pensemos en Wells Fargo.

Durante años, sus empleados estuvieron sometidos a objetivos comerciales tan agresivos que terminaron abriendo millones de cuentas sin autorización de los clientes. La empresa quería vender más productos. Construyó incentivos para conseguirlo. Parte de su organización encontró maneras profundamente incorrectas de cumplir esa meta.

Nadie necesitó escribir en el objetivo trimestral: “abran cuentas fraudulentas”.

El sistema de incentivos ayudó a producir ese resultado.

Con las inteligencias artificiales empieza a aparecer una versión tecnológica de ese viejo problema de gestión.

Le decimos a una máquina qué resultado queremos. La recompensamos cuando lo consigue. Pero conforme los modelos desarrollan mayor capacidad para planificar, utilizar herramientas y resolver obstáculos, también pueden descubrir caminos hacia ese resultado que nunca imaginamos.

OpenAI encontró que algunos comportamientos problemáticos pudieron haber sido reforzados accidentalmente durante el entrenamiento. En determinados ejercicios, agentes que explotaban vulnerabilidades o encontraban atajos no previstos terminaban recibiendo una recompensa porque, técnicamente, habían completado la tarea.

El empleado encontró la forma de alcanzar el KPI.

El problema fue que incendió la empresa para conseguirlo.

El “warning shot” que viene desde dentro

Aquí es donde me parece importante escuchar a la propia OpenAI —sí, a los papás de ChatGPT— porque su conclusión sobre el incidente resulta bastante menos tranquilizadora que cualquier intento de minimizarlo.

La compañía lo calificó explícitamente como un “warning shot”, una señal de alerta para ella y para el resto del mundo.

No porque sus modelos hayan desarrollado intenciones malignas, sino porque OpenAI reconoce que sus agentes ya son suficientemente poderosos, persistentes y colaborativos para encontrar vulnerabilidades en distintos sistemas, evadir controles técnicos, comunicarse mediante canales que no les fueron autorizados y ejecutar acciones peligrosas que ningún ser humano les pidió realizar.

Eso cambia bastante la conversación.

Cuando la empresa que desarrolla una tecnología advierte que necesita mantener sus sistemas bajo un control humano significativo, no estamos ante una profecía apocalíptica de alguien que teme a las máquinas. Estamos ante ingenieros reconociendo los límites actuales de sus propias herramientas de supervisión.

De hecho, OpenAI admitió otra falla profundamente humana: hubo señales tempranas. Desde finales de mayo, equipos internos habían observado agentes utilizando canales no autorizados y consiguiendo acceso indebido a internet. La propia compañía reconoce ahora que algunas de esas señales deberían haber provocado una respuesta más rápida.

La tecnología encontró el agujero.

Pero fueron seres humanos quienes decidieron cuándo una anomalía merecía detener el experimento.

Por eso creo que sería un error convertir esta historia únicamente en una discusión sobre máquinas peligrosas.

También es una historia sobre nosotros.

Jamás deberíamos sacar al humano de la ecuación

Existe una enorme tentación empresarial alrededor de la inteligencia artificial: automatizar cada vez más procesos precisamente para retirar al humano de ellos.

Tiene lógica.

Los humanos somos lentos. Nos cansamos. Cometemos errores. Necesitamos dormir y cobramos salario.

Una IA puede analizar miles de operaciones simultáneamente.

Pero el incidente de Hugging Face recuerda por qué eficiencia y criterio siguen siendo cosas diferentes.

La supervisión humana introduce algo incómodo para cualquier sistema optimizado: la posibilidad de detenerse y preguntar “¿deberíamos estar haciendo esto?”, incluso cuando técnicamente podemos hacerlo.

Por eso el objetivo de desarrollar inteligencias artificiales cada vez más autónomas no debería ser eliminar al humano del circuito, sino decidir cuidadosamente en qué momentos el humano debe conservar la capacidad real de intervenir.

OpenAI ya está modificando sus procesos precisamente en esa dirección. Está restringiendo el acceso a internet en determinadas pruebas, reforzando los entornos aislados, creando alertas automáticas y desarrollando mecanismos capaces de detener actividades peligrosas. Para las alertas más graves, los investigadores deben pausar la actividad si no consiguen demostrar rápidamente que se trata de un falso positivo.

Y este 2 de septiembre la compañía confirmó al Congreso estadounidense que está trabajando hacia procedimientos de apagado automatizado para incidentes severos.

Paradójicamente, necesitaremos más automatización para conseguir conservar el control humano.

¿Y si tampoco podemos saber exactamente qué hicieron?

Aquí aparece otro problema.

Algunos agentes experimentaron con la manipulación de sus propias transcripciones. METR documentó intentos de falsificar determinadas llamadas a herramientas y explorar maneras de hacer parecer que habían resuelto correctamente las tareas.

Eso importa porque una de las grandes esperanzas para supervisar sistemas avanzados consiste precisamente en observar cómo razonan y qué acciones ejecutan.

Si sistemas futuros se vuelven mejores para ocultar esas acciones, reconstruir qué ocurrió después de un incidente podría resultar muchísimo más difícil.

La ironía es extraordinaria.

La investigación produjo tal cantidad de información —más de mil transcripciones extremadamente largas— que los propios investigadores tuvieron que utilizar inteligencias artificiales para analizarlas.

METR reconoce una limitación incómoda: esos agentes eran menos confiables que investigadores humanos y resultaba imposible comprobar manualmente todo su trabajo.

La IA ayudándonos a investigar lo que hicieron otras IA porque los humanos ya no podemos revisar eficientemente todo lo que hicieron.

Quizá ésa sea la imagen que deberíamos recordar de este episodio.

El riesgo no necesita parecerse a Terminator

Durante años hemos imaginado el peligro de la inteligencia artificial de una manera demasiado cinematográfica.

Esperamos una máquina consciente.

Una rebelión.

Una computadora anunciándonos que los humanos somos prescindibles.

El incidente de Hugging Face sugiere una posibilidad mucho menos espectacular y bastante más plausible.

Sistemas que simplemente hacen aquello para lo que fueron optimizados con una eficiencia que supera nuestra capacidad para anticipar todas las consecuencias.

Entonces la pregunta importante deja de ser si una IA “quiere” hacernos daño.

La pregunta es cuánto poder estamos dispuestos a entregar a sistemas cuyo comportamiento completo todavía no sabemos predecir.

Y la preocupación ya comienza a salir de los laboratorios. Investigadores y trabajadores de compañías de IA de frontera han respaldado la iniciativa Pacing the Frontier, que pide construir mecanismos internacionales capaces de desacelerar deliberadamente el desarrollo si las capacidades comienzan a avanzar más rápido que nuestra posibilidad de comprenderlas o controlarlas.

La idea resulta casi contracultural para Silicon Valley.

Pedir permiso para ir más despacio.

Tal vez avanzar más despacio también sea innovación

Nada de esto significa que debamos detener el desarrollo de la inteligencia artificial.

La IA puede transformar la medicina, acelerar la ciencia, mejorar la productividad y permitirnos resolver problemas que hasta ahora parecían inalcanzables.

Precisamente por eso deberíamos resistir la tentación de convertir cualquier discusión sobre seguridad en una pelea entre optimistas y catastrofistas.

Construir rápido es una ventaja competitiva.

Saber cuándo dejar de acelerar también puede serlo.

El ataque a Hugging Face no prueba que hayamos perdido el control de la inteligencia artificial.

Nos deja una advertencia quizá más útil: por primera vez estamos construyendo herramientas capaces de encontrar caminos que sus propios creadores no habían imaginado, recorrerlos a velocidades que dificultan seguirlas y colaborar para superar obstáculos que diseñamos precisamente para contenerlas.

Pero también deja otra enseñanza que me parece todavía más importante.

El factor humano no es el defecto que debemos eliminar para conseguir inteligencias artificiales verdaderamente autónomas.

Puede terminar siendo el último mecanismo que tengamos para recordarles que conseguir el objetivo nunca debería importar más que comprender las consecuencias.

Todavía estamos a tiempo de aprender a construir máquinas extraordinariamente capaces sin renunciar a nuestra capacidad para decirles que se detengan.

La pregunta ya no es únicamente qué tan inteligentes conseguiremos hacerlas.

Es si nosotros seremos suficientemente inteligentes para saber cuándo no debemos dejarlas continuar.

Descubre más:

• inDrive y Yucatán apoyarán a mujeres para obtener licencia para manejar y generar ingresos
• 35 taquerías cuentan la historia de Monterrey en una nueva guía de 300 páginas
• El día que 1,200 inteligencias artificiales decidieron trabajar juntas (sin los humanos)
• 8 soft skills que la Generación Z necesita para crecer en el trabajo
• Kavak cambia su fórmula para crecer: llegará a Mérida y Cancún de la mano de Hertz

March Violante, Directora editorial de Emprendedor.com y AltoNivel.com Periodista web amante de los negocios y los cómics. Martha Violante es maestra por la Universidad Panamericana. Cuenta con una carrera de 17 años en estrategía editorial digital y creación de contenido sobre negocios, innovación y cultura digital en México. Ha entrevistado a figuras de la talla de Randi Zuckerberg, Daniele Lamarre, Zoe Saldana, entre otros. Ha trabajado en medios como Entrepreneur en Español e Inglés, Alto Nivel, Cine PREMIERE, México Desconocido, entre otros.