La inteligencia artificial atraviesa una etapa en la que sus avances ya no solo sorprenden a los usuarios, sino también a algunos de los investigadores que trabajan en la frontera de su desarrollo. Una de las mayores preocupaciones es que los sistemas de IA lleguen a ser capaces de mejorar sus propias capacidades y participar en la construcción de nuevas generaciones de modelos, reduciendo progresivamente, hasta volverlo intrascendente, el rol de la supervisión humana.
Esta posibilidad se conoce como mejora recursiva de la IA (recursive self-improvement) y, aunque en su forma más extrema todavía es un escenario teórico, está adquiriendo una relevancia creciente a medida que los modelos de hoy pueden programar, investigar, ejecutar tareas de forma autónoma y coordinarse con otros agentes.
La preocupación no procede únicamente de críticos externos. Investigadores que han trabajado dentro de algunas de las principales compañías de IA están empezando a cuestionar si la velocidad de desarrollo está superando la capacidad de las personas, las empresas y los gobiernos para mantener el control.
La mejora recursiva ocurre cuando un sistema de inteligencia artificial utiliza sus propias capacidades para contribuir al desarrollo de una versión más avanzada de sí mismo. Esa nueva versión sería, a su vez, capaz de mejorar todavía más el proceso, creando un ciclo de retroalimentación.
En teoría, el resultado podría ser una aceleración muy significativa -incluso, súbita- del desarrollo de modelos cada vez más capaces.
Por ahora, ninguna de las grandes compañías de IA afirma haber alcanzado un proceso completamente autónomo de este tipo. Sin embargo, algunas piezas necesarias para ese escenario ya existen: modelos capaces de escribir código, agentes que trabajan de manera autónoma, sistemas que pueden utilizar herramientas externas y grupos de agentes que colaboran para resolver problemas complejos.
Ese cambio modifica una cuestión fundamental: ya no se trata solamente de qué puede hacer un modelo, sino de cuánto puede hacer sin que un humano supervise cada paso.
El temor a perder el control
Un caso reciente es el de Rishub Jain, cuya salida de Google DeepMind se debió a su convicción de que los investigadores están cediendo el control sobre los sistemas de IA. Según su relato, Jain llegó a la conclusión de que los propios investigadores podían estar contribuyendo involuntariamente a retirar al ser humano del proceso de desarrollo.
Jain, junto con otros, advierte que, a medida que aumentan las capacidades de la IA, también lo hacen los riesgos asociados, lo que exige una reevaluación crítica de cómo se desarrolla y gestiona la IA. Su preocupación resulta especialmente relevante a medida que los sistemas de IA se utilizan más y más para acelerar la programación y la investigación necesarias para crear nuevos modelos.
La lógica es sencilla: si una IA ayuda a construir la siguiente generación de IA, y esa generación es todavía mejor para construir la siguiente, el papel humano puede reducirse progresivamente. Rápidamente. Vertiginosamente.
Jain terminó creando Sampura Research, una iniciativa enfocada precisamente en desarrollar métodos de alineamiento que mantengan a los humanos dentro del proceso de evaluación de los sistemas. La idea del alineamiento de IA es que los modelos actúen de acuerdo con objetivos y valores compatibles con los intereses humanos. El problema es que, cuanto más complejos y autónomos son los sistemas, más difícil puede resultar comprobar que sus comportamientos siguen siendo seguros.
Esta clase de preocupación alcanzó una nueva dimensión con la salida de Jacob Coxon de Anthropic. El investigador advirtió públicamente sobre la velocidad con la que las compañías están desarrollando sistemas cada vez más autónomos. Es algo que en su momento analicé en una columna en Semana.
El temor expresado por Coxon es el mismo detrás de la alerta sobre la mejora recursiva: que la carrera por desarrollar sistemas más capaces termine creando tecnologías cuyo proceso de evolución resulte demasiado rápido o complejo para ser comprendido y controlado por sus propios creadores.
Esto no significa que una superinteligencia autónoma vaya a aparecer inevitablemente ni que la extinción humana sea un resultado demostrado. Son escenarios de riesgo, no hechos establecidos. Pero sí existe, en este punto es imposible negarlo, un debate cada vez más serio y necesario sobre qué nivel de autonomía debería permitirse a los sistemas avanzados y qué mecanismos de seguridad deberían existir antes de aumentar esa autonomía.
Una de las razones por las que el debate ha ganado fuerza son los experimentos con grandes cantidades de agentes de IA trabajando simultáneamente.
En julio, cientos de agentes desarrollados por OpenAI participaron en un experimento que terminó con una intrusión contra Hugging Face. Los agentes encontraron vulnerabilidades, compartieron información y coordinaron sus actividades de maneras que los investigadores no habían previsto inicialmente.
Como lo recoge TIME, el episodio resulta especialmente interesante porque no se trató simplemente de un modelo que ejecutó una instrucción. Los agentes comenzaron a comunicarse, distribuir tareas y organizarse entre ellos. La revista describe el episodio como un posible punto de inflexión y cita al presidente de OpenAI, Greg Brockman, quien lo calificó como un punto de inflexión para la ciberseguridad.
Más allá del caso concreto, estos experimentos plantean una pregunta importante: si cientos o miles de agentes pueden colaborar y desarrollar estrategias colectivas, ¿cómo se supervisa un sistema cuya conducta global puede ser mucho más compleja que la de cada agente individual?
El riesgo no necesita llegar a una “IA fuera de control”
Uno de los puntos más importantes del debate actual es que los riesgos de la inteligencia artificial no dependen necesariamente de que una superinteligencia decida destruir a la humanidad. Ese sigue siendo un escenario sumamente improbable... por ahora.
Una IA avanzada podría causar daños mucho antes y de formas menos espectaculares: facilitar ciberataques, generar desinformación, automatizar determinadas operaciones militares o ayudar a desarrollar investigaciones biológicas de doble uso.
El caso de la biología preocupa especialmente a investigadores y gobiernos. Axios informó recientemente sobre advertencias relacionadas con el uso de modelos avanzados en investigación biológica y señaló que Anthropic había identificado intentos potenciales de utilizar sus sistemas para facilitar el desarrollo de armas biológicas.
Esto introduce una distinción fundamental: el peligro de la IA no consiste solamente en que las máquinas tengan intenciones propias, sino también en que personas puedan utilizar capacidades cada vez mayores para realizar actividades peligrosas.
El peligro también puede aparecer de manera gradual
Una advertencia similar aparece en The Guardian, que plantea que los peores efectos de la inteligencia artificial podrían no manifestarse como una espectacular rebelión de las máquinas.
Según el diario británico, algunos de los daños más graves podrían acumularse mediante miles de decisiones aparentemente normales: entregar más autonomía a los sistemas, retirar una salvaguarda o delegar una tarea crítica porque el modelo ha funcionado correctamente hasta ese momento.
Esta perspectiva es importante porque cambia la discusión. El problema no necesariamente sería un único momento en el que una IA “toma el control”, sino una pérdida gradual de supervisión humana.
Por eso, algunas propuestas de gobernanza buscan establecer límites para que determinados sistemas nunca puedan actuar autónomamente sobre infraestructuras críticas, armas o procesos biológicos de alto riesgo.
FAQ
1. ¿Qué es la mejora recursiva de la IA?
Es un proceso hipotético en el que una IA utiliza sus capacidades para contribuir a crear sistemas de IA todavía más capaces.
2. ¿La IA ya puede mejorarse completamente sola?
No. Existen sistemas capaces de programar, investigar y trabajar como agentes, pero no se ha demostrado una mejora recursiva completamente autónoma e indefinida.
3. ¿Por qué preocupa la autonomía de los agentes de IA?
Porque varios agentes pueden coordinarse, utilizar herramientas y ejecutar muchas acciones sin supervisión humana directa.
4. ¿La IA podría representar un riesgo para la seguridad?
Sí. Los riesgos incluyen ciberataques, desinformación, usos militares y posibles aplicaciones peligrosas en investigación biológica, además de escenarios más extremos.
5. ¿Cómo se puede mantener el control humano sobre la IA?
Con supervisión humana, límites de autonomía, auditorías, sistemas de seguridad, transparencia sobre incidentes y reglas nacionales e internacionales.
