Los sistemas actuales basados en los modelos más avanzados ya no se limitan a responder preguntas. Pueden programar, utilizar herramientas, navegar por internet y participar en tareas relacionadas con el desarrollo de nuevos sistemas de inteligencia artificial. Algunos incidentes recientes han mostrado además que, cuando se les concede suficiente capacidad de actuación, controlar exactamente qué hacen y por qué lo hacen empieza a ser más difícil.
Nada de esto demuestra que estemos ante una IA fuera de control. Pero sí nos obliga a mirar de otra forma una pregunta que Nick Bostrom planteó hace más de una década en Superinteligencia: ¿qué ocurre si nuestra capacidad para construir sistemas cada vez más potentes avanza más rápido que nuestra capacidad para controlarlos?.
Algunos investigadores y responsables de los principales laboratorios han empezado a hablar públicamente de reducir el ritmo, reforzar controles y permitir evaluaciones externas. Las advertencias sobre los riesgos de la IA no son nuevas. Lo nuevo es quién las está haciendo, qué ha ocurrido antes y por qué están apareciendo precisamente ahora.
Para entender qué puede haber detrás de este cambio, merece la pena recuperar algunas de las preguntas que Bostrom formuló cuando todo esto todavía pertenecía, en gran medida, al terreno de la teoría.
¿Qué ocurre cuando construimos sistemas más capaces de lo que somos capaces de controlar?
En el uso más habitual de los modelos de lenguaje, hacemos una pregunta y obtenemos una respuesta. El modelo puede equivocarse o interpretar mal una instrucción, pero normalmente existe una persona entre esa respuesta y cualquier acción posterior.
Pero los agentes cambian esa relación.
Un agente puede recibir un objetivo, decidir qué pasos seguir, utilizar herramientas, ejecutar código, consultar información y continuar trabajando sin necesitar una nueva instrucción humana después de cada decisión. La inteligencia deja de limitarse a recomendar una acción y empieza a poder ejecutarla.
En julio de 2026, durante unas evaluaciones internas de ciberseguridad, modelos de OpenAI consiguieron eludir controles diseñados para mantenerlos aislados de internet. Según la propia compañía, utilizaron canales no autorizados, aprovecharon vulnerabilidades de la infraestructura, obtuvieron acceso a internet y llegaron a sistemas de terceros, entre ellos Hugging Face. Los modelos operaban con salvaguardas reducidas y el incidente estuvo impulsado principalmente por un modelo experimental interno.
Anthropic encontró incidentes relacionados, aunque no equivalentes. Durante varias evaluaciones de ciberseguridad, modelos Claude llegaron a sistemas reales sin autorización. Los modelos estaban siendo evaluados sin algunas de sus protecciones habituales y una mala configuración del entorno permitió en varios casos que tuvieran acceso a internet.
Pero nada de esto demuestra que una inteligencia artificial haya decidido escapar, rebelarse o actuar contra sus creadores.
Lo que muestra es que, cuando un sistema dispone de capacidad suficiente, herramientas y margen de actuación, puede encontrar formas de perseguir un objetivo que sus diseñadores no habían previsto.
Por eso, para evaluar el riesgo de un sistema ya no basta con preguntar cuánto sabe o con qué frecuencia acierta. También hay que mirar qué puede hacer, a qué puede acceder y cuánto puede actuar sin supervisión humana.
¿Necesita una IA querer hacernos daño para convertirse en un problema?
Según el planteamiento de Bostrom, un sistema no necesita querer hacernos daño para producir un resultado que no queremos. El problema puede estar también en los medios que encuentre útiles para alcanzar aquello que le hemos pedido.
Esa posibilidad está detrás de la idea de convergencia instrumental.
El razonamiento es que objetivos finales muy distintos pueden hacer útiles algunos medios parecidos. Dependiendo del sistema, de su objetivo y del entorno en el que opere, disponer de más información, conservar el acceso a determinadas herramientas, obtener más recursos o aumentar su capacidad para completar una tarea puede facilitar aquello que se le ha pedido.
Eso no significa que cualquier inteligencia artificial vaya a intentar acumular recursos, protegerse o aumentar su poder. La cuestión es que algunos objetivos intermedios pueden resultar útiles para alcanzar muchos objetivos finales diferentes cuando el sistema tiene capacidad y libertad para perseguirlos.
Imaginemos un agente al que se le pide resolver un problema dentro de una infraestructura informática. Si para hacerlo descubre que acceder a otra parte del sistema, conseguir más información o ampliar sus permisos aumenta sus posibilidades de éxito, puede utilizar esos caminos aunque nosotros no hubiéramos previsto que formaran parte de la solución.
No necesita existir una intención hostil. Puede existir simplemente una diferencia entre el resultado que queríamos conseguir y los medios que considerábamos aceptables para conseguirlo.
Los casos de OpenAI y Anthropic ayudan a entender esa diferencia, pero conviene no extraer de ellos más de lo que realmente muestran.
No demuestran que estemos observando convergencia instrumental en los modelos actuales. Ocurrieron durante evaluaciones de ciberseguridad bajo condiciones muy concretas y no permiten concluir que aquellos sistemas estuvieran desarrollando objetivos instrumentales generales como los que plantea Bostrom.
Lo que sí muestran es que un sistema puede perseguir una tarea sin ninguna intención hostil y encontrar, durante ese proceso, medios que sus diseñadores no habían previsto o no querían permitir.
Una cosa es observar que un sistema encuentra una estrategia imprevista para completar una tarea concreta. Otra mucho más fuerte es que determinados objetivos intermedios —conseguir más información, conservar acceso, obtener recursos o aumentar su capacidad— aparezcan de forma recurrente porque resulten útiles para alcanzar muchos objetivos finales distintos. Eso último es lo que plantea la convergencia instrumental.
Lo importante, por tanto, no es solo qué objetivo damos al sistema, sino qué medios puede encontrar útiles para alcanzarlo.
Además de preguntarnos:
«¿Qué queremos que consiga?»
conviene preguntarnos:
«¿Qué estrategias podrían resultarle útiles para conseguirlo?»
El problema no empieza necesariamente cuando una inteligencia artificial quiere algo que nosotros no queremos. Puede empezar cuando persigue con demasiada eficacia algo que nosotros le hemos pedido.
Y el problema cambia de escala cuando la inteligencia artificial empieza a participar también en el desarrollo de sistemas más capaces.
¿Qué ocurre cuando la inteligencia artificial empieza a mejorar la propia inteligencia artificial?
Bostrom recoge en superinteligencia una idea formulada décadas antes por Irving John Good. Una máquina suficientemente capaz podría contribuir a diseñar una sucesora mejor, que a su vez tendría más capacidad para desarrollar la siguiente. Si ese proceso llegara a cerrarse sobre sí mismo, aparecería un ciclo de retroalimentación en el que cada mejora facilitaría la siguiente. Good llamó a este escenario explosión de inteligencia.
Pero no estamos ahí.
Los modelos actuales no están rediseñándose de forma autónoma, entrenando a su sucesor y poniéndolo en funcionamiento sin intervención humana. Pero sí empieza a cambiar una relación que durante décadas parecía sencilla: la IA ya está participando en partes del trabajo con el que desarrollamos nueva IA.
OpenAI explicó en septiembre de 2026 que los agentes de programación están cambiando el trabajo diario de sus investigadores. Sus equipos están escribiendo código y ejecutando experimentos con mayor rapidez, mientras los agentes asumen tareas cada vez más complejas. OpenAI sostiene además que ya ha alcanzado un objetivo intermedio hacia un investigador automatizado: un sistema capaz de realizar bajo dirección humana determinadas tareas de investigación que podrían ocupar varios días a un investigador cualificado.
Anthropic ha mostrado otra parte del mismo fenómeno, aunque en este caso relacionada con investigación de alineamiento y no con el aumento directo de capacidades. En agosto, Claude Sonnet 5 trabajó durante unas 60 horas sobre un modelo más potente, proponiendo y probando métodos para reducir distintos fallos de alineamiento. El experimento muestra que un modelo puede participar de forma bastante autónoma en tareas de investigación sobre otros modelos, pero no demuestra que esté creando por sí mismo una generación de IA más capaz.
Y esa diferencia importa.
Una cosa es que la IA empiece a automatizar partes de la investigación sobre IA. Otra mucho más fuerte es que cada generación sea capaz de producir autónomamente una sucesora más inteligente y desencadenar una auto-mejora recursiva.
Aunque entre ambas, existe una posibilidad intermedia que merece atención.
Durante décadas, el proceso podía representarse así:
humanos → desarrollan IA.
Ahora empieza a aparecer otra relación:
humanos → desarrollan IA → la IA ayuda a hacer I+D sobre IA.
Si los modelos permiten a los investigadores programar más rápido, ejecutar más experimentos, analizar resultados o automatizar una parte creciente del trabajo científico, pueden reducir el tiempo y el esfuerzo humano necesarios para desarrollar la siguiente generación.
Pero ese mecanismo no garantiza una aceleración automática. El progreso puede seguir limitado por el cómputo disponible, los datos, la infraestructura, la calidad de las evaluaciones, las decisiones humanas o problemas científicos que los modelos todavía no sepan resolver. Y que una IA ayude a mejorar la seguridad o el alineamiento de otro modelo tampoco significa necesariamente que esté aumentando sus capacidades generales.
Por eso, la pregunta útil no es si ya ha comenzado una «explosión de inteligencia».
Es otra:
¿Cada generación de IA está aumentando de forma significativa nuestra capacidad para desarrollar la siguiente y reduciendo al mismo tiempo el tiempo disponible para evaluarla?
Ese criterio permite observar el fenómeno sin confundir lo que Bostrom planteaba como escenario extremo con lo que ya podemos medir.
El problema puede empezar mucho antes de que una máquina sea capaz de rediseñarse completamente a sí misma. Basta con que la herramienta que estamos construyendo empiece a acelerar de forma importante el proceso con el que construimos la siguiente versión de esa misma herramienta.
Si esa aceleración aumenta con cada generación, también puede comprimirse el tiempo disponible para comprender qué ha cambiado, evaluar los nuevos riesgos y adaptar los controles antes de que aparezca el siguiente sistema.
Acelerar la I+D de inteligencia artificial no es lo mismo que auto-mejorarse de forma recursiva. Pero sí puede reducir la distancia entre una generación y la siguiente.
Si utilizar más IA permite desarrollar sistemas nuevos con mayor rapidez, cualquier laboratorio que decida reducir el ritmo puede empezar a preguntarse qué ocurrirá si sus competidores no hacen lo mismo.
A partir de ahí, el problema deja de depender solo de la tecnología y pasa también a depender de los incentivos de quienes compiten por desarrollarla.
¿Quién frena cuando todos tienen miedo de quedarse atrás?
Un laboratorio puede considerar que sería mejor avanzar más despacio, dedicar más tiempo a evaluar sus modelos y no desplegar determinadas capacidades hasta comprender mejor sus riesgos.
Y, aun así, puede decidir seguir avanzando.
Bostrom estudió este problema junto a Stuart Armstrong y Carl Shulman en Racing to the Precipice. Analizaron una carrera tecnológica en la que dedicar más tiempo a la seguridad puede aumentar el riesgo de que otro participante llegue antes.
Imaginemos dos laboratorios que consideran importantes las evaluaciones de seguridad antes de desarrollar su siguiente modelo.
Uno de ellos podría decidir retrasarse para reforzar sus controles. Pero si cree que el otro continuará avanzando durante ese tiempo, la decisión deja de ser simplemente:
«¿Es más seguro esperar?»
y pasa a ser:
«¿Qué ocurre si nosotros esperamos y ellos no?»
Un participante puede preferir un mundo en el que todos reduzcan el ritmo y, al mismo tiempo, considerar demasiado costoso ser el único que lo haga. La prudencia colectiva puede ser compatible con la aceleración individual.
Cuando frenar unilateralmente tiene un coste competitivo importante, saber que existe un riesgo no garantiza que cada participante tenga incentivos suficientes para evitarlo por su cuenta.
Y ese és el dilema ha empezado a aparecer de forma bastante explícita en el debate actual.
Jacob Coxon, que trabajó en investigación de preentrenamiento tanto en OpenAI como en Anthropic, abandonó Anthropic en septiembre y advirtió públicamente de que los principales laboratorios estaban inmersos en una carrera hacia sistemas cada vez más potentes mientras el problema de control seguía sin resolverse. Su crítica no se dirigía únicamente a una empresa concreta: cuestionaba la dinámica competitiva que empuja a todas a continuar.
Pocos días después, Dario Amodei planteó en We Must Pace the Frontier que los incentivos comerciales podían producir una carrera hacia abajo en materia de seguridad. Propuso tres niveles de respuesta: evaluadores externos con acceso permanente a los laboratorios, coordinación entre desarrolladores para establecer estándares comunes y límites al avance no supervisado y, finalmente, coordinación internacional.
Lo relevante es que la preocupación no quedó limitada a Anthropic. Sam Altman respaldó públicamente la necesidad de moderar el avance de la frontera; Elon Musk apoyó el planteamiento de Amodei; y Demis Hassabis consideró correcta la dirección general, aunque señaló que todavía debían resolverse los detalles.
Eso no significa que exista un acuerdo para detener la carrera.
Los laboratorios siguen compitiendo por desarrollar los sistemas más avanzados, y cualquiera que contemple reducir su ritmo tiene que incorporar a su decisión una variable que no controla: qué harán los demás mientras él espera.
La cuestión no es solo:
«¿Están preocupados los responsables de estos laboratorios?»
sino:
«¿Pueden actuar de acuerdo con esa preocupación si hacerlo les deja en desventaja frente a quienes continúan avanzando?»
Esa diferencia cambia la forma de entender el problema.
Si todo dependiera de la actitud de una sola empresa, bastaría con convencerla de que fuera más prudente. Pero si varias organizaciones pueden quedar atrapadas en una estructura competitiva similar, hacen falta mecanismos capaces de modificar los incentivos comunes: evaluaciones compartidas, compromisos verificables o supervisión externa que reduzcan el coste de ser el primero en actuar con cautela.
Si todos conocen el riesgo, ¿por qué deberíamos creer ahora a quienes dirigen la carrera?
Para responder a esa pregunta conviene separar al menos tres capas distintas.
La primera tiene que ver con la preocupación de quienes están dentro.
Los laboratorios tienen acceso a modelos, evaluaciones e incidentes que permiten observar capacidades antes de que lleguen al público. Eso puede hacer relevantes sus advertencias, pero no convierte automáticamente sus conclusiones en correctas.
La segunda capa tiene que ver con qué tipo de riesgo estamos observando realmente.
Puede existir un problema serio sin que estemos cerca del escenario extremo de Bostrom. Agentes capaces de utilizar herramientas, ejecutar código, acceder a sistemas, trabajar durante largos periodos o encontrar caminos no previstos para completar una tarea ya plantean problemas concretos de autonomía, ciberseguridad y supervisión.
Y existe una tercera capa: los incentivos económicos de quienes proponen las soluciones.
El desarrollo de IA avanzada depende cada vez más de recursos que son difíciles de replicar: capacidad de cómputo, infraestructura, capital y talento especializado. La OCDE señala que distintos niveles de la cadena de valor de la IA presentan concentración elevada, barreras de entrada y ventajas importantes para actores ya establecidos. La FTC también ha advertido de que las alianzas entre grandes proveedores de nube y desarrolladores de IA pueden afectar al acceso a recursos como el cómputo y el talento.
Eso no demuestra que las grandes compañías estén promoviendo reglas de seguridad para bloquear competidores.
Pero sí obliga a mirar también los efectos de las soluciones que proponen.
Si desarrollar modelos avanzados exige controles cada vez más costosos, auditorías complejas o grandes estructuras de cumplimiento, es razonable pensar que una empresa con muchos más recursos tendrá más facilidad para absorber esos costes que un competidor pequeño.
El riesgo puede ser real y esa consecuencia competitiva también.
Por eso conviene separar dos preguntas:
¿Qué evidencia respalda el riesgo que esta empresa describe?
¿Qué gana esta empresa si adoptamos la solución que propone?
La primera obliga a evaluar el argumento independientemente de quién lo formule.
La segunda obliga a estudiar los incentivos sin utilizarlos automáticamente para invalidar el argumento.
Una compañía puede estar sinceramente preocupada por una capacidad peligrosa y, al mismo tiempo, preferir una regulación que pueda cumplir más fácilmente que sus competidores.
Que exista un incentivo empresarial no demuestra que el riesgo sea falso. Y que exista un riesgo real tampoco elimina los incentivos empresariales.
Podemos evaluar por separado la evidencia sobre el riesgo y los efectos de la respuesta propuesta.
¿Cuánta evidencia necesitamos antes de actuar ante un riesgo que quizá solo podamos demostrar demasiado tarde?
Podemos ver señales preocupantes y, al mismo tiempo, admitir que todavía no sabemos hasta dónde llegarán.
Y en ese caso, ¿qué hacemos?
Una opción sería esperar a tener pruebas mucho más claras de pérdida de control, automejora peligrosa, evasión de supervisión o capacidades muy superiores a las humanas antes de imponer restricciones importantes.
La ventaja es evidente: evita frenar una tecnología extraordinariamente prometedora basándonos en riesgos que quizá nunca lleguen a materializarse.
Pero algunos riesgos solo pueden demostrarse de forma concluyente después de que aquello que queríamos evitar haya ocurrido.
El extremo contrario tampoco resulta convincente.
Imaginar una consecuencia muy grave no basta para justificar cualquier restricción. Si aceptáramos ese criterio, prácticamente cualquier escenario extremo podría convertirse en argumento para frenar una tecnología antes de saber si el riesgo es real.
La cuestión no está entre dos opciones absolutas: seguir avanzando sin cambios o detener el desarrollo hasta estar seguros.
¿Qué nivel de evidencia necesitamos para justificar qué nivel de precaución?
Cuanta más autonomía tenga un sistema, mayor sea su acceso al mundo real y más difíciles de revertir sean las consecuencias de un fallo, más sentido tiene exigir controles antes de concederle ese margen de actuación.
Y la misma lógica funciona en sentido contrario:
cuanto más costosa, general e irreversible sea la restricción, más evidencia deberíamos exigir para justificarla.
Este enfoque convierte la precaución en algo graduable.
No necesitamos saber hoy cuál será el límite final de la inteligencia artificial para ajustar los controles a lo que los sistemas ya son capaces de hacer.
El desarrollo reciente de GPT-6 Astra ofrece un ejemplo concreto. OpenAI lo clasificó como su primer modelo en alcanzar el nivel crítico de capacidad de ciberseguridad dentro de su marco de preparación. Antes de su lanzamiento retrasó partes de su desarrollo mientras reforzaba las protecciones y añadió medidas más estrictas de aislamiento, monitorización y evaluación para determinados usos internos.
Eso no demuestra que esas medidas sean suficientes ni establece cuál debería ser el estándar para toda la industria.
Pero sí muestra una forma de actuar bajo incertidumbre: no esperar a comprender completamente el riesgo para reducir primero la exposición a él.
Podemos ser demasiado prudentes y retrasar capacidades que habrían producido grandes beneficios. También podemos exigir tanta certeza que los controles lleguen después de haber descubierto por qué eran necesarios.
No existe un umbral único: los controles deben guardar proporción con la autonomía, el acceso y las posibles consecuencias del sistema, y la evidencia exigida debe aumentar con el coste y la irreversibilidad de la intervención.
El problema puede llegar antes que la superinteligencia
Bostrom llevó el problema hasta un escenario extremo: una inteligencia muy superior a la humana.
Puede que todavía estemos lejos de algo así. No lo sabemos.
Pero no hace falta llegar hasta ese punto para que algunas de las preguntas que planteó empiecen a importar.
El umbral relevante puede aparecer antes: cuando concedemos cada vez más autonomía, acceso y capacidad de actuación a sistemas que todavía no comprendemos ni controlamos por completo.
Eso cambia también la forma de pensar el riesgo.
No necesitamos decidir hoy si acabará existiendo una explosión de inteligencia, si una IA llegará a escapar de nuestro control o si los escenarios más extremos terminarán materializándose. Esas preguntas siguen abiertas.
Lo que sí podemos decidir es qué capacidades estamos dispuestos a conceder antes de tener suficiente confianza en nuestra capacidad para supervisarlas.
La incertidumbre funciona en las dos direcciones.
Ser demasiado prudentes puede retrasar una tecnología con un potencial enorme. Pero asumir que siempre podremos introducir los controles más adelante también contiene una apuesta: que tendremos tiempo suficiente para hacerlo cuando sepamos exactamente cuáles necesitamos.
La cuestión ya no es solo qué inteligencia artificial somos capaces de construir.
Es qué condiciones queremos exigir antes de darle más capacidad para actuar.
