Riesgo existencial de la IA: Bostrom, Ord y Russell

Toby Ord pone en «1 de cada 10» el riesgo existencial de la IA este siglo. Esa cifra es una conjetura, no una medición. Lo que sí merece examen es el argumento que la sostiene.

Este artículo es parte de la serie Sin Oráculos. Ubica esta postura en el mapa del debate.

Quiénes sostienen esta postura y en qué se distinguen

Los tres autores tienen oficios distintos. Nick Bostrom y Toby Ord son filósofos. Bostrom fundó el Future of Humanity Institute de Oxford (cerrado en 2024) y hoy es investigador principal del Macrostrategy Research Initiative; Ord es investigador sénior en la Oxford Martin AI Governance Initiative. Stuart Russell es informático en la Universidad de California en Berkeley. Bostrom formuló su argumento técnico en 2012, Russell publicó Human Compatible en 2019 y Ord, The Precipice en 2020.

Tampoco son equivalentes: Ord asigna probabilidades, el artículo de Bostrom de 2012 no, y Russell propone un rediseño técnico. Un riesgo existencial, según Ord, incluye la extinción humana y otras formas de perder de manera permanente todo el potencial de la humanidad. La alineación es el problema de lograr que los objetivos de un sistema coincidan con los valores humanos.

El argumento de Bostrom: inteligencia y metas son ejes separados

En «The Superintelligent Will», publicado en 2012 en Minds and Machines, Bostrom defiende dos tesis. La tesis de la ortogonalidad sostiene que inteligencia y metas finales son ejes independientes: más o menos cualquier nivel de inteligencia podría combinarse con más o menos cualquier meta. Una IA muy capaz no tiene por qué ser benévola.

La tesis de la convergencia instrumental añade que agentes con metas muy distintas tienden a perseguir submetas parecidas, entre ellas sobrevivir, conservar sus metas y adquirir recursos. Juntas, dice el propio texto, apuntan a posibles peligros al construir un agente superinteligente. En su versión mínima, el argumento no necesita malicia ni conciencia: basta una capacidad alta, una meta mal especificada y la dificultad de corregirla después.

El número de Ord: qué mide, en qué plazo y con qué advertencias

En el podcast de 80,000 Hours de marzo de 2020, Ord explicó de dónde sale su 1 de cada 10 para la IA no alineada: de multiplicar dos juicios. Calcula una probabilidad de cerca del 50 % de que este siglo se cree algo más inteligente que la humanidad, y de cerca del 20 % de que fallemos en esa transición y perdamos el control. Multiplicados, dan el 10 %.

Esa cifra no mide extinción: para Ord, la categoría incluye perder el control del futuro de forma permanente. Él mismo separó sus estimaciones subjetivas de los datos científicos de su libro, y en 2024 recordó que todas están redondeadas, normalmente al orden de magnitud más cercano.

El «1 de cada 10» que Toby Ord asigna al riesgo existencial por IA no es una medición: es una estimación subjetiva, redondeada al orden de magnitud, que el propio autor presenta como su mejor conjetura.

El otro pilar es una asimetría. Según Ord, haber sobrevivido unos 2000 siglos como especie permite acotar los riesgos naturales a menos de 1 en 2000 por siglo, y ese freno no existe para los riesgos causados por humanos. Eso no demuestra que sean altos, solo que nada los acota de antemano.

El problema de diseño de Russell: la máquina que ejecuta demasiado bien

Russell critica el modelo estándar de la IA: construir máquinas que optimizan un objetivo fijo que les damos nosotros. Según el resumen del episodio 80 de 80,000 Hours, una máquina construida con el modelo estándar tendría motivos para resistirse a que la apaguen, porque desactivarla le impide cumplir su meta.

Su alternativa son tres principios, que propone en su libro Human Compatible (2019): el único objetivo de la máquina es realizar las preferencias humanas, la máquina es incierta sobre cuáles son, y la fuente última de información es la conducta humana. En 2016 Russell y tres coautores lo formalizaron como aprendizaje por refuerzo inverso cooperativo (CIRL): un juego en el que humano y robot reciben recompensa según la función del humano, pero el robot no la conoce al inicio.

Qué es hecho, qué es inferencia y qué es hipótesis

HECHO: Russell figura entre los firmantes de la declaración del Center for AI Safety de mayo de 2023, que pide que mitigar el riesgo de extinción por IA sea una prioridad global junto a las pandemias y la guerra nuclear. Los resultados de CIRL se demuestran dentro de su modelo.

INFERENCIA: Que la ortogonalidad y la convergencia instrumental apliquen a sistemas reales, y que estos se parezcan al modelo formal de CIRL. Que multiplicar dos juicios, 50 % por 20 %, produzca una estimación útil.

HIPÓTESIS: Que llegue una IA superior a los humanos en lo general. Que esa IA sea incontrolable. Cualquier probabilidad de catástrofe asociada.

La crítica más seria: el escenario clásico y la «tecnología normal»

La objeción más fuerte la hizo el propio Ord. En su charla de febrero de 2024 explicó que los modelos de lenguaje no son agentes por diseño (un agente es un sistema que actúa sobre su entorno para lograr una meta), así que el escenario clásico de Yudkowsky y Bostrom no aplica directamente. Añadió que, al entrenarse con textos humanos, podrían estancarse cerca del nivel humano, y que el reto cambió: ya no es que conozcan los valores humanos, sino que les importen. Su balance global para el riesgo de la IA fue mixto, sin una dirección clara.

Desde fuera, Arvind Narayanan y Sayash Kapoor, científicos de la computación de Princeton, publicaron en abril de 2025 «AI as Normal Technology» en el Knight First Amendment Institute. Sostienen que la IA debe tratarse como tecnología normal y no como una superinteligencia en potencia. Advierten que las medidas drásticas pensadas para controlar una superinteligencia empeorarían las cosas si la IA resulta ser normal. También señalan que buena parte de la literatura fundacional sobre los riesgos de la superinteligencia usa con imprecisión el término «inteligencia».

Ninguna de las dos críticas dice que el riesgo sea cero: cuestionan el escenario clásico y sus conclusiones de política.

Señal o marketing: qué dice el detector

¿Quién gana si se lo creen? Un campo de investigación y filantropía que depende de que el riesgo se tome en serio. Es una inferencia de incentivo, no un motivo probado. El centro que fundó Russell, el Center for Human-Compatible AI, se lanzó en 2016 con una donación de 5.5 millones de dólares de Open Philanthropy, según UC Berkeley News; la página de la donación precisa 5,555,550 dólares a cinco años. Ord cofundó Giving What We Can y, según la presentación de aquel podcast de 2020, era fideicomisario de 80,000 Hours desde su fundación. Eso describe un incentivo; no refuta ningún argumento.

¿Es falsable? Débilmente: casi todas las afirmaciones centrales no tienen hoy evidencia que las confirme o las descarte.

¿Trae calendario? En las fuentes revisadas, ninguno de los tres fija una fecha para la superinteligencia; Ord habla de «este siglo».

«Mi producto es tan poderoso que es peligroso»: ¿es advertencia o publicidad? No venden un producto. La tensión está en otro lado: la declaración que firmó Russell la firmaron también Sam Altman (OpenAI), Demis Hassabis (Google DeepMind) y Dario Amodei (Anthropic), según la lista de signatarios del Center for AI Safety. Que una postura sin producto sea usada por quienes sí lo tienen es una inferencia, no una acusación.

Alertas que dispara. INFERENCIA: según el tablero del artículo 9, este artículo dispara S2 (una cifra de juicio presentada como dato); ahí se definen las cinco señales, S1 a S5.

Una hipótesis puede ser seria sin estar probada; el problema empieza cuando se cita como si lo estuviera.

El veredicto: señal intelectual con incertidumbre alta y cifras no contrastables. No es marketing de producto, pero su uso por terceros sí puede serlo. Sobre el lenguaje del miedo y la fe: cómo se construyen en el relato de la IA.

Si estos argumentos no precisan qué evidencia los refutaría, ¿qué tipo de prueba tendría que aparecer para que una postura sobre el futuro deje de ser una hipótesis?