¿Entiende la IA o solo manipula símbolos? Searle y Bender

¿Entiende la IA o solo manipula símbolos? La pregunta tiene más de sesenta años, y tres argumentos célebres coinciden en que manipular símbolos no basta. Lo que sigue sin resolverse es qué implica eso para los modelos de hoy.

Este artículo es parte de la serie Sin Oráculos. Ubica esta postura en el mapa del debate.

Una pregunta de más de sesenta años: de la alquimia a los loros

Tres nombres aparecen juntos en esta discusión: Hubert Dreyfus, John Searle y Emily Bender. Se citan como si fueran una sola postura, y no lo son. Dreyfus (1929-2017) y Searle (1932-2025) fueron filósofos de Berkeley. Bender firmó con Alexander Koller un paper en una conferencia de lingüística computacional, no de filosofía.

Cada uno ataca una idea distinta. Dreyfus, la de que el saber humano se reduce a reglas. Searle, la de que un programa basta para tener mente. Bender y Koller, la de que la forma basta para aprender significado.

Dreyfus: el saber que no se escribe como reglas

En 1965, Dreyfus publicó “Alchemy and Artificial Intelligence” para la RAND Corporation, según el homenaje del Departamento de Filosofía de Harvard. Su tesis: la investigación en IA era como la alquimia, porque el éxito inicial escondía que la orientación de fondo estaba equivocada. Dreyfus explicaba el argumento con una frase de su hermano Stuart: el primer mono que trepó un árbol no avanzaba hacia la Luna.

La Stanford Encyclopedia of Philosophy (SEP) precisa el contenido. Dreyfus sostuvo que rasgos clave de la vida mental humana no se pueden capturar con reglas formales para manipular símbolos, y cuestionó el supuesto de que comprender equivale a seguir reglas explícitas. Sus intereses filosóficos giraban en torno al papel de la intuición y del trasfondo no articulado en lo que entendemos. En 1972 extendió la crítica en el libro What Computers Can’t Do, reeditado en 1992 como What Computers Still Can’t Do.

INFERENCIA: Su blanco era la IA que intentaba codificar el saber en reglas. Los modelos de lenguaje actuales no se escriben como reglas: según Mitchell y Krakauer, se entrenan para predecir una parte oculta de un texto. Aplicarle a ChatGPT la crítica de Dreyfus sería un salto que él nunca dio, porque murió en 2017, mucho antes de que ChatGPT existiera.

Searle: la habitación china y las réplicas que no la cerraron

En 1980, Searle publicó “Minds, Brains and Programs” en la revista Behavioral and Brain Sciences, junto con comentarios de 27 investigadores, según la SEP. Su experimento mental: imagina que está solo en una habitación y sigue un programa para responder a caracteres chinos que le pasan por debajo de la puerta. No entiende chino, pero sus respuestas hacen creer a quienes están afuera que adentro hay alguien que habla chino.

La conclusión estrecha, según la SEP, es que programar una computadora puede hacer que parezca entender el lenguaje, pero no produce comprensión real. La razón de fondo: la sintaxis no basta para la semántica. La sintaxis son las reglas que operan sobre la forma de los símbolos; la semántica es su significado.

Su blanco original eran programas como los de Roger Schank, que decían entender oraciones. Searle llamó IA fuerte a la tesis de que una computadora bien programada entiende el lenguaje natural. Y aquí está lo que casi siempre se cita mal: Searle no sostiene que una máquina no pueda pensar. La SEP lo resume así: para Searle los cerebros son máquinas, y los cerebros piensan. Su argumento va contra la idea de que las operaciones formales sobre símbolos, por sí solas, produzcan pensamiento.

HECHO: La SEP cataloga cinco familias de réplicas:

• Sistemas: el hombre no entiende chino, pero el sistema completo (él, la base de datos y las instrucciones) sí podría. Searle respondió que podría memorizarlo todo y seguiría sin saber qué significa, por ejemplo, la palabra china para “hamburguesa”.
• Robot: con sensores y un cuerpo, los símbolos se conectarían con el mundo. Searle contestó que los sensores solo añaden más entrada sintáctica.
• Simulador de cerebro: un programa que simule cada neurona de un hablante de chino. Searle propuso el mismo patrón hecho con válvulas y tuberías de agua, y sostuvo que seguiría sin haber comprensión.
• Otras mentes: a las personas también les atribuimos comprensión solo por su conducta. Searle respondió que la cuestión es qué les atribuimos, no cómo lo sabemos.
• Intuición: el argumento descansa en una intuición poco confiable. Ned Block lo planteó en 1980, y Daniel Dennett llamó al experimento una “bomba de intuiciones”.

INFERENCIA: Que una revisión de la SEP de febrero de 2020 siga catalogando estas réplicas no demuestra que Searle tenga razón. Indica que, cuarenta años después, nadie cerró la discusión.

Bender y Koller: forma sin significado

En 2020, Emily Bender y Alexander Koller presentaron “Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data” en la conferencia anual de la Association for Computational Linguistics (ACL), donde ganó el premio Best Theme Paper, según su ficha en ACL Anthology. Es un position paper: un texto que defiende una postura y no reporta un experimento. Su abstract advierte que los éxitos de los grandes modelos de lenguaje a veces derivan en hype, en descripciones donde los modelos “entienden” el lenguaje o capturan “significado”.

La tesis: un sistema entrenado solo con forma no tiene, a priori, manera de aprender significado. “A priori” quiere decir que el argumento no depende de un experimento: pretende valer antes de medir.

INFERENCIA: Que “solo forma” implique “sin significado” es algo que los autores argumentan, no algo que midieron.

Un año después, Bender y tres coautores publicaron “On the Dangers of Stochastic Parrots” en la conferencia FAccT 2021. Según una reseña de AI Weekly que cita su sección 6, un loro estocástico es un sistema que ensambla secuencias de formas lingüísticas según información probabilística sobre cómo se combinan, sin referencia al significado. La imagen del loro resume la tesis de la forma sin significado. Según la misma reseña, el paper dedica otra parte a los costos de escalar los modelos; esa parte se trata en otro artículo de esta serie.

Lo que la evidencia muestra y lo que no: el 51% y el 49%, y Othello

HECHO: En una encuesta de 2022 a 480 investigadores de procesamiento de lenguaje natural, se preguntó si un modelo entrenado solo con texto, con suficientes datos y cómputo, podría entender el lenguaje natural en algún sentido no trivial. Dijo que sí el 51% y que no el 49%, según Mitchell y Krakauer, del Santa Fe Institute. El texto no precisa el país de los encuestados.

INFERENCIA: Es una encuesta de opinión: mide cuánto cree la comunidad, no quién acierta. Un 51% no vuelve verdadera una tesis ni un 49% la vuelve falsa.

HECHO: Othello-GPT es un experimento publicado en ICLR 2023 por Kenneth Li y colaboradores. Entrenaron una variante de GPT para predecir jugadas legales de Othello, un juego de mesa más simple que el ajedrez, sin darle conocimiento previo del juego ni de sus reglas. Encontraron evidencia de una representación interna emergente y no lineal del estado del tablero. Para detectarla usaron sondas (probes): clasificadores entrenados para leer una propiedad a partir de las activaciones internas de la red. Los experimentos de intervención indican, además, que esa representación se puede usar para controlar la salida del modelo.

HIPÓTESIS: Pasar de Othello a “los modelos de lenguaje entienden” es un salto. Othello es un juego sintético, y los propios autores dejan como trabajo futuro estudiar si los resultados se generalizan a modelos entrenados con lenguaje natural. Si esa representación cuenta como significado, justo eso es lo que se disputa.

Las críticas más fuertes a cada lado

Las críticas a Searle son las cinco réplicas de la sección anterior; quedan los otros dos frentes.

HECHO: Li y colaboradores presentan el argumento de Bender y Koller como uno de tipo filosófico, dentro de la corriente que ve el entrenamiento con secuencias como limitante por naturaleza. INFERENCIA: Un argumento a priori no se defiende con pruebas estandarizadas, pero tampoco se refuta con un juego de mesa.

HECHO: Quien afirma que los modelos entienden también enfrenta un problema. Mitchell y Krakauer advierten que los benchmarks (pruebas estandarizadas, con tareas de respuesta conocida) diseñados para medir comprensión humana pueden no servir para medir a estas máquinas. Y los investigadores de IA Simon y Eisenstadt, que sí defienden que las computadoras entienden, aceptan, según la SEP, que no se puede decidir la cuestión sin una definición de “entender” que permita una prueba.

Entender no se mide con un benchmark: Searle y Bender dicen que la conducta fluida no basta, y los experimentos que miran dentro del modelo usaron un terreno más simple que el lenguaje.

Señal o marketing: el detector aplicado a los dos lados

El detector es la lista de cinco preguntas que usamos para separar la señal del marketing. Aquí se aplica a los dos bandos, sin favoritos.

¿Quién gana si se lo creen? INFERENCIA: Si los modelos “entienden”, gana quien vende IA con lenguaje antropomórfico. Si “no entienden”, ganan quienes han construido su lugar en la crítica al hype: el abstract de Bender y Koller abre justo hablando de hype. Es una simetría. El vocabulario del lado comercial ya lo tratamos en La IA no te entiende: por qué esa palabra importa tanto.

¿Es falsable? INFERENCIA: Es débil por diseño. Searle sostiene, según la SEP, que los procesos computacionales y su salida pueden existir sin el estado cognitivo; por eso ninguna prueba de conducta lo refuta. La evidencia interna, como la de Othello, sí es empírica, pero está acotada a un juego.

¿Trae calendario? No. En las fuentes revisadas, ningún bando ata su tesis a una fecha ni a un plazo.

¿Hay conflicto de interés declarado u omitido? HECHO: Los agradecimientos de Othello-GPT reconocen apoyo de Open Philanthropy y del FTX Future Fund Regrant Program, ambos para David Bau, uno de los coautores, entre otros apoyos. Es contexto, no una objeción: no dice nada sobre si el resultado es correcto.

«Mi producto es tan poderoso que es peligroso»: ¿es advertencia o publicidad? No aplica a este debate.

Alertas que dispara. INFERENCIA: según el tablero del artículo 9, este artículo dispara S5 (la variante sobre la mente de la máquina); ahí se definen las cinco señales, S1 a S5.

Veredicto: la pregunta sigue abierta. El argumento filosófico es serio y la evidencia empírica es real, pero ninguno de los dos alcanza para cerrarla.

Sin un criterio compartido de qué es entender, “entiende” y “no entiende” son afirmaciones igual de difíciles de refutar.

Si ninguna conducta observable basta para probar que entiende y ninguna prueba interna alcanza para probar que no, ¿qué observación tendría que existir para que cada bando admita que se equivocó?