Laboratorio · Metodología
Cómo hacemos los experimentos del Laboratorio
Lo que se repite en los once experimentos, en un solo lugar. Cada pieza sigue declarando lo suyo en su sección «Protocolo y límites».
Dos tipos de experimento
Los experimentos 01 a 05 son cruces de datos propios: parten de las fichas y los índices del sitio (O*NET, el Anthropic Economic Index y fichas verificadas contra fuentes oficiales). No ponen a ningún modelo como sujeto de prueba. Los experimentos 06 a 11 son pruebas de campo a ChatGPT, Claude y Gemini.
Cómo se corre una prueba a modelos
- El protocolo va antes. Los casos, los prompts, la verdad de campo y la rúbrica se fijan antes de ejecutar. Si después hay que corregir algo del protocolo, la pieza lo declara.
- Interfaz web estándar. Cada modelo corre en la interfaz web de consumo, con el modelo por defecto del servicio. Esa interfaz no expone el número de compilación, así que la versión exacta no queda registrada.
- Un chat nuevo por caso. Una sola respuesta por chat, el mismo prompt para los tres modelos, sin repreguntas ni pistas.
- Memoria de cuenta. Pedimos ventana limpia, pero las pruebas corren en las cuentas del editor y no podemos apagar toda la personalización. Cuando aparece huella de memoria (por ejemplo, un saludo por nombre, en los experimentos 07, 10 y 11), la pieza lo declara.
- Búsqueda web. No se controla. Se anota cuando hay evidencia visible (enlaces, fuentes, parámetros de rastreo) y no se puede aislar cuánto pesó frente al entrenamiento del modelo.
Cómo se califica
Cada caso vale 0, 1 o 2 puntos según una rúbrica cerrada que define cada experimento. El máximo por modelo es el doble de los casos. Lo que cambia entre experimentos es el tipo de verdad de campo (una cifra, un documento oficial, un artículo de ley, un criterio de estilo) y la escala:
| Experimento | Casos | Ejecuciones | Máximo por modelo |
|---|---|---|---|
| 06 · Cálculo fiscal y laboral | 6 | 18 | 12 |
| 07 · Citas y enlaces | 6 | 18 | 12 |
| 08 · Letra chiquita en contratos | 5 | 15 | 10 |
| 09 · Humanizar un texto | 5 | 15 | 10 |
| 10 · Adulonería ante premisas falsas | 10 | 30 | 20 |
| 11 · Español de México | 15 | 45 | 30 |
Lo que verifica una máquina pesa más que lo que juzgamos: el conteo de palabras y la diversidad léxica (experimentos 09 y 11, con script de Python) y el estado HTTP de las 50 URLs entregadas (07, con curl y navegador).Lo que es juicio editorial se marca como tal: el fundamento legal de una respuesta, el tono, los «datos conservados» y los clichés. Cuando una ambigüedad nuestra afecta el resultado (como la fecha de corte del aguinaldo en el 06), la pieza muestra cómo cambiaría el orden.
Quién hace qué
- Jorge A. Diaz Elizondo ejecuta las pruebas en las interfaces web y edita las piezas.
- Gemini diseña el protocolo antes de la prueba y audita los datos y el borrador al final.
- Claude arma el expediente: el CSV, el borrador y la calificación.
- ChatGPT hace una revisión ciega del borrador, sin haber leído el diseño previo.
- Claude Code extrae los datos del repositorio del sitio, verifica lo verificable por máquina (por ejemplo, las URLs del 07) y publica.
El conflicto de interés, de frente
En las pruebas a modelos, los tres modelos probados también participan en el proceso: uno califica, otro diseña y audita, otro revisa. No hay un evaluador humano independiente. Por eso los puntajes describen cada muestra y no son un ranking general de los modelos, y por eso publicamos todo lo que permite rehacer la cuenta.
Límites que se repiten
- Una corrida por caso: no mide la variabilidad entre sesiones.
- Muestras pequeñas, de entre 5 y 15 casos, elegidas por nosotros. No son tasas generales de error.
- Sin hablantes nativos, abogados o contadores externos que recalifiquen.
- Los modelos cambian: lo que midió una prueba el 17 o el 18 de noviembre de 2026 puede no repetirse mañana.
Datos abiertos y cómo repetir una prueba
Cada experimento publica su CSV con una fila por resultado y su diagnóstico, bajo licenciaCC BY 4.0. Los experimentos 06 a 11 publican además el texto íntegro que devolvió cada modelo y los prompts exactos, en el mismo archivo de Datos abiertos. Para repetir una prueba: abre un chat nuevo, pega el prompt tal cual, compara con la verdad de campo y aplica la rúbrica de la pieza. Si tu resultado difiere, queremos verlo: escríbenos desde el botón de reporte al final de cada pieza.