El verdadero costo de la IA: tasa de finalización frente a tokens

El reciente estudio interno de Databricks ha puesto en tela de juicio la métrica de costo por token, ampliamente utilizada para comparar modelos de lenguaje (LLM). La compañía evaluó varios modelos y asistentes de código utilizando tareas reales de ingeniería de software, encontrando que el precio por tarea completa es un indicador mucho más fiable. Por ejemplo, el modelo abierto GLM 5.2 de Z.ai igualó en calidad a Anthropic Opus 4.8, pero con un costo de $1.28 por tarea frente a $1.94 de Opus. En cambio, Sonnet 5 de Anthropic, más barato por token que Opus, resultó más caro por tarea ($2.09) debido a una menor tasa de finalización (81% vs 87%) y un mayor consumo de tokens.

Este hallazgo no es aislado. Un estudio académico de marzo de 2026 ya señalaba que en un tercio de las comparaciones, el modelo con precio listado más bajo terminaba costando más. Por ejemplo, Gemini 3 Flash, un 80% más barato que GPT-5.4 en precio por token, resultó un 38% más caro en costo real por tarea.

Contexto histórico y la métrica dominante

Desde la explosión de los LLM en 2022-2023, el costo por token se ha convertido en la métrica estándar para comparar modelos. Empresas como OpenAI, Anthropic y Google publican precios por token de entrada y salida, y los analistas los usan para calcular costos operativos. Sin embargo, esta métrica ignora la eficiencia real en la finalización de tareas. El estudio de Databricks, liderado por el CTO Matei Zaharia, demuestra que la tasa de finalización y el consumo de tokens varían enormemente entre modelos. Por ejemplo, Opus 4.8 completó el 87% de las tareas, mientras que Sonnet 5 solo el 81%, y consumió más tokens. Esto se debe a diferencias en la arquitectura del modelo, el entrenamiento y la capacidad de seguir instrucciones complejas.

El problema no es nuevo. En 2024, estudios académicos ya advertían que los benchmarks como SWE-Bench estaban "rotos" (según OpenAI), ya que los modelos se ajustaban a ellos, pero no reflejaban el rendimiento en tareas reales. Databricks creó su propio benchmark basado en tareas reales de sus ingenieros, lo que proporciona una visión más precisa del rendimiento.

Impacto en empresas y usuarios

Para las empresas que integran IA en sus procesos, elegir el modelo más barato por token puede llevar a mayores costos operativos y menor productividad. Por ejemplo, si una empresa usa Sonnet 5 para tareas de codificación, pagará $2.09 por tarea en lugar de $1.94 con Opus 4.8, a pesar de que Sonnet es más barato por token. A escala, esto puede suponer miles de dólares adicionales al mes. Además, la menor tasa de finalización implica que los desarrolladores deben dedicar tiempo a corregir o completar tareas, reduciendo la productividad.

El estudio también destaca el papel del 'harness' o software intermediario. El harness puede inflar el contexto (prompt + historial) hasta 3 veces, multiplicando el costo sin mejorar la tasa de éxito. Por ejemplo, con Claude Code como harness, Opus 4.8 consumió 742,000 tokens por tarea, mientras que con el harness Pi (minimalista) solo 236,999 tokens, logrando la misma tasa de éxito. Esto significa que las empresas pueden reducir costos significativamente eligiendo un harness optimizado. Databricks lanzó Omnigent, un harness que promete reducir costos sin sacrificar rendimiento.

Comparación con eventos anteriores

Este cambio de paradigma recuerda a la transición de los costos de almacenamiento en la nube. Inicialmente, las empresas comparaban precios por gigabyte, pero luego descubrieron que los costos de transferencia y operaciones (IOPS) eran más importantes. De manera similar, el costo por token es solo una parte de la ecuación. Otro paralelismo es con los motores de bases de datos: el precio por consulta era la métrica clave, pero luego se entendió que el rendimiento por transacción era más relevante.

En el ámbito de la IA, ya hay precedentes. En 2024, la startup Together AI promovió el costo por tarea para modelos de código abierto, pero no logró imponerlo como estándar. Ahora, con el respaldo de Databricks y estudios académicos, es probable que la industria adopte métricas más realistas.

Implicaciones para el mercado

Este análisis obliga a repensar las estrategias de adopción de IA. Las empresas deberán realizar evaluaciones internas con sus propias tareas para determinar el costo real por tarea completada, en lugar de confiar en tablas de precios por token. También abre una oportunidad para startups que desarrollen harness optimizados, como Pi o el nuevo Omnigent de Databricks, que prometen reducir costos sin sacrificar rendimiento. Los proveedores de modelos, por su parte, deberán transparentar no solo el precio por token, sino también métricas de eficiencia por tarea. A largo plazo, podría surgir un estándar de la industria basado en 'costo por resultado' (cost per completion).

Además, el estudio muestra que los modelos abiertos como GLM 5.2 son competitivos con los frontera. Esto podría acelerar la adopción de modelos open-weight, especialmente en empresas que buscan reducir costos y evitar la dependencia de un solo proveedor. Sin embargo, la calidad del harness sigue siendo crítica: un modelo excelente con un harness ineficiente puede resultar más caro que uno peor con un harness ligero.

¿Qué deben saber los lectores?

• No te fíes solo del precio por token: Un modelo más barato por token puede resultar hasta un 38% más caro por tarea si tiene baja tasa de finalización o consume muchos tokens.
• El harness importa: El software que orquesta la interacción con el LLM puede duplicar o triplicar el costo. Opta por harness ligeros y minimalistas.
• Evalúa con tus datos: Los benchmarks genéricos como SWE-Bench pueden estar 'rotos', según OpenAI. Realiza pruebas con tareas reales de tu dominio.
• Modelos abiertos compiten: GLM 5.2 de Z.ai igualó a Opus 4.8 en calidad con un costo por tarea un 34% menor. No descartes opciones open-weight.

"Cheaper per-token does not imply cheaper per-task" — Matei Zaharia, CTO de Databricks.