Writer reduce costos de tokens un 40% optimizando el 'arnés' de IA

El problema: el 'tokenmaxxing' como crisis de ROI

La industria de la IA empresarial enfrenta una paradoja: mientras más potencia de cómputo se lanza contra los modelos fundacionales, los costos se disparan en producción. Según un nuevo paper de investigadores de Writer, la raíz del problema es el tokenmaxxing: una tendencia donde los desarrolladores usan contextos masivos y consumo bruto de tokens como sustituto de un buen diseño de sistema. Este fenómeno, descrito por primera vez en el blog de The Pragmatic Engineer, se ha normalizado porque "es la solución más barata en el momento", según Waseem AlShikh, CTO y cofundador de Writer, en declaraciones a VentureBeat. El enfoque típico consiste en generar, ejecutar, fallar, reinsertar el error y más contexto en la ventana, y reintentar. Aunque funciona a menudo en tareas de codificación, se ha convertido en el reflejo predeterminado para cualquier carga agentiva.

“Tu factura es tokens-por-tarea multiplicado por precio-por-token, y la mayoría de equipos solo miran el segundo número”, explica AlShikh. “En cargas agentivas, los tokens-por-tarea se acumulan — cada iteración del bucle retransmite el contexto creciente — y se acumula más rápido de lo que bajan los precios”.

El tokenmaxxing lleva a fallos empresariales como enrutar tareas simples a modelos premium, usar el LLM como índice de búsqueda perezoso o construir bucles agentivos sin restricciones que se salen de control. Dado que los tokens de salida cuestan mucho más que los de entrada — típicamente 3-4 veces más en modelos como GPT-4 o Claude — la ineficiencia se convierte en un asesino silencioso del presupuesto. Un estudio de 2024 de A16Z ya advertía que los costos de inferencia pueden superar los de entrenamiento en producción. El paper de Writer cuantifica este impacto: en tareas complejas como la generación de informes financieros, los bucles agentivos pueden consumir hasta 10 veces más tokens de los necesarios.

La solución: optimizar el arnés, no el modelo

El paper de Writer aborda el problema desde la capa de orquestación que envuelve al modelo fundacional, denominada AI harness (arnés de IA). Al optimizar esta capa — que está completamente bajo control del desarrollador y no requiere ajuste fino del modelo — lograron reducciones dramáticas en tokens por tarea y una caída en el costo por tarea exitosa de hasta el 61%, manteniendo la calidad constante. Las técnicas existentes como compresión de prompts, razonamiento presupuestado, codificación escueta o decodificación especulativa tratan el modelo de forma aislada y no abordan la ineficiencia de los bucles agentivos. La propuesta de Writer ataca directamente el diseño del flujo de trabajo, un enfoque que recuerda a las optimizaciones de pipelines de datos en la era del big data, pero aplicado a la IA generativa.

El concepto de "arnés" no es nuevo: en ingeniería de software, se refiere a la capa de integración que conecta componentes. Writer lo adapta a sistemas de IA, incluyendo enrutamiento de tareas, gestión de contexto, control de bucles y selección de herramientas. Al optimizar estos elementos, se evita la re-transmisión innecesaria de contexto y se limitan los ciclos de reintento. Los resultados muestran que es posible recortar el consumo de tokens hasta un 40% sin perder precisión en tareas complejas, como la extracción de datos estructurados de documentos legales.

¿Cómo funciona la optimización del arnés?

El estudio desglosa los componentes del arnés y propone técnicas específicas:

• Enrutamiento de tareas: Clasificar las solicitudes por complejidad y dirigir las simples a modelos más baratos (por ejemplo, un modelo pequeño de 7B parámetros) y las complejas a modelos premium. Esto evita el derroche de usar GPT-4 para tareas triviales.
• Gestión de contexto: Implementar ventanas de contexto dinámicas que solo retengan información relevante, en lugar de reenviar todo el historial. Esto reduce drásticamente los tokens de entrada.
• Control de bucles: Establecer límites de reintentos y criterios de parada temprana. Por ejemplo, si el modelo alcanza una respuesta con alta confianza, se detiene el bucle.
• Selección de herramientas: Elegir la herramienta adecuada para cada subtarea, evitando llamadas innecesarias a APIs costosas.

Estas optimizaciones son puramente de ingeniería y no requieren cambiar el modelo subyacente. Cualquier equipo puede aplicarlas de inmediato, lo que democratiza la eficiencia sin depender de los proveedores de modelos. En comparación, técnicas como la destilación de modelos o el ajuste fino requieren recursos significativos y acceso a datos de entrenamiento.

Impacto y consecuencias

Esta investigación llega en un momento crítico, cuando las empresas buscan desesperadamente reducir costos de IA sin perder rendimiento. Según un informe de Gartner de 2025, el 60% de las implementaciones de IA generativa en producción superan el presupuesto previsto. La tendencia del tokenmaxxing se ha normalizado porque "es la solución más barata en el momento", según AlShikh, pero el paper demuestra que es posible un enfoque más eficiente.

Las consecuencias para el mercado son claras: los proveedores de modelos tendrán que competir no solo en precio por token, sino en eficiencia total del sistema. Empresas como OpenAI y Anthropic ya ofrecen modelos más baratos (GPT-4o mini, Claude Haiku), pero la optimización del arnés puede reducir aún más los costos. Las startups que construyen aplicaciones agentivas, como las de automatización de flujos de trabajo, podrán ofrecer precios más competitivos. Y los equipos de ingeniería deberán repensar sus arquitecturas para evitar el derroche de tokens.

En palabras de AlShikh: “El recorte de precio se convierte en un anestésico. Enmascara el hecho de que el bucle mismo está sangrando”. La solución de Writer ataca la hemorragia directamente. Además, el paper sugiere que estas optimizaciones podrían integrarse en plataformas de orquestación como LangChain o LlamaIndex, ampliando su impacto.

Sin embargo, hay limitaciones. El estudio se centra en tareas específicas de Writer, como generación de informes y extracción de datos. La generalización a otros dominios requiere validación. Además, la optimización del arnés puede aumentar la complejidad del sistema y requerir mantenimiento continuo. No obstante, los resultados son prometedores y ofrecen una hoja de ruta para la industria.

En resumen, el paper de Writer no solo expone la crisis del tokenmaxxing, sino que proporciona herramientas concretas para superarla. En un entorno donde la eficiencia es clave para la viabilidad económica de la IA empresarial, optimizar el arnés se perfila como una práctica esencial.