Ejecutar LLMs en local: el coste real por token en GPU

¿Qué ha ocurrido?

Un artículo reciente en Towards Data Science ha cuantificado el consumo eléctrico real de ocho modelos de lenguaje grandes (LLMs) ejecutados localmente en una GPU NVIDIA RTX 3090, calculando el coste en euros por millón de tokens generados. Este estudio, liderado por un ingeniero de datos, mide directamente la potencia consumida por la GPU durante la inferencia, utilizando un medidor físico conectado al sistema. Los modelos evaluados incluyen desde opciones pequeñas como Phi-2 (2.7B parámetros) hasta modelos medianos como Llama 2 13B y Mistral 7B, pasando por versiones cuantizadas. El objetivo es proporcionar una métrica práctica para quienes consideran la inferencia local frente a las APIs en la nube, un debate que ha cobrado fuerza con la democratización de los LLMs.

¿Por qué es importante?

Con la proliferación de modelos de código abierto como Llama, Mistral y Gemma, cada vez más empresas y desarrolladores sopesan ejecutar modelos localmente para reducir costes, mejorar la privacidad o evitar la dependencia de proveedores externos. Sin embargo, el coste energético de las GPUs de alto consumo, como la RTX 3090 con un TDP de 350W, suele subestimarse o ignorarse en los análisis de viabilidad. Este estudio llena un vacío de datos concretos, permitiendo a los tomadores de decisiones comparar el coste real de la inferencia local con los precios de APIs como OpenAI (GPT-4: ~0,03 € por 1K tokens de salida) o Anthropic (Claude 3: ~0,015 € por 1K tokens). Además, en un contexto donde la sostenibilidad energética de la IA es cada vez más cuestionada, medir el consumo real es un paso hacia una adopción más responsable.

Resultados clave

Los resultados revelan una horquilla de costes que va desde menos de 0,01 € por millón de tokens hasta más de 0,10 €, dependiendo del modelo y su configuración. Sorprendentemente, el modelo más barato no fue el más pequeño: Phi-2 (2.7B) costó 0,008 €/M tokens, mientras que Mistral 7B cuantizado a 4 bits alcanzó 0,006 €/M tokens, siendo el más eficiente. En el otro extremo, Llama 2 13B (sin cuantizar) llegó a 0,12 €/M tokens. Esto demuestra que la eficiencia arquitectónica y la optimización del software (como la cuantización y kernels eficientes) pueden reducir drásticamente el consumo energético, superando a modelos más pequeños pero menos optimizados. La RTX 3090, con un consumo medido de entre 250W y 350W durante la inferencia, sirve como referencia para GPUs de consumo de gama alta; los resultados pueden extrapolarse a otras tarjetas ajustando el consumo y el rendimiento relativo.

Comparativa con APIs en la nube

Para poner los datos en perspectiva, las APIs de OpenAI cobran por token: GPT-4 cuesta ~0,03 € por 1K tokens de salida (30 € por millón de tokens), mientras que GPT-3.5 Turbo cuesta ~0,002 € por 1K tokens (2 €/M tokens). En el lado local, incluso el modelo más caro (Llama 2 13B) cuesta 0,12 €/M tokens en electricidad, asumiendo un precio de 0,30 €/kWh (tarifa media europea). Esto significa que para volúmenes altos (por ejemplo, más de 10 millones de tokens al mes), la ejecución local puede ser significativamente más barata, especialmente si se usan modelos eficientes. Sin embargo, hay que considerar el coste del hardware: una RTX 3090 cuesta alrededor de 1.500 €, y su vida útil se degrada con el uso continuo. Para usos esporádicos, la nube sigue siendo más competitiva, ya que no requiere inversión inicial ni mantenimiento. Además, la nube ofrece escalabilidad instantánea y acceso a modelos más grandes sin limitaciones de memoria.

Consecuencias para el mercado

Este tipo de análisis ayuda a desmitificar la idea de que lo local siempre es más económico, y pone presión sobre los fabricantes de hardware y optimizadores de software para mejorar la eficiencia energética. NVIDIA ya trabaja en GPUs más eficientes como la RTX 4090 (TDP de 450W, pero mayor rendimiento por vatio) y las próximas arquitecturas Blackwell. Frameworks como llama.cpp, TensorRT-LLM y vLLM reducen el consumo mediante cuantización, pruning y kernels optimizados. Empresas como Groq y Cerebras apuestan por hardware especializado que promete un consumo mucho menor por token. Además, los proveedores de nube están ofreciendo instancias con GPUs más eficientes (como las A10G o L4) que pueden competir en coste total. El estudio también subraya la importancia de medir en lugar de asumir: “El modelo más barato no fue el más pequeño, ni el más caro el más grande”, señala el autor, destacando que la optimización del software puede alterar drásticamente la ecuación.

Qué deben saber los lectores

• El coste real de ejecutar un LLM local incluye electricidad, desgaste del hardware, tiempo de configuración y mantenimiento. La RTX 3090 tiene una vida útil estimada de 3-5 años bajo carga continua.
• Para uso continuo (más de ~10 millones de tokens al mes), una GPU local puede ser rentable, especialmente con modelos cuantizados y eficientes. Por debajo de ese umbral, la nube es más económica.
• La optimización del software (cuantización a 4 bits, kernels como FlashAttention, compilación JIT) puede reducir el consumo hasta un 50% sin pérdida significativa de calidad.
• Los precios de la electricidad varían por región: en Europa la media es ~0,30 €/kWh, en EE.UU. ~0,13 €/kWh, y en países con tarifas bajas como China (~0,08 €/kWh) lo local es aún más ventajoso.
• El estudio no incluye el coste de la memoria RAM, almacenamiento o refrigeración adicional, que pueden sumar entre un 10-20% al consumo total.

Conclusión

Ejecutar LLMs en local tiene un coste tangible que puede medirse con precisión, y este estudio proporciona una base sólida para que empresas y entusiastas comparen opciones y optimicen sus despliegues. La transparencia en los costes energéticos es un paso hacia una adopción más sostenible de la IA generativa. A medida que los modelos se vuelven más eficientes y el hardware mejora, la brecha entre lo local y la nube se estrechará, pero por ahora la decisión depende del volumen de uso, la necesidad de privacidad y la tolerancia al riesgo de obsolescencia. En cualquier caso, medir es el primer paso para optimizar.