Tiempo hasta el primer token: la nueva métrica que redefine los centros de datos

¿Qué ha ocurrido?

La expansión de la IA generativa ha revelado una brecha crítica entre la velocidad del software y las limitaciones físicas de los centros de datos. Hasta hace poco, la competencia se centraba en la capacidad de cómputo bruta (FLOPs). Sin embargo, TechRadar señala que ahora el indicador clave es el 'time to token': el tiempo total desde la planificación hasta que un cluster de IA genera su primer token de salida. Esto incluye asegurar la energía, adquirir hardware, superar la logística, implementar refrigeración avanzada e integrar sistemas.

Históricamente, la métrica dominante era la latencia de inferencia o 'time to first token', que medía la velocidad de respuesta de un modelo ya desplegado. Pero con los costos de capital en IA disparándose —se estima que el gasto en infraestructura de IA alcanzará los 200 mil millones de dólares en 2025 según IDC—, los retrasos en la puesta en marcha de clusters tienen un impacto financiero directo. Por ejemplo, un clúster de 10,000 GPU H100 de NVIDIA, cuyo costo puede superar los 300 millones de dólares, pierde aproximadamente 1 millón de dólares por cada día de inactividad si se considera la depreciación y los costos de oportunidad. Así, el 'time to token' se ha convertido en un KPI crítico de negocio.

Además, la densidad de potencia por rack ha pasado de 5-15 kW en centros tradicionales a más de 100 kW en clusters de IA, llegando incluso a 600 kW en diseños de próxima generación, como los que prepara Microsoft para sus centros de datos de IA. La refrigeración por aire es insuficiente para estas densidades, por lo que la refrigeración líquida —directa al chip o mediante intercambiadores de calor en la parte trasera— se vuelve esencial. Integrar estos sistemas requiere una ingeniería mecánica precisa para evitar inestabilidades, como vibraciones que puedan afectar el rendimiento de las GPU.

Este cambio no es solo técnico: refleja una transformación en la economía de la IA. Mientras que antes la ventaja competitiva residía en tener más FLOPs, ahora la velocidad de despliegue determina quién capitaliza primero las oportunidades de mercado. Empresas como OpenAI y Google ya compiten por reducir su 'time to token', y los hyperscalers (AWS, Azure, Google Cloud) están rediseñando sus centros de datos para lograrlo.

¿Por qué es importante?

Este cambio responde a una realidad económica: los retrasos en la activación de capacidad tienen un coste comercial inmenso. Los racks de GPU de alto rendimiento, que pueden costar millones de euros, pierden valor rápidamente si permanecen inactivos por falta de preparación del sitio. Además, la densidad de potencia por rack ha pasado de 5-15 kW en centros tradicionales a más de 100 kW en clusters de IA, llegando incluso a 600 kW en diseños de próxima generación. La refrigeración por aire es insuficiente, por lo que la refrigeración líquida —directa al chip o mediante intercambiadores de calor en la parte trasera— se vuelve esencial. Integrar estos sistemas requiere una ingeniería mecánica precisa para evitar inestabilidades.

Para ponerlo en perspectiva, el 'time to token' no solo afecta a los hyperscalers. Empresas medianas que alquilan capacidad en centros de datos también sufren si el proveedor no puede activar los racks a tiempo. Un estudio de Uptime Institute reveló que el 30% de los operadores de centros de datos reportaron retrasos en la entrega de equipos de refrigeración líquida en 2023, lo que alargó los plazos de puesta en marcha. Además, la escasez de ingenieros especializados en integración de sistemas térmicos y eléctricos agrava el problema. Según datos de la industria, el tiempo promedio para construir un centro de datos de IA de gran escala pasó de 12-18 meses en 2020 a 24-36 meses en 2024, debido a la complejidad de las nuevas infraestructuras.

Este cuello de botella tiene implicaciones macro: si los centros de datos no pueden desplegarse con rapidez, el avance de la IA se frena. Por ejemplo, Meta tuvo que retrasar el lanzamiento de su modelo Llama 3 por falta de capacidad de cómputo, según reportes internos. Por ello, el 'time to token' se ha convertido en un indicador estratégico para inversores y gobiernos que buscan medir la competitividad en IA.

De silos a orquestación de alta velocidad

Tradicionalmente, la construcción de centros de datos seguía un proceso lineal y fragmentado: proveedores de energía, especialistas en refrigeración, ingenieros civiles y fabricantes de hardware trabajaban en silos. Con la IA, las dependencias son tan estrechas que cualquier retraso en una capa frena todo el programa. La solución es una orquestación colaborativa desde el día uno, donde la cadena de potencia y la térmica se co-diseñan junto con la computación. Esto comprime los plazos de años a meses, con infraestructura 'preparada para silicio' que espera la llegada de las GPU.

Empresas como Schneider Electric y Vertiv ya ofrecen soluciones modulares que integran refrigeración líquida y distribución eléctrica en un solo paquete. Por ejemplo, el sistema 'CoolLoop' de Vertiv permite reducir el tiempo de instalación de la refrigeración en un 40%, según datos de la compañía. Asimismo, NVIDIA ha lanzado su referencia de diseño 'DGX SuperPOD' que especifica desde el layout de las tuberías hasta los requisitos de potencia, facilitando la coordinación entre equipos.

Esta orquestación también implica cambios en los contratos: los hyperscalers ahora exigen a sus proveedores que garanticen plazos de entrega ajustados, con penalizaciones por retrasos. Por ejemplo, Google Cloud ha implementado cláusulas que multan a los contratistas si no completan la preparación del sitio en un plazo de 90 días. Esto contrasta con el enfoque tradicional, donde los retrasos se absorbían sin consecuencias financieras.

La tendencia apunta a una estandarización de diseños para acelerar el despliegue. Microsoft, por ejemplo, ha desarrollado un 'data center de IA estándar' que puede replicarse en múltiples ubicaciones, reduciendo el tiempo de diseño y aprobación. Según un informe de JLL, la adopción de diseños modulares puede acortar el tiempo de construcción en un 30%.

Consecuencias y lo que deben saber los lectores

• Inversión en infraestructura convergente: Las empresas deben adoptar un enfoque integrado que elimine cuellos de botella como alimentaciones eléctricas incompatibles o circuitos de refrigeración inadecuados. Esto implica invertir en equipos modulares y en software de simulación para validar el diseño antes de la construcción.
• Refrigeración líquida como estándar: Para densidades superiores a 20-30 kW por rack, la refrigeración líquida deja de ser opcional. Las unidades de distribución de refrigerante (CDU) y los sistemas directos al chip son críticos. Se espera que el mercado de refrigeración líquida para centros de datos crezca de 2 mil millones de dólares en 2023 a 12 mil millones en 2028, según MarketsandMarkets.
• Coste de la inactividad: Cada día que un cluster de alto rendimiento no está operativo representa pérdidas millonarias. La planificación anticipada y la ejecución rápida son ventajas competitivas. Por ejemplo, un retraso de 6 meses en un clúster de 10,000 GPU puede costar más de 180 millones de dólares en ingresos perdidos.
• Nuevos perfiles profesionales: Se necesitan ingenieros capaces de integrar sistemas eléctricos, térmicos y de cómputo de forma holística, rompiendo los silos tradicionales. Universidades como Stanford ya ofrecen programas de 'ingeniería de infraestructura de IA' para formar a estos profesionales.
• Impacto en la cadena de suministro: La demanda de componentes como bombas de refrigeración líquida y transformadores de alta potencia ha crecido un 200% en dos años, generando cuellos de botella. Empresas como ABB y Siemens están ampliando su capacidad de producción para satisfacer la demanda.
• Regulación y sostenibilidad: Los centros de datos de IA consumen enormes cantidades de energía; un clúster de 100,000 GPU puede consumir 100 MW. Esto presiona a las empresas a usar energías renovables y a cumplir con regulaciones como la Directiva de Eficiencia Energética de la UE, que exige una reducción del 20% en el consumo para 2030.

En resumen, el 'time to token' no es solo una métrica técnica: es un indicador de la capacidad de una organización para capitalizar la IA. Quienes dominen la orquestación de centros de datos tendrán una ventaja decisiva en la carrera por la inteligencia artificial. La pregunta ya no es quién tiene más GPU, sino quién puede ponerlas a trabajar más rápido.