HBM lateral: la revolución que enfría las GPUs de IA

¿Qué ha ocurrido?

En el Simposio IEEE/JSAP sobre Tecnología y Circuitos VLSI de 2026, investigadores de Corea y Japón presentaron dos enfoques independientes para rediseñar la memoria HBM (High-Bandwidth Memory) colocando los chips DRAM de lado, en lugar de apilarlos verticalmente como se hace actualmente. La propuesta coreana, llamada V-Die (Vertical-Die), fue desarrollada por el Instituto Nacional de Ciencia y Tecnología de Ulsan (UNIST). La propuesta japonesa, MOSAIC, proviene de la Universidad de Tokio. Ambas investigaciones, reportadas por Tom's Hardware, abordan un cuello de botella crítico en los aceleradores de IA: la limitación térmica y de ancho de banda de la memoria apilada convencional.

¿Por qué es importante?

Las GPUs de IA actuales, como las H100 o B200 de NVIDIA, utilizan HBM3 o HBM4 apilada verticalmente. Este apilamiento genera un grave problema térmico: el calor queda atrapado entre las capas, limitando la densidad y el rendimiento. Al girar los chips 90 grados, se libera espacio para canales de refrigeración líquida entre los dies y se pueden añadir más vías de entrada/salida (TSV), aumentando el ancho de banda y la capacidad sin elevar la temperatura. Este cambio de paradigma podría duplicar el rendimiento por vatio en futuros aceleradores, según las simulaciones presentadas. El contexto histórico muestra que el apilamiento vertical ha sido el estándar desde los inicios de HBM en 2013, pero el incremento de capas (de 8 en HBM2E a 16 en HBM4) ha exacerbado los problemas térmicos. Estas propuestas rompen con esa tendencia al ofrecer una solución radical.

Detalles técnicos

En el diseño V-Die, los chips DRAM se colocan verticalmente sobre un sustrato, con TSV que atraviesan el borde inferior de cada die. Esto permite que cada die tenga su propia interfaz de E/S, aumentando el paralelismo. Las simulaciones muestran que un sistema V-Die logra 540 tokens por segundo en una carga de trabajo similar a GPT-3, frente a 296 tokens/s del HBM4 convencional, un incremento del 82%. Además, la refrigeración líquida directa entre dies reduce la temperatura en un 30% estimado. Por su parte, MOSAIC aborda el problema de la interconexión: al tener muchos dies verticales, el número de conexiones físicas se vuelve inviable. La solución es un interfaz sin contacto que utiliza diminutas bobinas de inducción para transferir datos a 4 Gbps por canal. MOSAIC duplica la capacidad equivalente de HBM4 en una configuración DRAM-on-GPU, y su diseño permite escalar a más de 100 dies sin aumentar la complejidad de las interconexiones. Ambas propuestas, aunque conceptuales, se basan en simulaciones detalladas y prototipos a pequeña escala presentados en el simposio.

Consecuencias para la industria

Estas innovaciones podrían permitir que las futuras GPUs de IA operen con mayor ancho de banda y menor consumo energético, aliviando el cuello de botella de la memoria que limita el escalado de modelos como GPT-4 o Gemini. Fabricantes como SK Hynix, Samsung y Micron, que dominan el mercado de HBM con una cuota combinada superior al 90%, deberán considerar estas arquitecturas para sus hojas de ruta post-HBM4. El impacto en el mercado de centros de datos es significativo: según datos de IDC, el gasto en servidores de IA crecerá un 35% anual hasta 2028, y la memoria HBM representa hasta el 40% del costo de una GPU. Reducir ese costo mediante mejoras en densidad y refrigeración podría acelerar la adopción de IA. Además, empresas como NVIDIA ya han mostrado interés en tecnologías de empaquetado avanzado, como lo demuestra su inversión en TSMC CoWoS. Sin embargo, la transición a estas nuevas arquitecturas requerirá cambios en las líneas de producción y certificación por parte de los integradores.

Lo que deben saber los lectores

• Se trata de investigaciones académicas, no de productos comerciales. Aún se requieren años de desarrollo para su implementación, posiblemente hasta 2028-2030 según estimaciones de los propios investigadores.
• La refrigeración líquida directa entre dies es un cambio de paradigma en el empaquetado de memoria, pero plantea desafíos de sellado y confiabilidad a largo plazo.
• La técnica podría extenderse a otros tipos de memoria apilada, como DDR5 o LPDDR, aunque el enfoque inicial es HBM para IA.
• MOSAIC, al usar acoplamiento inductivo, elimina la necesidad de conexiones físicas densas, lo que podría simplificar el ensamblaje y reducir costos.

"El principal desafío de la IA hoy no son solo los cómputos, sino mover los datos sin fundir el chip", afirma un analista de TheVortiq. "Estas propuestas atacan el problema de raíz, pero su viabilidad comercial dependerá de la colaboración entre fabricantes de memorias y diseñadores de chips."

En resumen, V-Die y MOSAIC representan un avance conceptual significativo que podría redefinir el diseño de memoria para IA en la próxima década. Los inversores y profesionales deben seguir de cerca los próximos prototipos y las declaraciones de SK Hynix, Samsung y Micron sobre sus hojas de ruta post-HBM4.