AMD compra Taalas: chips que graban modelos de IA en silicio

AMD ha dado un paso audaz en su estrategia para competir con Nvidia en el mercado de la inteligencia artificial. La compañía anunció la adquisición de Taalas, una startup con sede en Toronto que ha desarrollado una tecnología radicalmente diferente para acelerar la inferencia de modelos de IA: en lugar de usar GPUs genéricas o arquitecturas de flujo de datos como las de Groq o Cerebras, Taalas graba los pesos de un modelo directamente en el silicio, creando lo que se conoce como circuitos integrados específicos de modelo (MSIC).

Según informa The Register, el acuerdo se anunció al cierre del mercado el jueves y, aunque no se revelaron los términos, se trata de una adquisición real y no de un simple 'acquihire'. Esta movida se enmarca en la misma tendencia que el acuerdo de licencia de Nvidia con Groq por 20.000 millones de dólares: ofrecer servicios de inferencia de 'prima' para agentes de IA, como asistentes de código, más rápidos y económicos.

La tecnología de Taalas: velocidad extrema con limitaciones

El enfoque de Taalas es único. Sus chips no dependen de la memoria HBM para almacenar los pesos del modelo, sino que los integran físicamente en el silicio. En febrero, la startup reveló su primer chip de prueba, el HC1, fabricado en el proceso de 6nm de TSMC. En las pruebas iniciales, este chip sirvió el modelo Llama 3.1 8B de Meta a una velocidad de 16.960 tokens por segundo, lo que en ese momento era 48 veces más rápido que las GPUs de Nvidia y 8,5 veces más rápido que los aceleradores de Cerebras.

Sin embargo, esta velocidad tiene un precio: una vez que el chip está fabricado, el modelo es inamovible. Cualquier cambio más allá de un adaptador LoRA requiere un rediseño completo del chip, un proceso costoso y lento. En un mercado donde los modelos de IA evolucionan casi mensualmente, esta rigidez podría ser un obstáculo importante para muchos clientes.

La estrategia de AMD: integración con sus racks Helios

AMD planea integrar la tecnología de Taalas con su plataforma de cómputo a escala de rack, los sistemas Helios basados en Instinct. Esto sugiere una arquitectura desagregada en la que las GPUs manejan el procesamiento intensivo de la solicitud (prompt) y los aceleradores de Taalas se encargan de la generación de tokens, la parte más repetitiva y costosa.

También es posible que AMD adopte un enfoque 'tick-tock', donde los clientes primero validan sus modelos en GPUs Instinct y luego los migran a los aceleradores Taalas cuando están seguros de su elección. Vamsi Boppana, vicepresidente sénior de IA de AMD, declaró: 'AMD está construyendo una plataforma de IA de pila completa que brinda a los clientes la flexibilidad de implementar las soluciones de cómputo adecuadas para cada carga de trabajo de IA'.

Implicaciones para el mercado de IA

Esta adquisición podría tener un impacto significativo en el mercado de inferencia de IA. Si AMD logra comercializar la tecnología de Taalas, ofrecería una alternativa a las GPUs de Nvidia con un rendimiento potencialmente mucho mayor y un menor consumo energético. Para modelos de gran escala, como los de 1 billón de parámetros, se necesitarían solo 50 aceleradores Taalas de segunda generación (HC2), en comparación con los miles de GPUs o LPUs que requerirían otras arquitecturas.

Sin embargo, la adopción dependerá de la disposición de los clientes a comprometerse con un modelo específico. Empresas con cargas de trabajo estables, como servicios de búsqueda o asistentes de voz, podrían beneficiarse enormemente. Otras que necesitan actualizar sus modelos con frecuencia tendrán que sopesar los costos.

Contexto histórico: la carrera por la inferencia

La inferencia de IA se ha convertido en el nuevo campo de batalla. Nvidia ha dominado el entrenamiento, pero la inferencia es donde se generan ingresos a largo plazo. Competidores como Groq, Cerebras y ahora Taalas (con AMD) están atacando este segmento con arquitecturas especializadas. La adquisición de Taalas por parte de AMD es una señal clara de que la compañía quiere ser un actor serio en este espacio, no solo en el entrenamiento.

¿Qué deben saber los lectores?

Para los profesionales de TI y tomadores de decisiones, esta noticia subraya la importancia de evaluar cuidadosamente las opciones de hardware de IA. La tecnología de Taalas no es para todos: es ideal para cargas de trabajo estables y de alto volumen, pero no para entornos dinámicos. Además, la falta de detalles financieros y la naturaleza especulativa de los planes de integración de AMD requieren cautela.

También es relevante el hecho de que Taalas es una startup relativamente joven (fundada en 2023) con una tecnología no probada a gran escala. Los resultados del HC1 son prometedores, pero aún queda por ver cómo se comporta en entornos de producción y si AMD puede escalar la fabricación de estos chips personalizados.

En resumen, la adquisición de Taalas posiciona a AMD como un innovador en el espacio de inferencia de IA, pero el éxito dependerá de la ejecución y de la aceptación del mercado. Los próximos meses serán cruciales para ver si esta tecnología disruptiva se convierte en una alternativa viable a las soluciones establecidas.