Colibrì: modelo IA fronterizo que funciona con solo 25 GB de RAM

¿Qué ha ocurrido?

El ingeniero italiano Vincenzo (conocido como JustVugg) ha publicado en GitHub un proyecto llamado Colibrì que permite ejecutar el modelo de lenguaje GLM-5.2 (744 mil millones de parámetros, 1.5 TB) en un sistema con solo 25 GB de RAM y un SSD NVMe virtual de 1 GB/s. GLM-5.2 es un modelo de Mixture-of-Experts (MoE) que rivaliza con GPT-4 y Claude en rendimiento. Colibrì carga el modelo en fragmentos (slices) desde el disco a la RAM según se necesitan, aprovechando que en los MoE solo se activa un subconjunto de expertos por token. El resultado es una tasa de inferencia de 0.05 a 0.1 tokens por segundo, muy lejos de los 20-30 necesarios para uso interactivo, pero suficiente para demostrar que es posible ejecutar modelos de frontera en hardware de consumo.

La técnica empleada, conocida como memory swapping o paginación inteligente, no es nueva en el ámbito de la IA: proyectos como llama.cpp y Ollama ya utilizan estrategias similares para modelos más pequeños. Sin embargo, Colibrì lleva esta idea al extremo al manejar un modelo de 1.5 TB, algo que normalmente requeriría múltiples GPUs con memoria HBM (como las NVIDIA H100 con 80 GB cada una) o incluso un clúster completo. Según Tom's Hardware, Vincenzo logró esto con una CPU modesta y una unidad SSD NVMe virtualizada a 1 GB/s, lo que subraya que la innovación está en el software, no en el hardware.

El contexto histórico es relevante: en 2023, ejecutar un modelo de 70B parámetros en una sola GPU de consumo (RTX 4090) era un logro. Ahora, Colibrì demuestra que incluso modelos de 744B pueden ejecutarse sin GPU, aunque a velocidades extremadamente bajas. Esto recuerda a los primeros días de la computación personal, cuando los programas se cargaban desde cintas magnéticas; la velocidad era ínfima, pero demostraba factibilidad.

¿Por qué es importante?

Hasta ahora, ejecutar modelos de IA de última generación requería múltiples GPUs de alta gama (como H100) o clústeres costosos. Colibrì demuestra que, con ingeniería de software eficiente, se puede democratizar el acceso a modelos de frontera para entusiastas, investigadores y pequeñas empresas que priorizan la privacidad de datos. Además, resalta el potencial de los modelos MoE para reducir la huella de memoria activa, ya que solo se necesita cargar los expertos relevantes en cada paso.

El impacto en el mercado podría ser significativo. Las suscripciones a servicios de IA como ChatGPT Plus o Claude Pro cuestan alrededor de 20 dólares al mes, pero implican enviar datos a la nube. Para sectores como salud, finanzas o defensa, donde la privacidad es crítica, la ejecución local es una necesidad. Colibrì, aunque lento, ofrece una vía para que estos sectores evalúen modelos de frontera sin exponer datos sensibles. Además, podría presionar a los fabricantes de hardware (como Samsung y SK Hynix) a optimizar el ancho de banda entre almacenamiento y memoria, tal como señala Tom's Hardware en su análisis sobre la escasez de memoria impulsada por la IA.

Comparado con otros intentos de democratización, como el proyecto TinyML o las cuantizaciones de modelos (por ejemplo, GPTQ o GGUF), Colibrì se enfoca en la ejecución completa de modelos sin compresión, preservando la calidad original. Sin embargo, la velocidad actual es 200-300 veces menor que la necesaria para interacción en tiempo real, lo que limita su uso práctico a tareas por lotes, como procesamiento de documentos o generación de informes nocturnos.

Consecuencias y perspectivas

A corto plazo, Colibrì es una prueba de concepto con limitaciones de velocidad. Sin embargo, apunta a un futuro donde la IA local de alto nivel sea viable con hardware asequible. Esto podría impulsar aplicaciones en sectores sensibles (salud, finanzas, defensa) donde los datos no pueden enviarse a la nube. También podría incentivar a fabricantes de hardware a optimizar el ancho de banda entre almacenamiento y memoria, y a desarrolladores de modelos a diseñar arquitecturas aún más eficientes.

Una perspectiva interesante es la posible evolución hacia memorias más rápidas, como CXL (Compute Express Link), que permitiría compartir memoria entre CPU y GPU con baja latencia. Si Colibrì se adapta a estas tecnologías, la velocidad podría mejorar drásticamente. Además, la técnica de swapping podría combinarse con cuantización (por ejemplo, FP8 o INT4) para reducir aún más el tamaño del modelo en disco, aunque esto degradaría la calidad.

En términos de mercado, proyectos como Colibrì podrían acelerar la adopción de hardware especializado para IA local, como las NPU (Neural Processing Units) integradas en CPUs modernas (AMD Ryzen AI, Intel Meteor Lake). Si estas NPU pueden manejar el swapping eficientemente, podríamos ver un ecosistema de aplicaciones de IA local que compitan con los servicios en la nube. No obstante, la velocidad actual de 0.05 tokens/segundo es demasiado baja para aplicaciones interactivas; para referencia, un humano lee aproximadamente 5-6 tokens por segundo, por lo que Colibrì es 100 veces más lento que la lectura humana.

¿Qué deben saber los lectores?

• Velocidad actual: 0.05-0.1 tokens/segundo, inusable para chat en tiempo real, pero viable para procesamiento por lotes o tareas que no requieran respuesta inmediata.
• Hardware requerido: 25 GB de RAM, una CPU moderna, y un SSD NVMe rápido (1 GB/s). Sin GPU necesaria.
• Modelo usado: GLM-5.2, un MoE de 744B parámetros, comparable a GPT-4 en calidad.
• Futuro: Si se optimiza el ancho de banda de almacenamiento o se usan memorias más rápidas (como CXL), la velocidad podría mejorar significativamente.
• Limitaciones: La inferencia es extremadamente lenta; no es adecuado para aplicaciones en tiempo real. Además, el modelo GLM-5.2 no está disponible de forma oficial para descarga pública, lo que limita la reproducibilidad del experimento.

Colibrì demuestra que la barrera de entrada para la IA de frontera no es solo el hardware, sino también la ingeniería de software. Es un paso hacia la soberanía de datos y la computación local.

En resumen, Colibrì es un hito técnico que muestra el potencial de la ingeniería de software para superar limitaciones de hardware. Aunque su aplicación práctica es limitada hoy, sienta las bases para un futuro donde la IA de alto rendimiento sea accesible localmente, con implicaciones profundas para la privacidad, la soberanía de datos y la democratización de la inteligencia artificial.