Etiqueta
La dependencia de las APIs en la nube está siendo desafiada por una nueva ola de ejecución local. Analizamos cómo el hardware de consumo y modelos optimizados están permitiendo que la IA sea privada, personal y verdaderamente propia.
Colibrì, una prueba de concepto del ingeniero Vincenzo (JustVugg), permite ejecutar el modelo GLM-5.2 de 744 mil millones de parámetros en apenas 25 GB de RAM y un SSD NVMe. Aunque la velocidad es extremadamente lenta (0.05-0.1 tokens/segundo), demuestra que es posible llevar inteligencia artificial de frontera a hardware de consumo, con implicaciones para la privacidad y la democratización de la IA.
Ante el aumento de tarifas de APIs de IA y las limitaciones en la construcción de nuevos centros de datos, está surgiendo una tendencia de migración de cargas de trabajo de IA desde la nube hacia entornos locales. Usuarios reportan ahorros significativos al procesar millones de tokens diarios con hardware modesto, lo que plantea interrogantes sobre el futuro del mercado de inferencia en la nube.
Microsoft estaría probando una nueva característica en el SDK de Windows App que permite ejecutar funciones de IA de Copilot+ en GPUs discretas, eliminando la dependencia exclusiva de NPUs. Esto abriría la puerta a millones de PCs con GPU dedicada para acceder a funciones como Windows Studio Effects o Recall.
Mozilla ha lanzado la versión 0.8 de Llamafile, un proyecto de código abierto que permite ejecutar grandes modelos de lenguaje en hardware local de forma sencilla y eficiente. La nueva biblioteca tinyBLAS democratiza el acceso a GPUs, incluyendo AMD, eliminando barreras como la necesidad de instalar CUDA.