Etiqueta
Yann LeCun ha dejado Meta para fundar AMI Labs, respaldado con mil millones de dólares, con el objetivo de construir una inteligencia artificial que aprenda de la experiencia sensorial y el sentido común, como un niño pequeño, en lugar de depender de enormes cantidades de texto.
Un estudio de Towards Data Science cuantifica el coste eléctrico real de ejecutar modelos de lenguaje grandes (LLMs) en una GPU local. Los resultados muestran que el coste por millón de tokens varía significativamente entre modelos, y que la eficiencia no siempre se correlaciona con el tamaño del modelo.
Hugging Face ha integrado vLLM como backend de modelado nativo, ofreciendo velocidades de inferencia hasta 24 veces superiores. Este avance reduce costos y democratiza el acceso a modelos de lenguaje grandes, con implicaciones profundas para startups, empresas y el futuro del trabajo.
Reddit ha comenzado a usar modelos de lenguaje (LLMs) para identificar y eliminar spam generado por inteligencia artificial. Esta estrategia, reportada por TechCrunch, refleja cómo las plataformas se ven obligadas a combatir el fuego con fuego en la era de la IA generativa.
Un artículo de Towards Data Science advierte sobre la 'regresión en prompts': modificaciones aparentemente inocuas en las instrucciones de modelos de lenguaje pueden provocar fallos silenciosos en producción. Este análisis explica el fenómeno, su impacto y cómo mitigarlo.
Los LLMs han disparado la productividad de los desarrolladores, pero también han provocado un aumento del 242,7% en la relación incidentes/PR y un 54% más de bugs por desarrollador, según Faros AI. La promesa de la fábrica de software choca con la realidad de una deuda técnica acelerada.
La startup Subquadratic asegura haber superado la limitación fundamental de los modelos de lenguaje: el costo computacional cuadrático. Con su modelo SubQ, promete velocidades 56 veces mayores y consumo energético reducido. Sin embargo, la falta de acceso público y el uso de pesos prestados generan dudas.
Mozilla ha lanzado la versión 0.8 de Llamafile, un proyecto de código abierto que permite ejecutar grandes modelos de lenguaje en hardware local de forma sencilla y eficiente. La nueva biblioteca tinyBLAS democratiza el acceso a GPUs, incluyendo AMD, eliminando barreras como la necesidad de instalar CUDA.
Los LLMs, exitosos en lenguaje natural, se aplican ahora a series financieras. Sin embargo, la naturaleza ruidosa y adversarial de los mercados limita su precisión. Este análisis explora el estado del arte, las oportunidades reales y los desafíos que enfrentan los quants al intentar predecir precios con estas herramientas.