Inkling-Small: IA de alto rendimiento en formato compacto

Qué ha ocurrido: el nacimiento de Inkling-Small

Dos semanas después de lanzar su primer modelo de lenguaje de código abierto, Thinking Machines, la startup liderada por la exdirectora de tecnología de OpenAI, Mira Murati, ha presentado Inkling-Small, un modelo multimodal de razonamiento con 276 mil millones de parámetros totales y 12 mil millones de parámetros activos por token. Este nuevo modelo, disponible bajo licencia permisiva Apache 2.0, acepta entradas de texto, imagen y audio, y genera texto, con una ventana de contexto de hasta un millón de tokens.

Lo más sorprendente es que, según el Artificial Analysis Intelligence Index, Inkling-Small obtiene una puntuación de 40, solo un punto por debajo de la puntuación de 41 de su predecesor, Inkling, que tiene 975 mil millones de parámetros totales y 41 mil millones de parámetros activos. Es decir, casi el mismo rendimiento con una cuarta parte del tamaño.

Por qué es importante: eficiencia sin sacrificar rendimiento

Este lanzamiento es significativo porque aborda uno de los mayores desafíos de la IA generativa: el alto coste de despliegue y operación. Al reducir los requisitos de computación y memoria, Inkling-Small permite a las empresas ejecutar modelos de alto rendimiento con menos infraestructura, lo que se traduce en menores costes de inferencia y una mayor viabilidad para organizaciones con recursos limitados.

Además, Thinking Machines ha publicado los pesos completos en Hugging Face y ha integrado soporte para ajuste fino a través de su API Tinker. Esta apertura permite a los desarrolladores personalizar el modelo según sus necesidades, fomentando la innovación y la adopción en la comunidad.

Rendimiento: casi a la par, a veces superior

En varias evaluaciones, Inkling-Small supera a su hermano mayor. Por ejemplo, en SWE-bench Verified, obtiene un 80.2% frente al 77.6% de Inkling, y en Terminal Bench 2.1, un 64.7% frente al 63.8%. También mejora en SciCode, Humanity's Last Exam, GPQA Diamond y CritPt. Sin embargo, no todo son ventajas: Inkling conserva una clara superioridad en conocimiento factual y en algunas tareas de agente, como demuestra su puntuación de 23.7% en τ³-Banking frente al 15.5% de Inkling-Small, y su índice de omnisciencia (AA Omniscience) es negativo, lo que indica una cobertura factual más débil.

Este equilibrio entre rendimiento y eficiencia es crucial para las empresas. Como señala VentureBeat, "el atractivo no es simplemente que Inkling-Small sea más pequeño, sino que los desarrolladores renuncian a relativamente poca capacidad mientras reducen los requisitos de computación, los costes de inferencia y la huella de despliegue".

Precios y accesibilidad

Para incentivar la adopción, Thinking Machines ofrece un 50% de descuento por tiempo limitado en los precios de API. El modelo estándar de 64K de contexto cuesta $0.58 por millón de tokens de prefill (entrada), $1.44 por millón de tokens de muestreo (salida) y $1.73 por millón de tokens de entrenamiento, con tokens de prefill en caché a $0.116 por millón. También hay una variante de 256K de contexto a precios más altos.

Estos precios competitivos, combinados con la naturaleza open source, podrían democratizar el acceso a la IA avanzada, permitiendo que startups y pymes experimenten y desplieguen soluciones que antes solo estaban al alcance de grandes corporaciones.

Consecuencias: impacto en el mercado y en la industria

El lanzamiento de Inkling-Small podría intensificar la competencia en el mercado de modelos de IA de código abierto, donde ya compiten gigantes como Meta (Llama), Mistral y Alibaba (Qwen). La estrategia de Thinking Machines de ofrecer modelos de alta eficiencia podría presionar a otros actores a optimizar sus propios modelos para reducir costes, beneficiando a los usuarios finales.

Para las empresas, la posibilidad de desplegar un modelo de 276 mil millones de parámetros en hardware propio con menos GPUs es atractiva. Aunque todavía es demasiado grande para una laptop convencional, es mucho más manejable que el modelo insignia de 975 mil millones, lo que lo convierte en una opción viable para organizaciones con cierta capacidad de cómputo.

Sin embargo, hay que tener en cuenta las limitaciones. La menor cobertura factual puede ser un problema para aplicaciones que requieren precisión en conocimientos generales, como asistentes virtuales o sistemas de recuperación de información. Las empresas deberán evaluar cuidadosamente si el equilibrio entre rendimiento y coste se ajusta a sus casos de uso específicos.

Qué deben saber los lectores

• Rendimiento casi equivalente: Inkling-Small está a solo un punto de su predecesor en el índice de inteligencia de Artificial Analysis, y en algunas pruebas incluso lo supera.
• Eficiencia significativa: Con 276 mil millones de parámetros totales y 12 mil millones activos, reduce los costes de inferencia y despliegue en comparación con el modelo insignia.
• Open source y personalizable: Disponible bajo Apache 2.0 con pesos completos en Hugging Face y soporte para ajuste fino mediante la API Tinker.
• Precios promocionales: Descuento del 50% en las tarifas de API durante un tiempo limitado, con precios que oscilan entre $0.58 y $1.73 por millón de tokens según el tipo.
• Limitaciones factuales: Su cobertura de conocimiento general es más débil que la de Inkling, lo que puede afectar a aplicaciones que requieran información factual precisa.

"La eficiencia es el nuevo campo de batalla en la IA. Inkling-Small demuestra que es posible lograr un alto rendimiento sin necesidad de infraestructuras masivas, lo que podría acelerar la adopción empresarial y reducir la barrera de entrada."

Contexto histórico y comparaciones

Este movimiento de Thinking Machines se produce en un momento en que la industria de la IA busca modelos más eficientes. Ya hemos visto ejemplos como Inkling, que se centró en bajo coste y resistencia a la censura, y ahora con Inkling-Small se refuerza la tendencia hacia la optimización.

Comparado con otros modelos open source, como Llama 3.1 de Meta, que tiene 405 mil millones de parámetros, Inkling-Small ofrece un rendimiento superior en algunas tareas de razonamiento, pero con una huella menor. Esto podría cambiar las expectativas sobre lo que se necesita para obtener resultados de vanguardia.

En resumen, Inkling-Small es un paso adelante en la democratización de la IA, ofreciendo un equilibrio atractivo entre rendimiento y coste. Las empresas que buscan implementar soluciones de IA generativa deberían considerar seriamente esta opción, especialmente si tienen necesidades de razonamiento y multimodalidad sin requerir un conocimiento factual exhaustivo.