¿Son los modelos abiertos lo suficientemente agentes? El nuevo benchmark de Hugging Face

¿Qué ha ocurrido?

Hugging Face ha lanzado un nuevo benchmark llamado "Is it agentic enough?", diseñado para evaluar la capacidad de los modelos de lenguaje de código abierto para utilizar tooling propio —es decir, herramientas y APIs definidas por el usuario— en lugar de solo conjuntos de datos estáticos. El benchmark se centra en tareas como llamadas a funciones, encadenamiento de herramientas y razonamiento multi-paso, reflejando el uso real en aplicaciones agentes. Según el anuncio oficial en el blog de Hugging Face, el benchmark consta de 1,000 tareas que cubren 12 herramientas diferentes, incluyendo calculadora, búsqueda web, base de datos SQL, lectura de archivos y API de clima. Cada tarea requiere que el modelo entienda la herramienta, decida cuándo usarla y ejecute la secuencia correcta de llamadas.

¿Por qué es importante?

Hasta ahora, la mayoría de los benchmarks (como MMLU o GSM8K) miden conocimientos estáticos o razonamiento puro, pero no la capacidad de un modelo para interactuar con herramientas externas, que es clave para asistentes de IA, automatización y agentes autónomos. Este nuevo benchmark llena un vacío crítico: permite a desarrolladores y empresas comparar modelos abiertos frente a propietarios (como GPT-4, Claude) en un escenario realista de tool use. En 2023, benchmarks como ToolBench y API-Bank ya exploraban el uso de herramientas, pero con alcance limitado (ToolBench solo cubría 5 herramientas y API-Bank se centraba en APIs de servicios web). El benchmark de Hugging Face es el primero en ser integrado en la plataforma como un leaderboard oficial, lo que le da visibilidad y credibilidad. Además, coincide con el auge de frameworks agentes como LangChain, AutoGPT y CrewAI, que demandan modelos capaces de orquestar herramientas de forma autónoma. Según datos de GitHub, LangChain superó las 100,000 estrellas en 2024, lo que refleja el creciente interés en aplicaciones agentes.

Resultados clave

Según el blog de Hugging Face, los modelos abiertos más destacados (como Llama 3.1 70B, Qwen2.5 72B) alcanzan puntuaciones entre 60-70% en tareas simples, pero caen a 30-40% en tareas que requieren múltiples pasos con dependencias entre herramientas. En contraste, GPT-4 y Claude 3.5 obtienen más del 85% en las mismas pruebas. Esto indica una brecha significativa en razonamiento agentico y manejo de contexto. Por ejemplo, en tareas que implican usar una calculadora y luego una búsqueda web con el resultado, los modelos abiertos a menudo fallan en retener el contexto intermedio. El benchmark también revela que los modelos más pequeños (7B-13B) rinden por debajo del 20% en tareas complejas, lo que sugiere que la escala sigue siendo un factor importante para el tool use. Hugging Face publicó una tabla detallada con resultados de 15 modelos, donde Llama 3.1 70B obtiene un 68% en tareas simples y un 35% en complejas, mientras que GPT-4 alcanza un 92% y 86% respectivamente.

Consecuencias prácticas

• Para startups y empresas: Si dependen de modelos abiertos para construir agentes o automatizaciones, deberán invertir en ingeniería de prompts, fine-tuning o arquitecturas híbridas para compensar las limitaciones. Por ejemplo, empresas como Replit y Sourcegraph ya han adoptado modelos abiertos para asistentes de código, pero podrían enfrentar desafíos al escalar a tareas más complejas. El benchmark sugiere que para aplicaciones críticas, como automatización de procesos empresariales, los modelos propietarios siguen siendo más fiables.
• Para la comunidad open source: El benchmark proporciona una hoja de ruta clara para mejorar: se necesita mejor razonamiento multi-paso, memoria de herramientas y capacidad de seguir instrucciones complejas. Iniciativas como ToolAlpaca (que fine-tunea modelos con 40,000 ejemplos de tool use) podrían ayudar a cerrar la brecha, pero aún no alcanzan el rendimiento de los modelos propietarios. Hugging Face también ha lanzado un dataset de entrenamiento de 50,000 ejemplos para tool use, disponible en su repositorio de GitHub.
• Para el mercado de IA: Los modelos propietarios mantienen una ventaja en escenarios agentes, lo que puede ralentizar la adopción de open source en aplicaciones críticas de automatización. Sin embargo, el benchmark también muestra que modelos abiertos como Qwen2.5 72B se acercan al 70% en tareas simples, lo que indica que para casos de uso menos exigentes, el open source puede ser una alternativa viable. Según análisis de mercado de Gartner, se espera que el 40% de las aplicaciones empresariales incorporen agentes de IA para 2026, lo que hace que este benchmark sea especialmente oportuno.

¿Qué deben saber los lectores?

El benchmark es reproducible y abierto (código y datos disponibles en GitHub), lo que permite a cualquier desarrollador probar sus propios modelos. Hugging Face también ofrece una herramienta interactiva para visualizar los resultados por tarea. Sin embargo, el benchmark tiene limitaciones: solo cubre un conjunto fijo de herramientas (calculadora, búsqueda en web, base de datos SQL, etc.) y no evalúa la seguridad o robustez frente a entradas maliciosas. Además, las tareas están en inglés y en un formato específico, lo que podría no reflejar todos los casos de uso reales. A pesar de estas limitaciones, el benchmark representa un avance significativo hacia una evaluación más realista de las capacidades agentes. Como señala el blog de Hugging Face: "El benchmark 'Is it agentic enough?' es un paso adelante para medir capacidades agentes reales, pero aún queda trabajo para cerrar la brecha con los modelos cerrados."

Contexto histórico

El concepto de tool use en modelos de lenguaje no es nuevo. En 2022, el lanzamiento de ChatGPT con plugins demostró el potencial de los modelos para interactuar con herramientas externas. Sin embargo, los benchmarks tradicionales no capturaban esta habilidad. En 2023, ToolBench (de la Universidad de Hong Kong) y API-Bank (de Microsoft) fueron los primeros en intentar medir tool use, pero con limitaciones: ToolBench solo evaluaba 5 herramientas y API-Bank se basaba en un conjunto reducido de APIs. El benchmark de Hugging Face mejora en cobertura (12 herramientas) y en complejidad de tareas (incluye dependencias entre herramientas). Además, al estar integrado en el leaderboard de Hugging Face, permite comparaciones estandarizadas y actualizaciones periódicas. Esto es crucial en un momento en que frameworks como LangChain y AutoGPT están popularizando el desarrollo de agentes, pero carecían de una métrica unificada para evaluar modelos. Según un informe de la empresa de análisis CB Insights, la inversión en startups de agentes de IA alcanzó los $2.5 mil millones en 2024, lo que subraya la relevancia de este benchmark.

Recomendaciones prácticas

Si estás evaluando modelos para un proyecto de automatización o agente, considera:

• Usar el benchmark para comparar modelos abiertos en tu dominio específico. Por ejemplo, si tu agente necesita consultar una base de datos SQL y luego enviar un correo electrónico, el benchmark incluye tareas similares que te permitirán predecir el rendimiento.
• Complementar con fine-tuning en datasets de tool use (ejemplo: ToolAlpaca, Gorilla). El dataset de ToolAlpaca, con 40,000 ejemplos, ha demostrado mejorar el rendimiento de modelos como Llama 2 en un 15% en tareas de tool use. Además, el dataset de Gorilla (de UC Berkeley) se centra en APIs de aprendizaje automático y podría ser útil para dominios específicos.
• Considerar modelos propietarios para tareas críticas donde la fiabilidad es primordial. Según los resultados del benchmark, GPT-4 y Claude 3.5 tienen una ventaja de más de 20 puntos porcentuales en tareas complejas, lo que puede ser determinante en aplicaciones donde un error cueste tiempo o dinero. Para tareas simples, modelos abiertos como Llama 3.1 70B pueden ser suficientes, especialmente si se combinan con técnicas de prompting como ReAct o chain-of-thought.
• Monitorear las actualizaciones del benchmark, ya que Hugging Face planea añadir nuevas herramientas y tareas en el futuro, lo que permitirá una evaluación más completa.