De trazas perfectas a productos rotos: el nuevo paradigma para evaluar agentes de IA

El espejismo de la traza perfecta

En la conferencia VB Transform 2026, Harrison Chase (CEO de LangChain), Hui Zhang (CTO de Conviva) y Emmanuel Turlay (director de ingeniería de CoreWeave) coincidieron en un diagnóstico inquietante: una sola conversación con un agente de IA puede parecer impecable cuando se evalúa de forma aislada y, sin embargo, esconder fallos sistémicos que hacen que el producto sea percibido como roto por los usuarios. Este vacío entre la evaluación individual y la experiencia real está impulsando un cambio de paradigma en cómo las empresas miden el rendimiento de sus agentes.

Según Zhang, el dilema fundamental es la tensión entre métodos automatizados (como LLM-as-judge o agent-as-judge) y la revisión humana. “Tienes lo escalable pero no fundamentado, ya sea agentes como jueces o LLMs como jueces. Calificas el resultado, calificas el trabajo. Sigue siendo muy difícil fundamentarlo, y luego usas humanos, pero eso no es escalable”, declaró. “Toda la industria se enfrenta a esto: qué veneno quieres elegir”.

Los criterios de evaluación como nuevo PRD

Chase advirtió que muchos equipos caen en la “parálisis de evaluación”: intentan construir un conjunto exhaustivo de tests antes de lanzar nada, lo que retrasa el aprendizaje real. “Los mejores equipos lanzan y luego iteran”, afirmó. Para Chase, los criterios de evaluación deben entenderse como un product requirements document (PRD) vivo: “Las evaluaciones son el nuevo PRD. Definen lo que tu agente debe y no debe hacer”.

Turlay describió una experiencia paralela: “Intentaba alcanzar el 100% de cobertura en mis tests, y todavía tenía bugs en producción”. Su solución fue priorizar un monitoreo amplio y siempre activo, que captura más fallos reales que un conjunto de pruebas pre-lanzamiento exhaustivo. Recomienda implementar primero verificaciones en línea amplias, identificar las clases de fallos a medida que ocurren y luego construir un conjunto de evaluación offline específico para los problemas que surgen.

El error de puntuar trazas una a una

Zhang criticó la práctica común de muestrear trazas (50 o toda la población) y puntuarlas de forma aislada. Este enfoque pierde una señal que solo aparece al comparar cohortes de usuarios contra una línea base, método que denomina análisis contrastivo. Puso un ejemplo del comercio minorista: un comprador pide una zapatilla para correr una media maratón, el agente hace preguntas de calificación y el usuario compra. Individualmente, la interacción parece excelente. Pero al comparar cohortes, el ratio de aclaraciones (preguntas de seguimiento antes de completar la tarea) resultó ser tres veces mayor que la línea base para esa categoría de calzado. Una segunda métrica —la frecuencia con que los compradores finalizaban la compra fuera de la conversación— fue cinco veces mayor. Ninguno de estos números es visible desde una sola traza. Ambos apuntan a un problema depurable y específico de la categoría.

Zhang también señaló que la industria carece de una segunda fuente de datos: lo que ocurre antes, entre y después de la conversación, no solo la traza en sí misma.

Ajustar el juez al trabajo

Una vez que el análisis contrastivo identifica qué categoría está realmente rota, el siguiente problema es qué modelo la vigilará y a qué costo. Turlay propuso una regla simple: usar el modelo más pequeño y barato que pueda detectar la clase de fallo específica. “No necesitas GPT-4 para detectar un error de formato”, dijo. Esta tendencia hacia modelos juez más baratos y especializados corre en paralelo al cambio metodológico hacia cohortes.

En conjunto, las tres intervenciones dibujan un nuevo mapa para la evaluación de agentes: pasar de trazas individuales a cohortes, de tests pre-lanzamiento exhaustivos a monitoreo continuo, y de modelos juez grandes y genéricos a modelos pequeños y específicos. Las empresas que adopten este enfoque podrán detectar fallos ocultos que de otro modo pasarían desapercibidos, ahorrando costos y mejorando la experiencia del usuario.