El techo de co-fallo: por qué usar varios modelos de IA no siempre mejora los resultados

¿Qué ha ocurrido?

Un equipo de investigadores ha publicado un estudio en arXiv (preimpresión 2606.27288) que evalúa 67 modelos de frontera de 21 proveedores —incluyendo GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 y Llama 3.1— y descubre un fenómeno bautizado como techo de co-fallo (co-failure ceiling). La premisa habitual de que combinar modelos con bajas correlaciones de error crea una red de seguridad es matemáticamente incorrecta: el límite real no es cuán a menudo los modelos discrepan, sino el porcentaje de consultas donde todos fallan a la vez. Según el estudio, las empresas que usan múltiples modelos subestiman las tasas de fallo en 2,25 veces. Es decir, si un conjunto de modelos tiene un techo de co-fallo del 20%, la tasa de error real del sistema orquestado será al menos del 20%, independientemente de cuán baja sea la correlación por pares.

¿Por qué es importante?

Las arquitecturas de orquestación —routers, cascadas y mezcla de agentes (MoA)— añaden un 'precio sombra' en latencia, complejidad de mantenimiento y riesgos de gobernanza. Por ejemplo, un router como el presentado recientemente por VentureBeat (un modelo de 1.5B que alcanza 93% de precisión) introduce latencia adicional y costos de infraestructura. Si el techo de co-fallo no se tiene en cuenta, las empresas invierten en infraestructura costosa para obtener ganancias de rendimiento que no existen. El autor principal, Josef Chen, advierte que el voto mayoritario ingenuo entre modelos desiguales puede empeorar el rendimiento: los modelos débiles se agrupan y superan al más fuerte. Esto es análogo a lo que ocurrió en los primeros sistemas de recomendación, donde combinar algoritmos débiles diluía la precisión del mejor.

El impacto en el mercado es significativo: empresas como OpenAI, Anthropic y Google compiten por ser el modelo único dominante, pero el estudio sugiere que la orquestación multi-modelo podría no ser la panacea que muchos esperaban. Startups de orquestación como Portkey, Helicone y LangChain podrían ver cuestionada su propuesta de valor si los clientes se dan cuenta de que los beneficios son marginales. Además, el costo operativo de mantener múltiples APIs y gestionar la gobernanza (cumplimiento, privacidad, facturación) se suma a la latencia. Según datos de la industria, una consulta orquestada puede tardar entre 2 y 5 veces más que una consulta a un solo modelo.

Consecuencias y recomendaciones

El estudio ofrece pautas claras: combinar solo modelos dentro de una misma banda de calidad. Si no se puede igualar la calidad, es mejor usar un solo modelo de alta gama. Sin embargo, hay una excepción positiva: en arquitecturas MoA, un conjunto diverso de modelos con baja correlación supera al 'Self-MoA' (consultar el mismo modelo varias veces) cuando la calidad está igualada. Esto tiene implicaciones para el diseño de sistemas como los utilizados en el benchmark Chatbot Arena, donde la agregación de votos de múltiples modelos ha mostrado mejoras, pero solo si los modelos son de calidad similar.

Para los desarrolladores, la principal lección es que la métrica de correlación de errores por pares no debe usarse para predecir la precisión absoluta del sistema. En su lugar, se debe calcular directamente el techo de co-fallo del conjunto de modelos, una prueba gratuita que determina si la orquestación realmente pagará dividendos. Esto se puede hacer tomando un subconjunto de prompts de validación y viendo en cuántos fallan todos los modelos simultáneamente. Si ese número es alto, la orquestación no ayudará.

“Las empresas pagan el costo de orquestación por adelantado (latencia, complejidad, operaciones multi-proveedor) asumiendo que un dividendo de diversidad llegará después. Pero si el techo de co-fallo es alto, ese dividendo nunca llega.” — Josef Chen

Comparado con eventos anteriores, esto recuerda al debate sobre los ensembles en machine learning clásico: durante años se asumió que combinar modelos siempre mejoraba el rendimiento, hasta que se demostró que solo funciona si los modelos son diversos y de calidad similar. El techo de co-fallo es la versión LLM de esa lección.

¿Qué deben saber los lectores?

• No asumir que más modelos siempre es mejor: la diversidad sin control de calidad puede perjudicar. El estudio muestra que en algunos casos, un solo modelo de alta gama (como GPT-4o) supera a combinaciones de modelos más débiles.
• Medir el techo de co-fallo antes de implementar orquestación. Es un cálculo simple que evita inversiones innecesarias.
• Priorizar un modelo único de alta calidad sobre una combinación de modelos mediocres. Esto es especialmente relevante para startups con recursos limitados.
• En MoA, la diversidad con calidad igualada es superior a la auto-consulta repetida. Por ejemplo, combinar Claude 3.5 Sonnet, Gemini 2.0 y Llama 3.1 (todos de rendimiento similar) da mejores resultados que consultar a GPT-4o tres veces.
• El techo de co-fallo también se aplica a sistemas de voto mayoritario: si el 51% de los modelos fallan en una consulta, el voto mayoritario dará la respuesta incorrecta. Esto es crítico en aplicaciones de alto riesgo como diagnóstico médico o trading algorítmico.

En conclusión, el estudio de Chen y su equipo es una llamada de atención para la industria. La orquestación multi-modelo no es una bala de plata; requiere un análisis riguroso de los modelos candidatos. Las empresas que ignoren el techo de co-fallo seguirán pagando costos ocultos sin obtener los beneficios esperados, mientras que aquellas que lo calculen podrán optimizar sus sistemas de manera eficiente.