Startup Subquadratic rompe cuello de botella matemático en IA con modelo sin atención cuadrática

¿Qué ha ocurrido?

El 19 de junio de 2026, la startup Subquadratic, con sede en Miami, publicó benchmarks independientes que verifican las capacidades de su modelo SubQ, lanzado en modo sigiloso el 5 de mayo. El modelo utiliza una arquitectura llamada Subquadratic Sparse Attention (SSA), que reemplaza la atención cuadrática tradicional de los transformers por un mecanismo de atención dispersa que escala de forma sublineal. Según los datos, SubQ mantiene una ventana de contexto de 12 millones de tokens con un rendimiento comparable a modelos como GPT-4o y Claude Opus 4 en tareas de razonamiento, pero con un costo computacional significativamente menor. La empresa, fundada por el CEO Justin Dangel y el CTO Alex Whedon (ex responsable de IA generativa en Meta), cuenta con solo 13 empleados y ha recaudado 29 millones de dólares a una valoración de 500 millones, respaldada por inversores como Javier Villamizar (ex SoftBank Vision Fund) y Justin Mateen (cofundador de Tinder).

¿Por qué es importante?

La atención cuadrática ha sido el principal cuello de botella de los LLM desde el paper 'Attention is All You Need' de 2017. En los transformers, el costo computacional y de memoria crece con el cuadrado de la longitud de la secuencia (O(n²)), lo que limita el contexto práctico a 1-2 millones de tokens en 2026, a pesar de las afirmaciones de marketing. SubQ rompe esta barrera al seleccionar dinámicamente solo las posiciones relevantes para cada consulta, ejecutando atención exacta sobre un subconjunto disperso. Esto permite procesar documentos extensos, como libros completos o bases de código, sin el costo prohibitivo de la atención completa. El contexto de 12 millones de tokens equivale aproximadamente a 9 millones de palabras, suficiente para abarcar la trilogía completa de 'El Problema de los Tres Cuerpos' o el código fuente del kernel de Linux. Este avance podría desbloquear aplicaciones que antes eran inviables, como el análisis de documentos legales completos, la revisión de código fuente de proyectos enteros, o asistentes que recuerdan conversaciones de meses. Sin embargo, la arquitectura SSA no es la primera en intentar superar la atención cuadrática: enfoques anteriores como Linformer, Reformer o Longformer lograron escalar a contextos largos pero con pérdidas de precisión en tareas que requieren atención global densa. SubQ afirma haber resuelto esa compensación, pero los benchmarks independientes aún no cubren todos los escenarios.

¿Qué consecuencias tendrá?

Si SubQ escala a producción, podría democratizar el acceso a modelos de contexto largo, reduciendo costos de inferencia y permitiendo aplicaciones como análisis de documentos legales, revisión de código fuente completo, o asistentes que recuerdan conversaciones de meses. Sin embargo, quedan dudas sobre el rendimiento en tareas que requieren atención global densa, como razonamiento sobre múltiples partes distantes del texto. Además, la startup tiene solo 13 empleados y una valoración de 500 millones de dólares, lo que genera escepticismo sobre su capacidad para competir con gigantes como OpenAI o Anthropic. La comparación con Theranos ha sido recurrente: una startup pequeña que promete una tecnología disruptiva sin pruebas claras. Pero a diferencia de Theranos, SubQ ya ha presentado benchmarks independientes, aunque aún limitados. El impacto en el mercado podría ser significativo: si SubQ logra mantener el rendimiento en producción, los costos de inferencia para modelos de contexto largo podrían caer drásticamente, presionando a los grandes actores a adoptar arquitecturas similares. Por otro lado, si la tecnología no se generaliza, podría quedar como un nicho para casos de uso específicos. La inversión de 29 millones sugiere que los inversores apuestan por la disrupción, pero el mercado debe esperar a ver si SubQ puede mantener el rendimiento en entornos reales de producción.

¿Qué deben saber los lectores?

Los benchmarks independientes son un paso crucial, pero no definitivos. SubQ ha sido evaluado en tareas como MMLU, GSM8K y LongBench, mostrando resultados competitivos. Sin embargo, la falta de transparencia en la arquitectura exacta y la ausencia de implementaciones open source limitan la reproducibilidad. Los inversores, incluidos Javier Villamizar (ex SoftBank) y Justin Mateen (cofundador de Tinder), han respaldado la empresa con 29 millones de dólares, lo que sugiere confianza, pero el mercado debe esperar a ver si SubQ puede mantener el rendimiento en entornos reales de producción. Además, el equipo de solo 13 personas genera dudas sobre su capacidad para escalar el modelo a niveles de producción que compitan con los centros de datos de OpenAI o Anthropic. La historia de la IA está llena de innovaciones que no lograron salir del laboratorio; SubQ necesita demostrar que su arquitectura es robusta y generalizable. Por último, los lectores deben tener en cuenta que los benchmarks independientes fueron realizados por terceros, pero no se ha revelado la identidad de los evaluadores ni los detalles completos de las pruebas, lo que deja espacio para el escepticismo.

'Hemos roto la atención cuadrática, la restricción matemática que hace que todos los transformers escalen O(n²) en cómputo y memoria', afirma la startup. Los datos independientes lo respaldan, pero la pregunta sigue siendo si la solución es generalizable. Como señala Ana Maria Constantin en The Next Web, 'los grandes interrogantes siguen ahí, pero ya no son los mismos'.