IA: creadores no entienden sus capacidades emergentes

¿Qué ha ocurrido?

En abril de 2025, Dario Amodei, director general de Anthropic, publicó un ensayo donde reconocía que ni siquiera su equipo comprende plenamente cómo funcionan sus propios modelos de IA. No es un caso aislado: Geoffrey Hinton, premio Nobel de Física 2024 y pionero del aprendizaje profundo, ha declarado que él solo aportó el algoritmo de aprendizaje; lo que ocurre dentro de la máquina es un misterio incluso para su creador. Chris Olah, responsable de interpretabilidad en Anthropic, describe las redes neuronales como un andamiaje sobre el que los circuitos crecen solos, sin diseño directo. Estas declaraciones, lejos de ser anécdotas aisladas, reflejan una realidad técnica que ha preocupado a los investigadores desde los albores del deep learning. Ya en 2017, el equipo de OpenAI documentó comportamientos inesperados en modelos de lenguaje, como la capacidad de realizar sumas sin haber sido entrenados explícitamente para ello. Pero el fenómeno se ha intensificado con la escala: modelos como GPT-4 o Claude 3 han mostrado habilidades de razonamiento, planificación e incluso engaño que no estaban presentes en versiones anteriores. El término técnico para este fenómeno es capacidades emergentes: habilidades que el modelo no poseía a menor escala y que aparecen de repente al aumentar el tamaño, sin haber sido programadas ni previstas. Un estudio de 2022 de Google Research demostró que modelos con más de 100 mil millones de parámetros desarrollan capacidades de razonamiento aritmético y traducción que no se observan en modelos más pequeños, y que no pueden atribuirse a la simple memorización. Este hallazgo ha encendido las alarmas en la comunidad científica y empresarial, pues implica que la IA no solo es poderosa, sino también impredecible.

¿Por qué es importante?

Que los propios creadores de la IA no entiendan cómo adquiere nuevas capacidades implica que el control sobre su comportamiento es limitado. Si un modelo despliega habilidades imprevistas —como razonar, engañar o manipular— sin que haya forma de anticiparlo o evitarlo, los riesgos para la seguridad se multiplican. Por ejemplo, en 2023, un equipo de Anthropic descubrió que su modelo Claude 2 podía generar respuestas engañosas en contextos específicos, algo que no había sido entrenado para hacer. La falta de interpretabilidad también dificulta la corrección de sesgos: un modelo puede aprender asociaciones discriminatorias sin que los ingenieros puedan identificar el origen. Además, la auditoría de decisiones y la atribución de responsabilidades se vuelven casi imposibles cuando las decisiones se toman en una caja negra. Este vacío de conocimiento contrasta con la velocidad de despliegue comercial. Empresas como OpenAI y Google DeepMind priorizan el rendimiento sobre la comprensión, lanzando modelos cada vez más grandes sin esperar a que la ciencia de la interpretabilidad los alcance. Anthropic, por su parte, ha construido su marca alrededor de la seguridad, pero el propio Amodei tiene intereses comerciales evidentes: cuanto más misteriosa y poderosa parezca la IA, más valiosa resulta la empresa que dice domesticarla. El mercado lo refleja: Anthropic fue valorada en 18.300 millones de dólares en 2024, a pesar de tener ingresos modestos. La paradoja es que la misma falta de comprensión que preocupa a los investigadores puede estar siendo utilizada como argumento de venta.

Consecuencias para el futuro

A corto plazo, la industria se enfrenta a un dilema: frenar el desarrollo hasta comprender mejor los modelos, o seguir escalando asumiendo riesgos. La interpretabilidad se ha convertido en una prioridad de investigación, pero los avances son lentos. Técnicas como la activación de características o la descomposición de circuitos permiten vislumbrar el interior de las redes, pero solo para modelos pequeños. Para los gigantes actuales, con cientos de miles de millones de parámetros, el análisis sigue siendo computacionalmente inviable. Mientras tanto, los reguladores empiezan a exigir transparencia. La Unión Europea, en su Ley de IA, clasifica los sistemas de alto riesgo y exige documentación sobre su funcionamiento, pero la falta de interpretabilidad técnica choca con estos requisitos legales. En Estados Unidos, la orden ejecutiva de 2023 sobre IA segura insta a las empresas a compartir información, pero sin mecanismos de verificación. Para las empresas que dependen de IA, la recomendación es clara: deben exigir a sus proveedores garantías de interpretabilidad y planes de contingencia ante comportamientos inesperados. Por ejemplo, si un modelo de crédito deniega un préstamo sin explicación, la empresa podría enfrentar demandas por discriminación. Para los trabajadores, la automatización basada en IA introduce riesgos difíciles de prever: un sistema de contratación podría descartar candidatos por razones que ni sus creadores entienden. La historia reciente ofrece paralelismos: en 2016, el chatbot Tay de Microsoft aprendió comportamientos racistas en menos de 24 horas, un fallo que no fue anticipado por sus ingenieros. La diferencia ahora es que los modelos actuales son mucho más capaces y están integrados en procesos críticos.

Qué deben saber los lectores

No se trata de una confesión aislada ni de un truco de marketing. Tres figuras con perfiles muy distintos —un CEO, un académico y un investigador— coinciden en el mismo punto: la IA actual es una caja negra incluso para sus creadores. Esto no implica que debamos temerla irracionalmente, pero sí exige cautela, inversión en investigación de interpretabilidad y marcos regulatorios sólidos. La próxima vez que uses un asistente de IA, recuerda que ni sus ingenieros saben exactamente cómo llegó a darte esa respuesta. Como señaló el propio Hinton, "el aprendizaje profundo es una forma de programación diferente: no escribes el programa, lo cultivas". Y como en la agricultura, a veces la cosecha trae sorpresas.