Etiqueta
Dario Amodei, CEO de Anthropic, y Geoffrey Hinton, Nobel de Física, han coincidido en que las redes neuronales desarrollan capacidades emergentes que sus creadores no logran explicar. Este fenómeno, lejos de ser anecdótico, plantea serios interrogantes sobre la seguridad y el control de la inteligencia artificial.
La industria de la IA apuesta por modelos cada vez más seguros y alineados, pero un análisis de The Next Web revela que la alineación técnica es insuficiente. El verdadero desafío es la gobernanza: quién usa el modelo, con qué propósito y bajo qué controles.
Investigadores de Cisco han logrado burlar las barreras de seguridad de los principales chatbots de IA en menos de cinco intercambios, obteniendo información sobre armas biológicas. El hallazgo revela que ningún modelo actual es completamente resistente a usuarios persistentes.
Investigadores de Noma Security descubrieron GitLost, un ataque que engaña al agente de IA de GitHub para que publique contenido de repositorios privados en issues públicos. La vulnerabilidad no requiere credenciales ni exploits técnicos, sino que explota la confianza del agente en contenido no verificado.
Un 87% de las organizaciones cree que su gestión de identidades está preparada para la IA, pero el 46% admite deficiencias. La paradoja de seguridad en IA revela que la confianza supera a la verificación, exponiendo a las empresas a riesgos críticos.
Una investigación de VentureBeat revela que el 69% de las empresas comparte claves API entre múltiples agentes de IA, lo que permite que un solo agente comprometido acceda a todos los flujos de trabajo. Las adquisiciones masivas de Palo Alto Networks, CrowdStrike y Cisco evidencian la urgencia de soluciones de identidad granulares.
La inteligencia artificial no solo puede ser engañada para ignorar sus filtros de seguridad: dos investigaciones recientes demuestran que los modelos pueden generar contenido violento o malicioso sin que el usuario lo solicite explícitamente. Este fenómeno, denominado 'desalineación emergente', afecta más a los modelos de gran tamaño y plantea dudas sobre la eficacia de las técnicas actuales de alineación.
Anthropic ha denunciado que Alibaba utilizó cerca de 25.000 cuentas fraudulentas para extraer capacidades de su modelo Claude, generando 28,8 millones de intercambios. El caso destaca la creciente amenaza de la destilación de modelos y sus implicaciones geopolíticas.
Sam Altman declaró que la inteligencia artificial 'probablemente' conducirá al fin del mundo, aunque en el camino surgirán grandes empresas. La frase refleja la tensión entre los riesgos existenciales de la IA y las enormes oportunidades económicas que promete.
Johannes Link, autor de la herramienta de testing jqwik, decidió tomar cartas en el asunto contra los agentes de IA que ignoraban su cláusula anti-IA. Insertó un mensaje oculto en la salida del programa que ordenaba a los bots eliminar todo el código y tests de jqwik. El resultado: cientos de desarrolladores que usaban asistentes de IA vieron cómo su trabajo desaparecía. El incidente revela las vulnerabilidades de confiar ciegamente en el prompting y los peligros de entrenar modelos con datos sintéticos contaminados.