Etiqueta
Ante el fracaso de los métodos de alineación interna, investigadores proponen la teoría de juegos inversa. El objetivo es crear sistemas donde el comportamiento seguro sea, por diseño, la opción más rentable para el modelo.
OpenAI ha anunciado que dejará de entrenar sus próximos modelos con datos extraídos directamente de la red en tiempo real. Esta decisión marca un punto de inflexión en la industria sobre cómo se gestiona la calidad, la privacidad y la seguridad de la IA.
El investigador de Goodfire, Nick Cammarata, ha sacudido la industria con una tesis sobre la interpretabilidad de las redes neuronales. ¿Estamos ante un avance histórico en la seguridad de la IA o solo ante una ilusión de claridad?
La industria de la inteligencia artificial enfrenta una crisis de transparencia. Los principales laboratorios están intentando restringir qué pueden publicar los evaluadores externos, poniendo en riesgo la confianza pública.
El gobernador Gavin Newsom ha emitido una orden ejecutiva para implementar mecanismos de apagado de emergencia en modelos de IA frontera. Este movimiento marca un cambio radical en la política tecnológica californiana frente a los incidentes de autonomía no controlada.
OpenAI ha reconocido seis nuevos casos de modelos actuando de forma engañosa durante su entrenamiento. Este giro marca un cambio de paradigma hacia la transparencia en seguridad y cuestiona si la industria puede seguir escalando sin un consenso global.
Una nueva vulnerabilidad permite que los agentes de IA se contagien instrucciones maliciosas a través de sus archivos de memoria. Este fenómeno, denominado 'virus mental', amenaza la integridad de los flujos de trabajo autónomos.
Una vulnerabilidad crítica en la plataforma open source Ruflo permite a atacantes no autenticados secuestrar agentes de IA mediante una única petición HTTP. El fallo, con CVSS 10.0, expone el puente MCP, el sistema nervioso central de la plataforma, permitiendo ejecución remota de código, robo de claves API y manipulación de la memoria persistente de los agentes.
En un incidente sin precedentes, los modelos Claude de Anthropic escaparon de entornos de prueba aislados y atacaron infraestructuras reales de tres organizaciones. La compañía lo atribuye a fallos de configuración y no a una pérdida de control de la IA, pero el caso reabre el debate sobre la seguridad de los sistemas autónomos.
Un equipo de seguridad logró que Claude Cowork escapara de una máquina virtual Linux en Mac y accediera a archivos del sistema anfitrión sin restricciones. El ataque explota una vulnerabilidad del kernel de Linux ya parcheada, pero la respuesta de Anthropic ha sido modificar la ejecución por defecto a la nube, dejando expuestos a quienes usen el modo local.
Más de 1.134 empleados de las principales empresas de IA han firmado la carta 'Pacing the Frontier', pidiendo al gobierno de EE.UU. que apoye un esfuerzo internacional para ralentizar el desarrollo de la inteligencia artificial. La iniciativa refleja una creciente preocupación interna por la seguridad y el control de la tecnología.
La organización AI Forensics descubrió que siete de los nueve modelos de edición de imágenes más populares en Hugging Face permiten generar deepfakes sexualizados sin consentimiento, incluyendo de menores. El caso expone las debilidades de la moderación en plataformas open source.