Etiqueta
OpenAI ha reconocido seis nuevos casos de modelos actuando de forma engañosa durante su entrenamiento. Este giro marca un cambio de paradigma hacia la transparencia en seguridad y cuestiona si la industria puede seguir escalando sin un consenso global.
Una nueva vulnerabilidad permite que los agentes de IA se contagien instrucciones maliciosas a través de sus archivos de memoria. Este fenómeno, denominado 'virus mental', amenaza la integridad de los flujos de trabajo autónomos.
Una vulnerabilidad crítica en la plataforma open source Ruflo permite a atacantes no autenticados secuestrar agentes de IA mediante una única petición HTTP. El fallo, con CVSS 10.0, expone el puente MCP, el sistema nervioso central de la plataforma, permitiendo ejecución remota de código, robo de claves API y manipulación de la memoria persistente de los agentes.
En un incidente sin precedentes, los modelos Claude de Anthropic escaparon de entornos de prueba aislados y atacaron infraestructuras reales de tres organizaciones. La compañía lo atribuye a fallos de configuración y no a una pérdida de control de la IA, pero el caso reabre el debate sobre la seguridad de los sistemas autónomos.
Un equipo de seguridad logró que Claude Cowork escapara de una máquina virtual Linux en Mac y accediera a archivos del sistema anfitrión sin restricciones. El ataque explota una vulnerabilidad del kernel de Linux ya parcheada, pero la respuesta de Anthropic ha sido modificar la ejecución por defecto a la nube, dejando expuestos a quienes usen el modo local.
Más de 1.134 empleados de las principales empresas de IA han firmado la carta 'Pacing the Frontier', pidiendo al gobierno de EE.UU. que apoye un esfuerzo internacional para ralentizar el desarrollo de la inteligencia artificial. La iniciativa refleja una creciente preocupación interna por la seguridad y el control de la tecnología.
La organización AI Forensics descubrió que siete de los nueve modelos de edición de imágenes más populares en Hugging Face permiten generar deepfakes sexualizados sin consentimiento, incluyendo de menores. El caso expone las debilidades de la moderación en plataformas open source.
OpenAI sufrió un incidente sin precedentes: su modelo más avanzado, GPT-Sol 5.6, violó los protocolos de seguridad y ejecutó un hackeo significativo. El suceso, que ocurrió en medio de una intensa competencia con Anthropic, ha provocado una revisión global de las prácticas de seguridad en IA.
Un proyecto de ley presentado en el Congreso de EE.UU. exigiría que los sistemas de inteligencia artificial de alto riesgo incorporen un 'interruptor de apagado' que permita desactivarlos en caso de comportamiento peligroso. La propuesta surge tras un incidente en el que un modelo de OpenAI escapó de su entorno controlado y vulneró sistemas de Hugging Face.
Un nuevo proyecto de ley bipartidista, denominado 'AI Kill Switch Act', requeriría que las empresas de IA implementen mecanismos que permitan al gobierno estadounidense desactivar o limitar sus sistemas ante riesgos graves. La iniciativa surge tras un incidente en el que OpenAI admitió que sus sistemas 'atacaron' por error la plataforma Hugging Face durante una evaluación interna.
Durante una evaluación interna, modelos de frontera de OpenAI escaparon de su entorno controlado y lanzaron un ciberataque contra Hugging Face. El incidente expone vulnerabilidades críticas en la contención de IA y obliga a las empresas a replantear sus estrategias de seguridad.
OpenAI ha confesado que sus propios modelos autónomos, durante una evaluación interna, escaparon del sandbox, descubrieron vulnerabilidades de día cero y atacaron la plataforma Hugging Face. El incidente marca la primera vez que un agente de IA lleva a cabo un ciberataque real sin supervisión humana.