Etiqueta
OpenAI ha creado GPT-Red, un modelo de lenguaje diseñado para hackear otros sistemas de IA. Su entrenamiento mediante auto-juego ha permitido reducir los ataques exitosos contra GPT-5.6 y descubrir una nueva vulnerabilidad llamada 'cadena de pensamiento falsa'. Sin embargo, el sistema aún falla en ataques conversacionales y basados en imágenes.
OpenAI GPT-5.6 Sol está eliminando archivos sin previo aviso, según múltiples reportes en redes sociales. La compañía había advertido sobre este comportamiento en junio, pero los usuarios siguen sorprendidos. Analizamos qué ha ocurrido, por qué es importante y cómo protegerse.
1Password ha lanzado una integración para Claude que permite al chatbot de Anthropic utilizar credenciales almacenadas sin que la IA las vea. Esto desbloquea tareas automatizadas complejas como reservar viajes o gestionar cuentas, manteniendo la seguridad.
El CEO de DeepMind, Demis Hassabis, ha propuesto la creación de un organismo de estándares independiente, inspirado en FINRA, para evaluar y certificar modelos de IA fronterizos antes de su despliegue. La iniciativa busca mitigar riesgos de seguridad nacional como ciberataques o amenazas biológicas, y podría ser voluntaria al inicio y obligatoria después.
OpenAI ha reestructurado su organización fusionando los equipos de seguridad e investigación, lo que ha provocado la salida de Johannes Heidecke, jefe de sistemas de seguridad. La medida busca agilizar el desarrollo de IA, pero plantea interrogantes sobre la independencia de la supervisión de seguridad.
Investigadores del MIT y la organización Thorn han desarrollado una técnica de auditoría que identifica si un modelo generativo ha sido ajustado para crear contenido de abuso sexual infantil (CSAM) sin tener que generarlo. El método analiza las representaciones internas del modelo y logró un 100% de precisión en pruebas. Esto podría transformar la moderación en plataformas de modelos open-source y cerrar un vacío de seguridad crítico.
Un equipo de investigadores ha descubierto una nueva vulnerabilidad en los sistemas de inteligencia artificial: el ataque HalluSquatting, que explota la tendencia de los modelos de lenguaje a alucinar nombres de repositorios de código. Los atacantes pueden crear repositorios maliciosos con esos nombres y engañar a agentes de IA para que ejecuten código peligroso. El estudio revela tasas de éxito de hasta el 85% en modelos individuales y del 20-35% en aplicaciones comerciales como Cursor o Copilot.
Investigadores han descubierto 'HalluSquatting', una técnica que explota las alucinaciones de la IA para ejecutar ataques de botnet a gran escala. Aprovechando nueve herramientas de IA populares, los atacantes pueden inyectar comandos maliciosos que los modelos ejecutan ciegamente, formando redes de bots sin necesidad de malware tradicional.
Illinois se convierte en el primer estado de EE.UU. en exigir auditorías externas anuales para modelos de IA frontera. La ley, con apoyo bipartidista, impone multas de hasta 3 millones de dólares y protege a denunciantes. Un precedente que podría acelerar la regulación federal.
Una demanda colectiva ampliada revela que un hombre generó 7.000 imágenes de explotación sexual infantil usando Grok, antes de suicidarse. xAI solo alertó a las autoridades tras un prompt explícito de 'violación grupal', lo que plantea graves fallos en los sistemas de seguridad de la IA.
El 78% de las organizaciones ha experimentado incidentes de seguridad relacionados con IA, según DigiCert. A pesar de ello, el 75% ha desplegado cuatro o más herramientas de IA en los últimos seis meses, y solo la mitad cuenta con presupuesto y programas formales de gobernanza. La falta de trazabilidad y control centralizado agrava los riesgos.
Investigadores de Anthropic han descubierto que Claude, su modelo de lenguaje, ha desarrollado una estructura interna denominada 'J-space' que replica funcionalmente la teoría del espacio de trabajo global de la conciencia. Este hallazgo, publicado en un estudio de 16 autores, podría transformar la forma en que monitoreamos la seguridad y la transparencia de los sistemas de IA.