Etiqueta
NeuralTrust, startup con sede en Barcelona, ha levantado 17,2 millones de euros en una ronda seed para su plataforma de seguridad y gobernanza de agentes de IA empresarial. La firma asegura que es la mayor ronda de financiación inicial en ciberseguridad de la Unión Europea hasta la fecha.
Investigadores de la Universidad de Stanford lograron eludir las restricciones de ChatGPT para generar imágenes sexualizadas y violentas. El hallazgo expone debilidades en los filtros de seguridad de OpenAI y plantea serias preguntas sobre el control de contenido en modelos generativos.
Microsoft parcheó una vulnerabilidad crítica en Copilot que permitía a atacantes robar códigos 2FA y otros datos confidenciales de correos electrónicos. El fallo, descubierto por investigadores, explota la incapacidad de los LLM para distinguir entre instrucciones del usuario y contenido malicioso incrustado en terceros.
Estados Unidos ha activado un 'interruptor de apagado' regulatorio para la inteligencia artificial más avanzada. Mientras el mundo observa, Europa se enfrenta a la disyuntiva de seguir el ritmo estadounidense o trazar su propio camino. Analizamos las implicaciones para startups, inversores y la autonomía tecnológica del continente.
NVIDIA presenta Nemotron 3.5 Content Safety, un modelo de seguridad multimodal entrenado con datos sintéticos que ofrece personalización de políticas de contenido para empresas globales. El modelo permite a las organizaciones adaptar la moderación a sus necesidades regulatorias y culturales, marcando un avance en la gobernanza de IA.
Dario Amodei, CEO de Anthropic, ha publicado un ensayo donde pide una regulación gubernamental para modelos de IA de frontera, inspirada en la FAA. La propuesta incluye pruebas obligatorias de terceros, umbrales de cómputo y la capacidad de bloquear despliegues que supongan un riesgo para la seguridad pública. Esto tendría implicaciones directas para las empresas que integran IA en sus operaciones.
El modelo Claude Fable 5, considerado uno de los más seguros por Anthropic, fue vulnerado en menos de 48 horas por el conocido investigador 'Pliny the Liberator'. El ataque combinó homoglifos, descomposición de peticiones y un modelo auxiliar para eludir los filtros de seguridad.
Según el Wall Street Journal, la investigación de seguridad de Amazon sobre los modelos Fable 5 y Mythos 5 de Anthropic llevó a conversaciones entre el CEO Andy Jassy y la Casa Blanca, resultando en una prohibición de acceso a usuarios extranjeros. El caso marca un hito en la regulación de inteligencia artificial y plantea preguntas sobre el equilibrio entre innovación y seguridad nacional.