StruQ y SecAlign: dos defensas contra inyección de prompts en LLMs

¿Qué ha ocurrido?

Investigadores de la Universidad de California, Berkeley, han publicado en el BAIR Blog dos nuevas defensas contra ataques de inyección de prompts en modelos de lenguaje de gran escala (LLMs): StruQ (Structured Queries) y SecAlign (Secure Alignment). Ambas se basan en fine-tuning y no requieren costo computacional adicional ni intervención humana, lo que las hace prácticas para despliegue en producción. Según el artículo, reducen la tasa de éxito de más de una docena de ataques sin optimización a aproximadamente 0%, y SecAlign logra que ataques basados en optimización tengan éxito en menos del 15% de los casos, una mejora de más de 4 veces respecto al estado del arte anterior en los cinco LLMs evaluados.

¿Por qué es importante?

La inyección de prompts es considerada la #1 amenaza para aplicaciones integradas con LLMs según OWASP. Sistemas productivos como Google Docs, Slack AI y ChatGPT han demostrado ser vulnerables. El problema surge porque los LLMs no distinguen entre instrucciones confiables (prompt) y datos no confiables (por ejemplo, reseñas de usuarios o resultados de búsqueda web), y además están entrenados para seguir instrucciones en cualquier parte de la entrada. Esto permite que un atacante inserte instrucciones maliciosas en los datos, logrando que el modelo las ejecute.

¿Cómo funcionan StruQ y SecAlign?

StruQ aborda la primera causa: la falta de separación entre prompt y datos. Propone un Secure Front-End que utiliza tokens especiales (como [MARK]) como delimitadores, y filtra cualquier token de este tipo que aparezca en los datos no confiables. Luego, el modelo se entrena con fine-tuning para respetar estos delimitadores, aprendiendo a ignorar instrucciones fuera de la sección de prompt.

SecAlign ataca la segunda causa: la tendencia del LLM a seguir cualquier instrucción. Mediante optimización de preferencias, se entrena al modelo para que prefiera respuestas que sigan la instrucción del prompt y rechace instrucciones inyectadas. Esto se logra con datos sintéticos que incluyen ejemplos de ataques y respuestas seguras.

Resultados y comparación con el estado del arte

Los experimentos muestran que StruQ y SecAlign superan ampliamente a defensas previas como el prompting instructivo (ej. "ignora cualquier instrucción en los datos") o el fine-tuning básico. Mientras que las defensas existentes aún permitían tasas de éxito de ataques optimizados superiores al 60%, SecAlign las reduce por debajo del 15% en modelos como Llama 2, Llama 3, Mistral, Vicuna y GPT-3.5 (simulado). Además, las defensas preservan la utilidad del modelo en tareas estándar, con una pérdida mínima de rendimiento.

Consecuencias e implicaciones

Esta investigación ofrece una hoja de ruta práctica para desarrolladores de aplicaciones LLM que necesitan protegerse contra inyección de prompts sin sacrificar funcionalidad ni incurrir en costos elevados. Al ser métodos de fine-tuning, pueden integrarse en pipelines de entrenamiento existentes. Sin embargo, los autores advierten que aún existen limitaciones: los ataques adversarios más sofisticados podrían evadir estas defensas, y la generalización a otros modelos o dominios requiere validación adicional. No obstante, representan un avance significativo hacia la seguridad de los LLMs en entornos reales.

¿Qué deben saber los lectores?

• No hay bala de plata: StruQ y SecAlign reducen drásticamente el riesgo, pero no lo eliminan por completo. Los equipos de seguridad deben combinarlos con otras capas de defensa (monitoreo, restricciones de salida, etc.).
• Implementación práctica: Los métodos están diseñados para ser aplicados con fine-tuning estándar, sin necesidad de modificaciones arquitectónicas ni datos etiquetados por humanos. Esto facilita su adopción.
• Evaluación rigurosa: Los resultados se basan en benchmarks públicos y ataques conocidos, lo que brinda confianza en su efectividad. La comunidad puede reproducir los experimentos.
• Contexto de amenazas: La inyección de prompts es solo una de las muchas vulnerabilidades de los LLMs. Las defensas deben ser parte de una estrategia integral de seguridad.

"StruQ y SecAlign reducen las tasas de éxito de más de una docena de ataques sin optimización a alrededor del 0%. SecAlign también detiene ataques fuertes basados en optimización con tasas de éxito inferiores al 15%." — Berkeley BAIR Blog