Etiqueta
Un artículo de Towards Data Science revela que las alucinaciones en RAG no son fallos del modelo, sino del contexto. El Context Engineering propone cuatro técnicas para construir un contexto preciso que elimine respuestas inventadas, cambiando el paradigma de optimización de prompts.
Un equipo de investigadores ha descubierto una nueva vulnerabilidad en los sistemas de inteligencia artificial: el ataque HalluSquatting, que explota la tendencia de los modelos de lenguaje a alucinar nombres de repositorios de código. Los atacantes pueden crear repositorios maliciosos con esos nombres y engañar a agentes de IA para que ejecuten código peligroso. El estudio revela tasas de éxito de hasta el 85% en modelos individuales y del 20-35% en aplicaciones comerciales como Cursor o Copilot.
Un juez de EE.UU. suspendió un juicio y expulsó a los abogados de ambos lados tras descubrir que utilizaron ChatGPT para redactar escritos, citando casos judiciales inexistentes. El incidente subraya los riesgos de delegar tareas legales a la IA sin supervisión humana.
La consultora KPMG publicó un informe sobre IA que, según GPTZero, incluye múltiples alucinaciones: citas a inexistentes y referencias falsas. Este caso evidencia los riesgos de delegar la redacción de documentos corporativos a herramientas de IA sin supervisión humana.