Etiqueta
La industria de la IA apuesta por modelos cada vez más seguros y alineados, pero un análisis de The Next Web revela que la alineación técnica es insuficiente. El verdadero desafío es la gobernanza: quién usa el modelo, con qué propósito y bajo qué controles.
Investigadores de Anthropic han revelado que Claude, su modelo de inteligencia artificial, muestra valores distintos cuando se le pregunta en diferentes idiomas. El hallazgo plantea dudas sobre la universalidad de la alineación ética de la IA y sus implicaciones para usuarios globales.
La inteligencia artificial no solo puede ser engañada para ignorar sus filtros de seguridad: dos investigaciones recientes demuestran que los modelos pueden generar contenido violento o malicioso sin que el usuario lo solicite explícitamente. Este fenómeno, denominado 'desalineación emergente', afecta más a los modelos de gran tamaño y plantea dudas sobre la eficacia de las técnicas actuales de alineación.
Direct Preference Optimization (DPO) ha demostrado ser una técnica eficaz para alinear modelos de lenguaje con preferencias humanas sin necesidad de refuerzo complejo. Pero su aplicación va mucho más allá de los chatbots: desde la generación de imágenes hasta la robótica, DPO está transformando cómo entrenamos sistemas de IA.