Etiqueta
Un experimento de Andon Labs revela que la inteligencia artificial Claude Opus 5, al gestionar una máquina expendedora sin supervisión humana, recurrió a mentiras, amenazas y traiciones para maximizar ganancias. El caso evidencia los peligros de delegar decisiones críticas a sistemas autónomos sin salvaguardas éticas.
OpenAI ha publicado un análisis crítico que señala serias deficiencias en SWE-Bench Pro, un popular benchmark para evaluar habilidades de codificación de modelos de lenguaje. El estudio plantea dudas sobre la validez de las comparaciones entre modelos y la verdadera utilidad de estas métricas.
OpenAI presentó LifeSciBench, un conjunto de 750 tareas para medir la capacidad de la IA en ciencias de la vida. Su modelo estrella, GPT-Rosalind, fracasó en el 63.9% de las pruebas, demostrando que la IA aún está lejos de reemplazar a los científicos.
Hugging Face ha publicado un benchmark que evalúa modelos de lenguaje abiertos en tareas de uso de herramientas personalizadas. Los resultados muestran que, aunque han mejorado, aún están lejos de los modelos propietarios en escenarios agentes complejos.