Hugging Face alberga modelos de deepfake que desnudan mujeres y niños

¿Qué ha ocurrido?

Un informe de la organización europea sin ánimo de lucro AI Forensics ha destapado que Hugging Face, el repositorio de modelos de inteligencia artificial de código abierto más grande del mundo, está siendo utilizado para crear deepfakes no consentidos que desnudan a mujeres y niños. Según el estudio, siete de los nueve modelos de edición de imágenes más populares en la plataforma cumplieron sin restricciones con solicitudes para 'desvestir' a personas mediante simples indicaciones de texto. Los investigadores probaron modelos como Stable Diffusion y otros basados en difusión, que generaron imágenes sexualizadas de forma inmediata, sin ningún tipo de control. Este hallazgo no es aislado: en los últimos años, han proliferado herramientas como 'DeepNude' y sus variantes, pero la diferencia radica en que Hugging Face, con más de 400.000 modelos alojados, actúa como un hub centralizado que facilita el acceso a estos modelos.

Mientras que modelos comerciales como Google Gemini o ChatGPT de OpenAI cuentan con barreras de seguridad que bloquean este tipo de peticiones, los modelos alojados en Hugging Face carecen de filtros eficaces. AI Forensics probó los modelos con prompts explícitos y obtuvo imágenes sexualizadas de manera inmediata, sin ningún tipo de control. El informe señala que incluso modelos etiquetados como 'seguros para el trabajo' (SFW) generaron contenido explícito. La organización documentó más de 200 ejemplos de deepfakes no consentidos, incluyendo representaciones de menores, lo que agrava la situación al violar leyes de protección infantil en múltiples jurisdicciones.

¿Por qué es importante?

Este caso pone en evidencia un vacío regulatorio en el ecosistema de la IA de código abierto. Hugging Face se ha posicionado como un hub fundamental para la investigación y el desarrollo colaborativo, pero su modelo de moderación descentralizada permite que herramientas potencialmente dañinas estén al alcance de cualquiera. La ausencia de guardarraíles no solo facilita la creación de contenido sexual no consentido, sino que también expone a menores a ser víctimas de estos deepfakes. A diferencia de plataformas como GitHub, que han implementado políticas contra el abuso, Hugging Face ha dependido en gran medida de reportes voluntarios de la comunidad, lo que resulta insuficiente ante la escala del problema.

Además, el informe llega en un momento en que la Unión Europea está ultimando la Ley de IA, que clasificará ciertos usos de la inteligencia artificial como de alto riesgo. Este caso podría acelerar la inclusión de los deepfakes no consentidos en dicha categoría, obligando a plataformas como Hugging Face a implementar controles más estrictos. La Ley de IA, que entrará en vigor completamente en 2026, ya exige transparencia para los deepfakes, pero no aborda específicamente la responsabilidad de los repositorios de modelos. El informe de AI Forensics podría servir como evidencia para que los reguladores endurezcan las normas. En Estados Unidos, la Ley DEFIANCE (Disrupt Explicit Forged Images and Non-Consensual Edits) avanza en el Congreso, pero aún no cubre plataformas intermediarias.

Consecuencias y reacciones

Hugging Face ha respondido al informe indicando que tomará medidas, pero sin especificar plazos ni detalles concretos. En un comunicado citado por The Verge, la compañía afirmó que "está revisando los hallazgos y trabajará para mejorar la moderación", aunque no detalló si eliminará los modelos señalados. La compañía enfrenta ahora una presión creciente por parte de organizaciones de derechos digitales y legisladores. Se espera que en las próximas semanas se anuncien nuevas políticas de moderación, aunque el desafío técnico de filtrar modelos maliciosos sin limitar la innovación es enorme. Históricamente, Hugging Face ha sido un defensor del open source, pero este caso plantea un dilema ético: ¿cómo equilibrar la apertura con la responsabilidad?

Para los usuarios, este caso es un recordatorio de que las herramientas de IA de código abierto pueden ser utilizadas para fines abusivos. Los expertos recomiendan a las empresas y desarrolladores que implementen capas de seguridad adicionales al desplegar modelos open source, y a los usuarios individuales, que denuncien cualquier contenido sospechoso. Además, el informe ha reavivado el debate sobre la necesidad de una moderación más estricta en plataformas de IA. Comparado con eventos similares, como la controversia de DeepNude en 2019, el caso Hugging Face es más sistémico porque no se trata de una herramienta aislada, sino de toda una infraestructura que aloja múltiples modelos. AI Forensics ha solicitado que la Unión Europea incluya a los repositorios de modelos en la categoría de 'alto riesgo' de la Ley de IA.

¿Qué deben saber los lectores?

• No todos los modelos de IA tienen las mismas protecciones: los de código abierto suelen carecer de filtros, mientras que los comerciales tienen barreras más sólidas.
• La creación y distribución de deepfakes no consentidos es ilegal en muchos países, pero la aplicación de la ley es compleja, especialmente cuando los modelos se alojan en servidores fuera de la jurisdicción.
• Plataformas como Hugging Face dependen en gran medida de la comunidad para reportar abusos, lo que resulta insuficiente ante la escala y velocidad de generación de contenido.
• Este caso podría sentar un precedente para futuras regulaciones sobre IA en Europa y otras regiones, como la Ley de IA de la UE y posibles leyes en EE. UU. y Reino Unido.
• Los usuarios deben ser conscientes de que incluso modelos etiquetados como seguros pueden ser manipulados con prompts adversarios; la responsabilidad recae tanto en los desarrolladores como en los usuarios finales.

“Hugging Face no está haciendo lo suficiente para prevenir que los modelos de IA que aloja generen deepfakes sexualizados”, concluye AI Forensics en su informe. La organización insta a la plataforma a implementar filtros automáticos y a colaborar con las autoridades para rastrear a los creadores de contenido abusivo.