UE prohibirá apps de desnudar, pero el verdadero problema está en Hugging Face

¿Qué ha ocurrido?

La Unión Europea está cerca de aprobar una prohibición de las aplicaciones que permiten 'desnudar' digitalmente a personas sin su consentimiento. Sin embargo, un informe de la ONG europea AI Forensics advierte que esta medida no atacará la raíz del problema. Las herramientas que realizan esta manipulación no requieren ser apps; están disponibles como modelos de código abierto en plataformas como Hugging Face. El informe, publicado en julio de 2025, analizó las herramientas de edición de imágenes más populares en Hugging Face y encontró que siete de ellas pueden generar deepfakes no consentidos. Estos modelos pueden descargarse, modificarse y ejecutarse localmente, lo que los hace difíciles de rastrear y regular. Según AI Forensics, estos modelos han sido descargados miles de veces, y algunos de ellos están diseñados específicamente para eliminar ropa de imágenes, lo que constituye una violación grave de la privacidad y el consentimiento.

El contexto regulatorio actual se centra en las aplicaciones comerciales, como las que se encuentran en tiendas de apps, que serían ilegalizadas bajo la nueva directiva europea. Sin embargo, los modelos de código abierto en Hugging Face no están cubiertos por esta legislación, lo que crea un vacío legal significativo. La ONG señala que la UE debería ampliar su enfoque para incluir también la regulación de los modelos base y los repositorios de código abierto, ya que estos son los verdaderos facilitadores de la creación de deepfakes no consentidos.

¿Por qué es importante?

La prohibición de apps de desnudar es un paso positivo, pero insuficiente. Hugging Face se ha convertido en el repositorio central de modelos de IA de código abierto, permitiendo que cualquiera acceda a herramientas de manipulación de imágenes sin supervisión. Esto crea un vacío legal: mientras las apps comerciales serán ilegales, los individuos podrán seguir creando deepfakes usando modelos abiertos. El problema no es nuevo: en 2023, ya se detectaron modelos similares en GitHub y otros repositorios. La diferencia es que Hugging Face ha sido más lento en implementar controles. La UE debe considerar regular también los modelos base y los repositorios de código abierto.

El impacto en la sociedad es profundo. Los deepfakes no consentidos, especialmente aquellos que sexualizan a personas sin su permiso, causan daños psicológicos y reputacionales graves. Un estudio de 2024 de la Universidad de Stanford encontró que el 90% de los deepfakes en línea son de naturaleza pornográfica, y la mayoría son no consentidos. La facilidad de acceso a modelos de código abierto agrava este problema, ya que cualquier persona con conocimientos técnicos básicos puede crear y distribuir este contenido sin ser detectado. Además, la descentralización del código abierto dificulta la aplicación de la ley, ya que los modelos pueden ser alojados en múltiples servidores y jurisdicciones.

Consecuencias

• Para los usuarios: Las apps de 'desnudar' desaparecerán de las tiendas oficiales, pero los deepfakes no consentidos seguirán circulando, creados con herramientas de código abierto. Los usuarios, especialmente mujeres y menores, siguen en riesgo de ser víctimas de esta tecnología. La concienciación y la educación digital son clave para mitigar el daño.
• Para las empresas: Hugging Face podría enfrentar presión regulatoria para moderar modelos, lo que afectaría a toda la comunidad de IA abierta. La empresa ya ha implementado filtros de contenido, pero según AI Forensics, estos son fácilmente eludibles. Si la UE exige una moderación más estricta, Hugging Face podría tener que eliminar modelos populares, lo que generaría tensiones con la comunidad open source.
• Para el mercado: La regulación asimétrica podría frenar la innovación en IA responsable, mientras que los actores malintencionados se adaptan rápidamente. Las startups que desarrollan IA ética podrían verse perjudicadas si las regulaciones son demasiado restrictivas, mientras que los desarrolladores de modelos maliciosos simplemente migrarán a plataformas menos reguladas. Esto podría llevar a una fragmentación del ecosistema de IA abierta.

¿Qué deben saber los lectores?

La prohibición de apps es solo el primer paso. La verdadera batalla está en la gobernanza de los modelos de IA abiertos. Hugging Face ya ha comenzado a implementar filtros, pero la efectividad es limitada. Los usuarios deben ser conscientes de que cualquier imagen puede ser manipulada y verificar fuentes. Las empresas tecnológicas deben colaborar con reguladores para crear estándares de transparencia en modelos de IA. Además, es crucial que los ciudadanos exijan una regulación más amplia que incluya el código abierto, y que se fomente la investigación en técnicas de detección de deepfakes.

“La prohibición de apps es como cerrar la puerta mientras la ventana está abierta”, advierte el informe de AI Forensics.

Contexto histórico

Este caso recuerda a la lucha contra los deepfakes en 2019, cuando se popularizaron las caras intercambiadas en video. Entonces, las plataformas como Reddit prohibieron estos contenidos, pero los modelos de código abierto siguieron disponibles. Ahora, la UE intenta un enfoque más amplio, pero la naturaleza descentralizada del código abierto complica la regulación. En 2023, GitHub eliminó varios repositorios que contenían herramientas de desnudado, pero los modelos resurgieron en otras plataformas. La diferencia con Hugging Face es su papel central en el ecosistema de IA; alberga más de 500,000 modelos y es utilizado por investigadores y empresas de todo el mundo. Regularlo podría sentar un precedente importante, pero también podría desencadenar un debate sobre la libertad de investigación y el acceso abierto a la IA.

En comparación con la regulación de otros contenidos dañinos, como el discurso de odio o los materiales de abuso sexual infantil, la lucha contra los deepfakes no consentidos enfrenta desafíos únicos debido a la velocidad de la innovación tecnológica y la facilidad de anonimización. La UE ya ha aprobado la Ley de IA, que clasifica los deepfakes como de alto riesgo, pero su implementación práctica aún es incierta. El informe de AI Forensics subraya la necesidad de medidas complementarias, como la obligación de que los repositorios de modelos implementen sistemas de verificación de identidad y de informes de abuso más efectivos.

En conclusión, la prohibición de apps es un avance, pero no suficiente. La comunidad internacional debe abordar el problema de manera holística, involucrando a plataformas, desarrolladores, reguladores y usuarios. La transparencia, la educación y la cooperación serán fundamentales para cerrar la ventana que los deepfakes no consentidos han abierto.