Près d'un an après que des images de nus générées par l'IA de lycéennes ont bouleversé une communauté du sud de l'Espagne, un tribunal pour mineurs a condamné 15 de leurs camarades cet été à un an de mise à l'épreuve.
Mais l'outil d'intelligence artificielle utilisé pour créer ces deepfakes nocifs est toujours facilement accessible sur internet, promettant de "dévêtir" toute photo téléchargée sur le site en quelques secondes.
Une nouvelle initiative visant à fermer l'application et d'autres similaires est actuellement menée en Californie, où San Francisco a déposé cette semaine une plainte sans précédent qui pourrait créer un précédent mais qui devra également surmonter de nombreux obstacles.
"La prolifération de ces images a exploité un nombre choquant de femmes et de filles à travers le monde", a déclaré David Chiu, l'avocat de la ville de San Francisco qui a intenté l'action en justice contre un groupe de sites Web très visités liés à des entités en Californie, au Nouveau-Mexique, en Estonie, en Serbie, au Royaume-Uni et ailleurs.
"Ces images sont utilisées pour intimider, humilier et menacer les femmes et les filles", a-t-il déclaré dans une interview avec l'Associated Press. "L'impact sur les victimes a été dévastateur pour leur réputation, leur santé mentale, leur perte d'autonomie et, dans certains cas, a poussé certaines d'entre elles au suicide."
La plainte déposée au nom du peuple de Californie allègue que les services ont enfreint de nombreuses lois de l'État contre les pratiques commerciales frauduleuses, la pornographie non consensuelle et les abus sexuels sur les enfants. Mais il peut être difficile de déterminer qui exploite les applications, qui ne sont pas disponibles dans les magasins d'applications pour téléphones mais sont facilement trouvables sur internet.
Contacté par l'AP fin de l'année dernière, un service a déclaré par e-mail que son "PDG est basé aux États-Unis et se déplace à travers le pays", mais a refusé de fournir des preuves ou de répondre à d'autres questions. L'AP ne mentionne pas les applications spécifiques poursuivies pour ne pas les promouvoir.
"Il y a plusieurs sites où nous ne savons pas exactement qui sont ces exploitants et d'où ils opèrent, mais nous disposons d'outils d'enquête et du pouvoir de citation à comparaître pour creuser cela", a déclaré Chiu. "Et nous utiliserons certainement nos pouvoirs dans le cadre de ce litige."
Beaucoup de ces outils sont utilisés pour créer des contrefaçons réalistes qui "déshabillent" des photos de femmes adultes habillées, y compris des célébrités, sans leur consentement. Mais ils ont également fait leur apparition dans des écoles du monde entier, de l'Australie à Beverly Hills en Californie, généralement avec des garçons créant les images de camarades féminines qui circulent ensuite sur les médias sociaux.
Dans l'un des premiers cas largement médiatisés en septembre dernier à Almendralejo, en Espagne, une médecin ayant aidé à porter l'affaire à l'attention du public après que sa fille ait été parmi les victimes, a déclaré être satisfaite par la sévérité de la sentence que leurs camarades encourent après une décision du tribunal plus tôt cet été.
Mais "ce n'est pas seulement la responsabilité de la société, de l'éducation, des parents et des écoles, mais aussi la responsabilité des géants du numérique qui tirent profit de toutes ces horreurs", a déclaré le Dr Miriam Al Adib Mendiri lors d'une interview vendredi.
Elle a applaudi l'action de San Francisco mais a affirmé que plus d'efforts sont nécessaires, y compris de la part de grandes entreprises comme Meta Platforms basée en Californie et sa filiale WhatsApp, utilisée pour diffuser les images en Espagne.
Alors que les écoles et les agences de maintien de l'ordre ont cherché à punir ceux qui créent et partagent ces deepfakes, les autorités ont du mal à décider de ce qu'il convient de faire avec les outils eux-mêmes.
En janvier, le pouvoir exécutif de l'Union européenne a expliqué dans une lettre à un membre espagnol du Parlement européen que l'application utilisée à Almendralejo "ne semble pas" entrer dans le champ d'application des nouvelles règles de l'UE visant à renforcer la sécurité en ligne car elle n'est pas une plateforme assez importante.
Les organisations qui suivent la croissance du matériel pédopornographique généré par l'IA seront attentivement au courant de l'affaire de San Francisco.
La plainte "a le potentiel de créer un précédent légal dans ce domaine", a déclaré Emily Slifer, directrice de la politique chez Thorn, une organisation qui lutte contre l'exploitation sexuelle des enfants.
Un chercheur de l'Université Stanford a déclaré que comme de nombreux défendeurs sont basés en dehors des États-Unis, il sera plus difficile de les traduire en justice.
Chiu "a une bataille difficile avec cette affaire, mais pourrait parvenir à faire fermer certains sites si les défendeurs les gérant ignorent la plainte", a déclaré Riana Pfefferkorn de Stanford. "Cela pourrait se produire si la ville gagne par défaut en leur absence et obtient des ordres affectant les registraires de noms de domaine, les hébergeurs Web et les processeurs de paiement, ce qui pourrait effectivement fermer ces sites même si leurs propriétaires n'apparaissent jamais dans la procédure judiciaire."
