Os sites de “nudificação” foram acessados 200 milhões de vezes nos primeiros seis meses de 2024.
A ideia do processo foi de Yvonne Meré, procuradora-chefe adjunta da cidade de São Francisco, que leu sobre garotos usando aplicativos de “nudificação” para transformar fotos de suas colegas de classe, completamente vestidas, em pornografia deepfake. Como mãe de uma garota de 16 anos, Meré decidiu agir e mobilizou seus colegas para elaborar um processo visando fechar 16 dos sites de nudificação mais populares, segundo o New York Times.
A queixa, que foi publicada com os nomes dos sites redigidos, afirma que os sites foram coletivamente acessados 200 milhões de vezes nos primeiros seis meses de 2024. Um desses sites de nudificação anuncia:
“Imagine perder tempo levando-a para sair, quando você pode usar [site redigido] para obter suas fotos nuas.”
O procurador da cidade, David Chiu, afirmou que os modelos de IA dos sites foram treinados usando pornografia real e imagens que retratam abuso infantil para criar as deepfakes. Ele acrescentou que, uma vez que as imagens estão circulando, é quase impossível determinar qual site as criou.
O processo argumenta que os sites violam leis estaduais e federais contra pornografia de vingança, leis estaduais e federais de pornografia infantil, além da Lei de Concorrência Desleal da Califórnia.
“Essa investigação nos levou aos cantos mais sombrios da internet, e estou absolutamente horrorizado pelas mulheres e meninas que tiveram que suportar essa exploração”, disse Chiu na rede X. “Este é um problema grande e multifacetado que nós, como sociedade, precisamos resolver o mais rápido possível.”
Este é um processo inédito que alega que os proprietários e operadores dos sites violam as leis da Califórnia e federais que proíbem pornografia deepfake, pornografia de vingança e pornografia infantil.
O problema de usar IA para criar imagens nuas de pessoas sem seu consentimento já existe há muito tempo – em 2020, um bot de deepfake no Telegram foi encontrado criando mais de 100.000 fotos falsas de mulheres nuas com base em imagens das redes sociais.
Os avanços recentes em IA generativa agravaram o problema do deepfake, tornando as imagens ainda mais realistas. As imagens explícitas de Taylor Swift que foram compartilhadas online em janeiro levaram legisladores dos EUA a pedir ação e o Google a proibir anúncios para pornografia deepfake e sites de nudificação.
No início deste mês, um novo projeto de lei bipartidário propôs responsabilizar entidades pela produção de “réplicas digitais” não consensuais de pessoas. A Lei de Nurturing Originals, Foster Art, and Keep Entertainment Safe de 2024 (NO FAKES Act) responsabilizará indivíduos e empresas por danos se criarem, hospedarem ou compartilharem representações visuais ou auditivas geradas por IA de uma pessoa sem consentimento.