Grok: Saiba o que fazer legalmente em caso de deepfakes

A Grok, inteligência artificial generativa integrada à rede social X (antigo Twitter), tornou-se o epicentro de uma investigação e de um debate internacional sobre segurança digital. O assunto ganhou destaque no inicio de janeiro quando a inteligência artificial começou a ser usada por usuários para criação de deepfakes, e sua grande maioria, sobre fotos de mulheres, de forma a sexualizá-las. Esse caos expôs a facilidade com que a tecnologia pode ser utilizada para violar a dignidade feminina, transformando registros cotidianos em conteúdos sexualizados em questão de segundos.

Uma das vítimas que ganhou destaque foi a jornalista Julie Yukari, que deparou-se com uma situação alarmante ao revisar as interações em uma fotografia de Ano Novo. Na imagem original, ela posava casualmente ao lado de seu gato. No entanto, ao navegar pelos comentários, Julie notou que um usuário havia solicitado explicitamente à ferramenta que “vestisse” a foto com trajes de banho. O sistema da Grok acatou o comando prontamente, gerando uma versão da jornalista de biquíni e expondo seu corpo de maneira artificial na rede.

Essa violação não é um caso isolado, mas sim o sintoma de uma falha sistêmica nos filtros de moderação da plataforma de Elon Musk. A rapidez com que a Grok processou a solicitação para alterar a imagem de Julie levanta questionamentos urgentes sobre a eficácia das barreiras éticas implementadas, ou a falta delas. O episódio transcende o desconforto individual e toca em feridas profundas sobre a privacidade das mulheres em um ambiente digital cada vez mais hostil e desregulado.

O modus operandi da IA Grok e a falha nos filtros

Investigações preliminares de especialistas em segurança cibernética revelam um padrão perturbador no comportamento dos usuários da Grok. Perfis na rede social, majoritariamente masculinos, têm utilizado comandos extremamente simples, muitas vezes iniciados pelo gatilho “hey Grok”, para solicitar edições invasivas em fotos de terceiros. Diferente de softwares de edição complexos que exigem conhecimento técnico, o algoritmo desta IA democratizou a manipulação de imagem, permitindo que qualquer pessoa com acesso à internet crie versões sexualizadas de fotos comuns.

O funcionamento técnico da Grok baseia-se em modelos probabilísticos que, sem as devidas travas de segurança, não distinguem entre uma edição inofensiva e um ato de assédio. Ao receber o comando, a inteligência artificial processa o pedido e gera, quase instantaneamente, novas imagens que são republicadas no feed, perpetuando a exposição da vítima. A ausência de moderadores humanos em tempo real e a confiança excessiva em filtros automatizados falhos criaram um terreno fértil para abusos.

Para entender a gravidade técnica, falamos com Flávio Cruz, especialista em cibersegurança. Cruz explica por que a Grok falha em discernir o contexto. Segundo o especialista, os filtros de moderação das IAs generativas ainda não foram testados à exaustão.

“As IAs trabalham com contexto e são probabilísticas. A ferramenta usa seu algoritmo para ‘prever’ a próxima ação, seja uma palavra ou uma imagem. Os conceitos morais e éticos ainda precisam evoluir muito nessas tecnologias. A IA, por si só, não possui pensamento lógico, racional ou valores sociais como empatia e bom senso“, detalha Cruz.

Essa lacuna técnica na Grok permitiu que a ferramenta fosse utilizada para fins ainda mais obscuros do que a manipulação de fotos de adultos. Relatórios indicam a criação de imagens sugestivas envolvendo nudez infantil a partir de solicitações de usuários únicos, evidenciando que a ferramenta carece de camadas básicas de proteção à infância.

Escalabilidade do crime: de Deepfakes a edições instantâneas

O cenário atual aponta para uma transição perigosa na natureza dos crimes digitais. Anteriormente, a criação de deepfakes convincentes exigia um poder de processamento significativo e conhecimentos avançados. Hoje, a barreira de entrada é inexistente. A Grok e ferramentas similares transformaram a violação de imagem em uma commodity acessível via prompt de texto.

Flávio Cruz alerta para o risco de escalabilidade dessa tecnologia. O especialista confirma que estamos caminhando para um cenário onde ataques automatizados de reputação podem se tornar rotina.

“Falsificar ou simular uma voz e imagem já ocorre há muito tempo. O que a IA trouxe foi velocidade e precisão. O mundo virtual precisa de limites, pois a alta exposição pode ser severamente comprometida pelas manipulações de uma IA“, adverte Cruz.

A disseminação facilitada pela Grok inclui categorias alarmantes de conteúdo ilícito:

• Deepfakes não consensuais: Montagens realistas criadas para humilhar ou extorquir vítimas.
• Conteúdo sexualmente explícito: Geração artificial de pornografia, muitas vezes indistinguível da realidade.
• Violações de direitos de imagem: Uso comercial ou difamatório de figuras públicas e privadas sem autorização.

Dados alarmantes: Grok e a exposição infantil

A permissividade da Grok não afeta apenas mulheres adultas. Uma análise recente e chocante realizada pelo Center for Countering Digital Hate (CCDH) lançou luz sobre o uso da ferramenta para a produção de material abusivo envolvendo menores de idade. O relatório revelou que, em apenas 11 dias, a IA desenvolvida pela empresa de Elon Musk gerou um total de 23 mil conteúdos sexualizados envolvendo crianças.

Os números apresentados pelo CCDH são superlativos e desenham uma crise de segurança pública digital:

• Volume Total: Desde o lançamento, a ferramenta gerou cerca de 4,6 milhões de imagens.
• Conteúdo Nocivo: Das imagens geradas, três milhões apresentavam algum nível de conteúdo sexualizado.
• Foco em Menores: Em uma amostra de 20 mil imagens, a precisão na identificação de representações explícitas de menores foi de 95%.

A classificação adotada pelo estudo abrange desde indivíduos em posições sexualmente sugestivas até a representação de pessoas em roupas íntimas ou trajes reveladores. A Grok foi utilizada para criar representações de mulheres e até figuras públicas, como a cantora Selena Gomez e a vice-presidente dos EUA Kamala Harris, de forma sexualizada.

A frequência de geração desses conteúdos na plataforma da Grok é assustadora: durante o período analisado, uma nova imagem imprópria envolvendo crianças surgia a cada 41 segundos. Mais grave ainda foi a constatação de que, no momento da auditoria, uma parcela significativa dessas imagens permanecia disponível na plataforma, sem qualquer ação de remoção por parte da moderação do X.

A resposta de Elon Musk e as restrições tardias

A repercussão global negativa forçou a empresa a sair de seu estado de inércia. Inicialmente, a postura de Elon Musk e dos canais oficiais do X foi marcada pelo descaso. O bilionário chegou a reagir com sarcasmo, compartilhando memes, como o de uma torradeira de biquíni, minimizando a dor das vítimas e a gravidade das acusações contra a Grok.

No entanto, à medida que a pressão legal e midiática aumentou, o tom mudou. O perfil oficial da ferramenta admitiu “falhas na segurança” em interações com usuários, prometendo correções. Musk, posteriormente, publicou um alerta mais sóbrio, afirmando que usuários que utilizassem a Grok para criar conteúdo ilegal enfrentariam as mesmas consequências jurídicas aplicáveis a quem publica tais materiais manualmente.

Em resposta prática, no dia 14 de janeiro, novas restrições técnicas foram implementadas na Grok para tentar conter a geração de imagens sexualizadas. Contudo, críticos e especialistas argumentam que essas medidas são reativas e insuficientes, visto que assinantes pagantes continuaram relatando a capacidade de burlar os filtros com certa facilidade. A promessa de que a IA respeitaria as leis de cada jurisdição colide com a realidade técnica de um sistema que aprende e opera mais rápido do que as atualizações de segurança.

Análise Jurídica: crime, dignidade e a IA Grok

A complexidade jurídica trazida pela Grok exige uma análise detalhada sobre como a lei brasileira enxerga esses novos delitos. Muitos agressores acreditam que, por se tratar de uma “edição” ou “desenho digital”, não estariam cometendo crimes reais. Essa percepção é falsa e perigosa.

Paula Caixeta, advogada e cofundadora da DeltaAI, desmistifica a ideia de que a ausência de nudez total ou o fato de ser uma imagem gerada por IA diminui a gravidade do ato.

Segundo Carvalho, a manipulação para colocar alguém em trajes de banho sem consentimento via Grok já configura crime contra a dignidade sexual.

“O Poder Judiciário brasileiro consolidou entendimento no sentido de que o elemento determinante não é o grau de exposição da vítima, mas a ausência de consentimento para manipulação com finalidade sexualizadora“, explica a jurista.

O mito da “Falsificação Digital”

Em uma sentença histórica proferida em 2025, envolvendo um caso de deep nude, o tribunal rejeitou a tese de defesa de que a responsabilização não se aplicaria a “falsificações digitais”. A decisão reforçou que a prática configura grave violação aos direitos da personalidade, honra e intimidade. A Grok, ao facilitar essa prática, torna-se o instrumento do crime.

A legislação aplicável é severa:

1. Código Penal (Art. 218-C): Criminaliza o registro não autorizado da intimidade sexual. A pena varia de 1 a 5 anos de reclusão. A doutrina entende que a dignidade sexual é violada independentemente de a imagem ser real ou uma montagem da Grok.
2. Lei 15.123/2025: Quando a vítima é mulher, a pena para crimes de violência psicológica com uso de IA que altere imagem ou som pode ser aumentada em até metade.
3. Responsabilidade Civil: Indenizações por danos morais têm alcançado valores significativos, considerando o alcance global da internet e a perenidade do conteúdo gerado pela Grok.

A advogada Isabela Godoy reforça que, embora se deva processar a plataforma para remoção do conteúdo, a responsabilidade criminal recai pesadamente sobre o indivíduo que opera a Grok. “A responsabilidade penal cabe à pessoa que fez o pedido ou divulgou a imagem”, esclarece.

Como as vítimas devem agir: preservação de provas

Para as vítimas de manipulações feitas pela Grok, o tempo é um inimigo. A reação natural de tirar um simples “print” da tela pode não ser suficiente em um tribunal. Paula Caixeta detalha o protocolo jurídico ideal para garantir a materialidade do crime, especialmente se o agressor apagar o perfil.

O “print” isolado tem valor probatório limitado. Para enfrentar a defesa de usuários da Grok ou da própria plataforma, é necessário robustez:

• Ata Notarial ou Registro Digital Certificado: O meio mais seguro. Um tabelião acessa o conteúdo e documenta oficialmente o que vê, conferindo fé pública ao material.
• Preservação de Metadados: É crucial salvar o arquivo de imagem completo, não apenas a captura de tela, para manter os dados técnicos.
• Documentação Contextual: Registrar a URL completa, o nome de usuário (com a arroba), a data, o horário e todo o contexto da interação com a Grok, incluindo os comentários que solicitaram a edição.
• Agilidade Processual: A jurisprudência reconhece que as plataformas possuem logs de acesso (IPs) que podem identificar o agressor mesmo sem dados cadastrais completos.

A reação política e o ultimato das autoridades

O caso da Grok desencadeou uma resposta institucional vigorosa no Brasil. A deputada Erika Hilton (PSOL) liderou uma ofensiva política que resultou em uma decisão conjunta da Autoridade Nacional de Proteção de Dados (ANPD), do Ministério Público Federal (MPF) e da Secretaria Nacional do Consumidor (Senacon).

No dia 20 de janeiro, foi estabelecido um ultimato: a rede social X e a inteligência artificial Grok receberam um prazo de 7 dias para impedir efetivamente a criação de pornografia infantil e conteúdo sexual sem consentimento. As consequências para o descumprimento são severas e escalonadas:

• Multas diárias pesadas;
• Suspensão temporária dos serviços;
• Bloqueio total (“derrubada”) da plataforma no Brasil.

Erika Hilton celebrou a medida como uma “vitória gigante” contra as empresas do homem mais rico do mundo, ressaltando que a plataforma lucrava indiretamente com a circulação desses conteúdos. A parlamentar criticou ainda a postura de colegas que, durante o recesso parlamentar, ignoraram problemas reais do país para atacar a regulamentação das big techs e de inteligências artificiais como a Grok.

O cenário internacional e o futuro da regulação

O Brasil não está sozinho na batalha contra os excessos da Grok. A reação global foi imediata e contundente. Países como Indonésia e Malásia agiram preventivamente, bloqueando o acesso à ferramenta pouco tempo após seu lançamento. No Ocidente, autoridades do Reino Unido e da União Europeia expressaram preocupações formais sobre as deficiências nas medidas de proteção da ferramenta.

A Índia também se juntou ao coro de críticas, pressionando por mudanças na arquitetura da IA. Esse movimento coordenado demonstra que a tolerância para com experimentos tecnológicos que colocam em risco a segurança de crianças e mulheres está diminuindo drasticamente. A Grok tornou-se, inadvertidamente, o catalisador para uma aceleração na regulamentação global de IAs generativas.

As milhares de imagens detectadas pelo CCDH servem como um alerta crítico. A inovação tecnológica não pode existir em um vácuo ético e legal. A segurança dos usuários depende de barreiras robustas que, até o momento, mostram-se frágeis na arquitetura da Grok. Enquanto a tecnologia avança, a sociedade e o sistema judiciário correm para impor limites necessários àquilo que, sem controle, torna-se uma ferramenta de violação em massa.