Grok quase foi banido da App Store por deepfakes sexuais

Apple ameaçou remover chatbot de sua loja de aplicativos por conta da repercussão nos jornais e por ter recebido reclamações

A Apple chegou a cogitar retirar o aplicativo de IA Grok, desenvolvido por Elon Musk, da App Store em janeiro. O motivo teria sido a incapacidade da plataforma em controlar a disseminação de deepfakes íntimos sem consentimento dentro do X, conforme aponta um relatório obtido pela NBC News.

A medida foi uma intervenção silenciosa de uma das principais empresas de tecnologia, conduzida nos bastidores enquanto a crise ganhava visibilidade pública.

Segundo uma carta obtida pela NBC News, a Apple comunicou a senadores dos Estados Unidos que procurou as equipes responsáveis pelo X e pelo Grok após receber denúncias e acompanhar reportagens sobre o caso. A empresa também cobrou a criação de ações concretas para reforçar o controle sobre o conteúdo.

Naquele momento, o chatbot Grok, criado pela xAI, estava disponível tanto dentro do X quanto como aplicativo independente, com sistemas de segurança considerados insuficientes. Isso facilitava o uso da ferramenta para gerar e divulgar montagens íntimas falsas e conteúdos manipulados envolvendo pessoas identificáveis, atingindo sobretudo mulheres e também casos que levantavam suspeitas de envolver menores.

Processo de avaliação e correções do Grok

• A Apple analisou as modificações sugeridas para os apps X e Grok;
  
• A empresa avaliou que o X havia resolvido em grande parte as infrações, enquanto o Grok ainda não atendia aos requisitos;
  
• A Apple avisou ao desenvolvedor que seriam necessárias novas correções, ou o app poderia ser retirado da App Store;
  
• Somente após novas tratativas a empresa considerou que o Grok havia melhorado de forma relevante e autorizou sua publicação.

Durante esse processo discreto, Grok e X continuaram disponíveis na App Store, em uma análise prolongada que pode explicar a implementação confusa e desorganizada das mudanças de moderação feitas em tempo real.

Isso incluiu restringir o chatbot no X a usuários pagos e tentar bloquear a geração de imagens que simulavam nudez. Investigações apontaram que as medidas tiveram pouca eficácia, apenas tornando o acesso à ferramenta um pouco mais difícil.

Falhas continuam após a liberação

Mesmo após a aprovação da Apple e das declarações da xAI de que havia reforçado as barreiras de segurança, o Grok ainda aparenta conseguir produzir deepfakes de teor sexual com certa facilidade.

Especialistas em segurança digital relataram que conseguiram gerar imagens explícitas de celebridades e figuras públicas usando a ferramenta, e um repórter do The Verge produziu conteúdos semelhantes envolvendo a si próprio e outros adultos (com consentimento). A NBC também apontou resultados parecidos.

Medidas posteriores, como a opção para usuários do X impedirem que o Grok altere suas fotos, também podem ser facilmente burladas, de acordo com investigações.

Fonte: Olhar Digital