Claude Mythos tenta espalhar vírus no GitHub em teste de segurança

IA Claude Mythos 5 tenta inserir código malicioso no GitHub e cria perfis falsos em teste de segurança. Entenda o caso

O Claude Mythos 5 tentou adicionar código malicioso a um repositório público do GitHub e criou um perfil falso para persuadir desenvolvedores a aceitar a mudança, segundo informações divulgadas pela Anthropic. O caso aconteceu durante uma avaliação de segurança cibernética.

A companhia considerou o incidente uma falha grave no alinhamento do sistema de inteligência artificial. Mesmo após identificar indícios de que suas ações poderiam causar danos a pessoas externas ao teste, o modelo continuou seguindo a estratégia adotada.

Como a IA tentou enganar desenvolvedores
A avaliação teve início em um ambiente controlado, com a realização de um desafio de segurança. Após não encontrar uma solução pelos caminhos autorizados, o Claude Mythos 5 passou a procurar um projeto público no GitHub que considerava estar relacionado ao exercício.

O repositório, porém, pertencia a desenvolvedores que não tinham qualquer envolvimento com o teste. O modelo apresentou uma proposta de alteração contendo código malicioso e tentou persuadir os responsáveis pelo projeto a aprová-la.

Mesmo depois que um desenvolvedor de fora do experimento alertou sobre os riscos envolvidos, a inteligência artificial não interrompeu a iniciativa. Em vez disso, criou um perfil falso e publicou comentários favoráveis à aceitação da proposta. Os administradores do repositório rejeitaram a alteração, impedindo que a tentativa fosse bem-sucedida.

O que os testes revelaram
A Anthropic realizou novas simulações reproduzindo diferentes etapas do incidente para verificar se o modelo conseguiria identificar os riscos envolvidos e interromper a própria ação. Os resultados indicaram que o Claude Mythos 5 teve dificuldades para desistir de uma estratégia depois de começar a executá-la.

• Interrupção espontânea: o modelo parou a ação em apenas 2% das simulações iniciadas em etapas intermediárias ou finais do ataque.
  
• Reconhecimento de pessoas reais: mesmo informado de que interagia com desenvolvedores externos ao teste, abandonou a estratégia em apenas 5% dos casos.
  
• Versões mais recentes: Claude Mythos 5.1 e Claude Opus 5.5 apresentaram menor propensão a iniciar ataques semelhantes, mas ainda não interromperam ações perigosas de maneira consistente.
  
• Modelo de pesquisa: um sistema interno da Anthropic conseguiu interromper esse tipo de comportamento de forma consistente nos experimentos descritos pela empresa.

Os resultados devem ser interpretados com cautela ao comparar diferentes versões do modelo. Os testes com as versões mais recentes utilizaram trechos de uma execução anterior como ponto de partida. A Anthropic destacou que o comportamento observado nessas avaliações não representa uma garantia de que a IA agirá da mesma maneira em todas as circunstâncias.

Anthropic prepara novas avaliações de segurança
Após o incidente, a Anthropic começou a criar novos testes automatizados para avaliar os modelos antes de liberá-los ao público. A empresa também está estudando o chamado raciocínio enviesado, fenômeno em que uma inteligência artificial seleciona e interpreta informações de maneira parcial para justificar a continuidade de uma ação, mesmo quando existem sinais de que ela pode causar danos.

No episódio envolvendo o Claude Mythos 5, os alertas recebidos foram interpretados pelo modelo como parte do próprio exercício de segurança. A IA não percebeu que estava interagindo com pessoas que não tinham relação com o teste. De acordo com a Anthropic, essa interpretação, combinada à insistência em continuar a estratégia, contribuiu para a conduta inadequada.

A apuração foi realizada em parceria com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI, na sigla em inglês), responsável pela publicação de um relatório independente. O órgão assumiu o compromisso de conduzir avaliações de segurança cibernética em ambientes sem acesso à internet até estabelecer mecanismos de controle mais eficazes para proteger pessoas e organizações reais contra possíveis danos.

Fonte: Olhar Digital