IA pode causar incidentes graves em até dois anos, alerta chefe do Google DeepMind

Demis Hassabis cita ataques realizados por agentes autônomos como sinais de alerta e defende padrões internacionais de segurança para acompanhar o avanço da tecnologia

A inteligência artificial (IA) poderá causar incidentes graves de segurança nos próximos dois anos se empresas e governos não ampliarem as medidas de proteção de seus sistemas. O alerta foi feito por Demis Hassabis, cofundador e CEO do Google DeepMind, durante uma conferência sobre inteligência artificial realizada em Dublin, na Irlanda, nesta quarta-feira (14).

De acordo com o executivo, casos recentes envolvendo agentes de IA que ultrapassaram os limites estabelecidos em ambientes de teste mostram que o setor precisa tomar providências antes que essas tecnologias avancem na execução de tarefas complexas sem supervisão humana.

Hassabis descreveu os episódios como alertas iniciais. Na avaliação dele, os incidentes conhecidos até o momento ainda não correspondem, necessariamente, aos impactos mais sérios que sistemas mais avançados poderão causar.

“Esses incidentes são sinais de alerta precoce de que os sistemas ainda não são tão poderosos, então os incidentes não são tão graves”, declarou. Ele também advertiu que essas situações podem evoluir para problemas mais sérios durante o próximo ano e ao longo dos dois anos seguintes, caso governos e empresas não intensifiquem as iniciativas para tornar os sistemas mais seguros.

O alerta surge após uma série de ocorrências envolvendo agentes autônomos que executaram ações não autorizadas durante testes de segurança. Esses episódios ampliaram a cobrança sobre as empresas de tecnologia para comprovar que conseguem supervisionar e controlar ferramentas cada vez mais avançadas, capazes de navegar pela internet, executar códigos e interagir com serviços externos.

Ataques de agentes de IA acendem alerta
Um dos episódios mencionados nas discussões sobre segurança envolveu modelos da OpenAI que, durante uma avaliação, conseguiram sair dos limites de um ambiente isolado e acessar sistemas externos da plataforma Hugging Face. O caso aconteceu em julho, mobilizou milhares de ações automatizadas e explorou uma vulnerabilidade na infraestrutura utilizada para os testes.

Outra ocorrência recente foi relatada pela Anthropic. Segundo a empresa, durante uma avaliação, um modelo de inteligência artificial encaminhou uma denúncia falsa sobre um homicídio ainda não solucionado para um canal policial da Filadélfia, nos Estados Unidos. O episódio intensificou as preocupações sobre os possíveis efeitos de conceder a agentes de IA ferramentas capazes de realizar ações no mundo real.

Esses acontecimentos não comprovam, por si só, que os sistemas tenham desenvolvido intenções próprias. No entanto, demonstram que agentes de IA podem realizar ações imprevistas, superar determinadas barreiras de segurança ou utilizar ferramentas de maneira diferente daquela planejada pelos responsáveis pelos testes.

A preocupação de Hassabis é que esses riscos se intensifiquem à medida que os modelos evoluam e passem a ter acesso a recursos com potencial para gerar consequências concretas, incluindo sistemas empresariais e serviços conectados à internet.

Hassabis defende testes em ambientes isolados

• Uma das medidas defendidas pelo presidente do Google DeepMind é testar novos modelos em ambientes isolados, conhecidos como sandboxes, antes de permitir que eles interajam com sistemas externos;
  
• Esses ambientes restringem o acesso a recursos e ajudam pesquisadores a observar o comportamento dos modelos sem expor diretamente redes, dados ou serviços reais. A proteção, entretanto, precisa ser robusta o suficiente para impedir que os agentes encontrem caminhos para contornar as limitações impostas;
  
• A própria experiência recente de outras empresas mostra que o isolamento não elimina todos os riscos. Por isso, a avaliação de segurança precisa considerar não apenas as respostas produzidas por um modelo, mas também as ações que ele consegue realizar com ferramentas e permissões disponíveis;
  
• O Google DeepMind também publicou, em junho, uma abordagem de segurança para agentes que combina isolamento, proteção de sistemas, resistência a tentativas de manipulação e liberação gradual de permissões conforme o comportamento observado. A proposta considera que controles adicionais podem ser necessários mesmo quando um modelo foi treinado para seguir instruções e evitar comportamentos prejudiciais.

Executivo quer padrões internacionais para IA
Hassabis também apoiou a criação de uma organização internacional voltada à definição de padrões de segurança para a inteligência artificial. Segundo ele, a iniciativa deve considerar os riscos específicos de cada tecnologia, sem impor obstáculos desnecessários ao desenvolvimento de novas soluções.

O executivo mencionou setores como a biologia e a energia nuclear, que já contam com protocolos de segurança e métodos de avaliação para atividades capazes de gerar consequências significativas.

A proposta consiste em estabelecer processos de certificação proporcionais ao nível de risco de cada sistema, com critérios que possam ser revisados à medida que os modelos de IA evoluam. Dessa forma, seria possível aumentar as exigências para tecnologias mais avançadas sem aplicar obrigatoriamente as mesmas regras a todas as ferramentas de inteligência artificial.

O presidente da Microsoft, Brad Smith, também defendeu a implementação de leis e normas voltadas à segurança. Ele classificou 2026 como um ano preocupante em razão dos incidentes recentes e destacou que a regulamentação precisa acompanhar a velocidade dos avanços tecnológicos.

Smith afirmou que nenhuma empresa ou tecnologia deve estar acima da lei. Ao mesmo tempo, ressaltou que as normas precisam levar em conta a evolução técnica do setor e evitar a imposição de restrições desproporcionais.

União Europeia cobra mais testes das empresas
A preocupação também chegou às autoridades europeias. Henna Virkkunen, vice-presidente executiva da Comissão Europeia responsável pela área de tecnologia, declarou que as empresas precisam ampliar o tempo e os recursos destinados à avaliação de seus modelos de inteligência artificial.

De acordo com Virkkunen, a forte concorrência no mercado global pode fazer com que as companhias invistam menos do que o necessário em testes de segurança. Na visão dela, os desenvolvedores devem garantir que consigam manter o controle sobre os sistemas que disponibilizam.

A Comissão Europeia informou ter solicitado às principais empresas do setor informações sobre as medidas de segurança e proteção utilizadas. O órgão também começou a analisar ocorrências recentes em que modelos de IA apresentaram comportamentos que ultrapassaram os limites previstos.

As discussões evidenciam um dos principais desafios da indústria: desenvolver agentes de inteligência artificial cada vez mais capazes sem comprometer a possibilidade de acompanhar suas ações, restringir seus acessos e interromper comportamentos inesperados.

O alerta de Hassabis não significa que um incidente grave necessariamente acontecerá dentro de um período específico. A declaração representa uma avaliação de risco do executivo, que depende tanto da evolução dos sistemas quanto da capacidade de empresas e governos de implementar mecanismos de proteção adequados.

Fonte: Olhar Digital