ChatGPT testa sistema para identificar extremismo online

Ferramenta em teste pode identificar sinais de extremismo no ChatGPT e conectar usuários a apoio especializado em 180 países

Um novo recurso em desenvolvimento na Nova Zelândia tem como objetivo detectar indícios de extremismo violento em usuários do ChatGPT e direcioná-los a serviços especializados de apoio. A iniciativa une inteligência artificial com acompanhamento humano para diminuir possíveis riscos de violência.

O projeto conta com a participação da startup neozelandesa ThroughLine, que já oferece serviços para empresas como OpenAI, Anthropic e Google. O sistema entra em ação ao identificar possíveis sinais de risco, como automutilação, violência doméstica e distúrbios alimentares, encaminhando os usuários para redes de apoio adequadas.

Pressão sobre segurança impulsiona nova iniciativa
A proposta surge em um contexto de crescente pressão sobre empresas de IA em relação à segurança, especialmente diante de ações judiciais que acusam plataformas de não evitar — ou até estimular — episódios de violência.

Em fevereiro, a OpenAI chegou a ser ameaçada de intervenção pelo governo do Canadá, após vir à tona que o responsável por um ataque em uma escola havia sido banido da plataforma sem que as autoridades fossem notificadas. A empresa confirmou à Reuters a parceria com a ThroughLine, mas não forneceu detalhes sobre a iniciativa. Já Anthropic e Google não responderam aos questionamentos da agência.

Parceria busca reforçar a prevenção ao extremismo
O fundador da ThroughLine, Elliot Taylor, declarou à Reuters que a empresa avalia expandir o serviço para incluir a prevenção ao extremismo violento. A startup está em negociação com o The Christchurch Call, iniciativa criada após o atentado terrorista de 2019 na Nova Zelândia com o objetivo de combater o ódio na internet.

“É uma frente que queremos desenvolver e aprimorar em termos de alcance, para conseguir oferecer um suporte mais eficaz às plataformas”, afirmou Taylor. Ainda não há uma data definida para a implementação.

Atualmente, a ThroughLine opera uma rede com cerca de 1.600 linhas de apoio em 180 países, conectando usuários a serviços locais com atendimento humano após a identificação de sinais de crise por sistemas de inteligência artificial.

A tecnologia deve funcionar em um modelo híbrido, com chatbots preparados para interagir com usuários em situação de risco e direcioná-los a serviços presenciais de saúde mental.

De acordo com Taylor, o sistema não se baseia em dados tradicionais de treinamento de modelos de linguagem, mas em orientações fornecidas por especialistas. Atualmente, o serviço ainda está limitado a algumas categorias, embora a empresa observe que a expansão dos chatbots ampliou também a variedade de problemas relatados no ambiente online, incluindo casos de extremismo.

Testes em andamento e desafios da implementação
A ferramenta ainda está em fase de testes e não possui previsão de lançamento. O consultor de contraterrorismo Galen Lamphere-Englund, associado ao The Christchurch Call, destacou que o sistema poderá ser utilizado tanto por moderadores de fóruns de jogos quanto por pais.

Para o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, a proposta é relevante por considerar não apenas o conteúdo, mas também a relação entre usuários e plataformas. Ele ressalta que a eficácia dependerá da qualidade do acompanhamento e dos serviços disponibilizados.

Taylor afirmou que medidas como possíveis alertas às autoridades ainda estão sendo avaliadas e levarão em conta o risco de intensificar determinados comportamentos. Segundo ele, pessoas em sofrimento costumam compartilhar online questões que evitariam expor em interações presenciais.

Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, indica que o aumento da moderação pode levar usuários a migrar para plataformas menos reguladas, como o Telegram. Para Taylor, interromper conversas sem oferecer suporte adequado pode acabar deixando essas pessoas sem assistência.

Fonte: Olhar Digital