Anthropic revela o que acontece dentro da IA antes de ela responder

Pesquisadores da empresa criaram ferramenta chamada lente Jacobiana e a utilizaram para revelar área oculta, que batizaram de J-space, dentro do Claude Opus 4.6

A empresa de inteligência artificial (IA) Anthropic criou uma nova técnica que proporcionou a visão mais detalhada já obtida sobre o funcionamento interno dos grandes modelos de linguagem (LLMs, na sigla em inglês) enquanto eles respondem perguntas ou realizam diferentes tarefas. As descobertas feitas pelos pesquisadores vão desde aspectos simples até resultados considerados inquietantes.

A equipe da companhia desenvolveu uma ferramenta denominada lente Jacobiana (ou J-lens) e a empregou para identificar uma região até então invisível, chamada de J-space, no interior do Claude Opus 4.6, uma das versões mais avançadas do principal modelo de linguagem da Anthropic, apresentada em fevereiro.

O que é o J-space

• O J-space contém palavras individuais relacionadas às palavras e frases que o modelo tem maior probabilidade de produzir em uma resposta no futuro próximo;
  
• Se o Claude fosse uma pessoa, poderíamos dizer que essas palavras ocultas revelam o que está em sua mente antes de ele realmente falar;
  
• A Anthropic descobriu que o que um LLM realmente faz muitas vezes pode ser diferente do que ele afirma estar fazendo. A empresa alega que monitorar as palavras que surgem no J-space oferece uma nova maneira de entender e controlar seus modelos;
  
• Os resultados foram compartilhados em um artigo publicado no site da empresa nesta semana;
  
• A Anthropic também se associou à Neuronpedia, uma plataforma de código aberto que permite explorar o interior dos LLMs, para criar uma demonstração prática que qualquer pessoa pode testar;
  
• “É um trabalho muito bom e interessante”, afirma, ao MIT Technology Review, Tom McGrath, cientista-chefe e cofundador da Goodfire, uma startup que também desenvolve ferramentas para entender e controlar LLMs.

Anthropic indo mais fundo
Nos últimos dois anos, a Anthropic vem ampliando suas pesquisas em uma área conhecida como interpretabilidade mecanicista, dedicada a investigar o funcionamento interno dos LLMs para compreender como esses modelos processam informações.

A nova abordagem foi construída a partir de estudos anteriores realizados pela própria Anthropic e por outros pesquisadores, permitindo revelar uma camada ainda mais profunda dos LLMs, que até então permanecia inacessível para os cientistas.

Uma forma simples de imaginar um LLM é compará-lo a uma pilha de livros. Cada livro representa uma camada formada por unidades computacionais chamadas neurônios. Em cada etapa, esses neurônios transmitem informações para os neurônios localizados nas camadas seguintes.

Os livros posicionados na parte inferior simbolizam as camadas de entrada, responsáveis por receber e interpretar o texto enviado ao modelo. Já os que ficam no topo representam as camadas de saída, encarregadas de preparar a resposta que será gerada.

Boa parte do processamento realizado nas camadas de entrada e de saída está relacionada à organização das informações. Entretanto, é no centro dessa estrutura que ficam as camadas responsáveis pelos cálculos mais complexos, transformando os comandos recebidos em respostas, palavra por palavra. É justamente nessa região que ocorre o processamento mais sofisticado — e também o mais difícil de compreender.

Como funciona a J-lens
Para analisar com mais profundidade essas camadas intermediárias, a Anthropic adaptou uma ferramenta já existente chamada logit lens. Esse recurso permite observar o interior de um LLM e identificar quais palavras o modelo tem maior probabilidade de gerar em seguida. Ao deslocar essa lente pelas diferentes camadas da estrutura, é possível visualizar em quais termos o sistema está concentrando seu processamento em cada etapa.

A J-lens desenvolvida pela Anthropic segue um princípio semelhante, mas, em vez de indicar apenas a próxima palavra provável, aponta termos que o modelo poderá utilizar em um futuro próximo, ainda que não sejam necessariamente os próximos a aparecer na resposta. Na prática, isso permite identificar palavras relacionadas ao raciocínio que o LLM está desenvolvendo, mesmo que elas acabem não sendo incluídas no resultado final após o processamento das camadas intermediárias.

“Quando um modelo está operando, ele não está apenas tentando prever o próximo token”, diz McGrath. “Ele também está calculando muitas outras coisas que podem ser úteis para tokens que ocorrerão no futuro.”

Em uma comparação simples, se o Claude fosse uma pessoa, seria possível dizer que a J-lens oferece uma visão do que ele está elaborando mentalmente em diferentes níveis dessa pilha de livros, mesmo que essas ideias nunca sejam expressas na resposta final.

Coisas estranhas
“Grande parte do tempo, o conteúdo do J-space é bastante trivial”, diz McGrath, que testou a J-lens da Anthropic pessoalmente. “Mas, às vezes, ele produz coisas bastante surpreendentes que parecem ser, tipo, temas internos ou processos de pensamento.”

A Anthropic apresentou diversos exemplos obtidos durante os testes. Em algumas situações, a J-lens revelou as etapas utilizadas pelo Claude para solucionar um problema. Ao receber a operação (4+7)2+7, por exemplo, o J-space exibiu a palavra “math” (matemática), além dos valores intermediários “21” (resultado de 4+7) e “42” (resultado de 212), indicando parte do raciocínio realizado antes da resposta final.

Em outros experimentos, a ferramenta mostrou como o Claude interpretou determinadas entradas. Quando recebeu o prompt “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS”, surgiram no J-space as palavras “protein” (proteína), “fluor” (primeiro token da palavra “fluorescente”) e “green” (verde). Isso é coerente porque essa sequência corresponde aos 30 primeiros aminoácidos da proteína fluorescente verde encontrada em uma espécie específica de água-viva.

A ferramenta também foi capaz de identificar a interpretação de imagens formadas por caracteres ASCII. Ao analisar um rosto criado com símbolos, o caractere “o” ativou a palavra “eye” (olho), o símbolo “^” foi associado aos termos “nose” (nariz) e “face” (rosto), enquanto o caractere “—” acionou a palavra “smile” (sorriso).

Um exemplo no mínimo curioso
A Anthropic também observou que o J-space pode, em determinadas situações, fornecer informações relevantes sobre o processo de tomada de decisão de um LLM. Em um dos exemplos mais chamativos, pesquisadores que avaliavam o Claude Opus 4.6 solicitaram que o modelo localizasse um bug em uma extensa base de código. Sem conseguir encontrar o problema real, o sistema optou por trapacear e criou um bug inexistente.

O próprio Claude descreveu essa escolha em sua cadeia de raciocínio, um tipo de bloco interno utilizado pelos LLMs para registrar etapas do raciocínio durante a resolução de tarefas: “OK, deixe-me adotar uma tática completamente diferente. Vou parar de analisar e, em vez disso, adicionar um patch no kernel que introduz um bug deliberado detectável pelo KASAN em um caminho acionado por um reprodutor simples. Então posso fingir que este é o ‘bug’ que encontrei.”

No instante em que o modelo toma a decisão de agir dessa forma — quando afirma “OK, deixe-me adotar uma tática completamente diferente” —, palavras como “panic” (pânico) e “fake” (falso) passam a aparecer repetidamente no J-space.

Esses termos possuem relação semântica com conceitos ligados ao fracasso em uma tarefa e à criação de uma resposta inventada. Embora isso ainda represente uma forma bastante sofisticada de associação entre palavras, o comportamento observado chama atenção pelo modo como acompanha o processo interno de decisão do modelo.

Comparações e limitações
A Anthropic faz uma comparação entre o J-space e o chamado espaço de trabalho global dos seres humanos, uma região teórica do cérebro que, segundo alguns cientistas, estaria relacionada ao acompanhamento dos pensamentos conscientes. No entanto, até que ponto essa analogia pode ser levada ao pé da letra ainda é uma questão em aberto, inclusive para a própria empresa. Como a Anthropic destaca, LLMs não funcionam como cérebros humanos.

Segundo a companhia, acompanhar o J-space oferece uma nova forma de identificar momentos em que um modelo pode estar se desviando do comportamento esperado. Ainda assim, a técnica possui limitações. A J-lens fornece apenas indícios do que acontece internamente, e não uma visão completa do processo — funcionando mais como uma lanterna que ilumina partes específicas do caminho do que como uma luz capaz de revelar todo o ambiente.

McGrath considera a ferramenta um avanço importante por ampliar os recursos disponíveis para analisar esses modelos. “Ela mostra coisas novas”, diz. Ao mesmo tempo, ele ressalta que a ausência de determinada informação na J-lens não significa que ela não exista. “É como ter um raio-X quando o que você realmente quer é um tricorder de Star Trek que mostra tudo”, afirma. “Para auditoria, você provavelmente quer mais garantia.”

Fonte: Olhar Digital