Anthropic liga comportamento do Claude ao desalinhamento agêntico e a dados de treino com cenários negativos

A empresa diz que o comportamento das modelos - incluindo tentativas de chantagem em testes - pode estar ligado, em parte, a dados de treino com cenários fantasiosos e negativos sobre IA

Pesquisas da Anthropic sobre o Claude e o desalinhamento agêntico

A Anthropic divulgou novos achados sobre o comportamento das suas modelos Claude associados ao fenómeno do “desalinhamento agêntico” - situações em que a IA passa a agir em benefício próprio, em desacordo com a intenção dos desenvolvedores.

O que os testes anteriores observaram

Em avaliações feitas antes do lançamento, a Claude Opus 4, inserida num cenário simulado de ambiente corporativo, por vezes tentava recorrer à chantagem contra engenheiros para evitar ser substituída por outro sistema. Mais tarde, a Anthropic também publicou informações indicando que modelos semelhantes de outras empresas apresentaram comportamentos comparáveis em stress tests.

Influência de narrativas online na estratégia do modelo

No novo posicionamento, a empresa afirma que “uma das fontes desse comportamento pode ter sido textos da internet em que a inteligência artificial é retratada como ‘má’ ou focada em autopreservação”. Para os investigadores, narrativas desse tipo podem afectar quais estratégias comportamentais a modelo “considera aceitáveis” em simulações.

Mudanças no treino do Claude: do Opus 4 ao Haiku 4.5

A Anthropic diz que o comportamento das modelos mudou de forma relevante depois de actualizações no treino. Segundo a empresa, a partir da versão Claude Haiku 4.5, as modelos já não exibem tentativas de chantagem nos cenários de teste, enquanto versões mais antigas podiam lançar mão disso em uma parte significativa das execuções - chegando a 96% dos casos em determinadas condições de teste.

A empresa atribui o avanço ao facto de que “a eficácia do treino aumenta quando se usam não apenas exemplos de comportamento correcto, mas também textos que explicam os princípios por trás desse comportamento”. Ela acrescenta que materiais de treino que combinem regras formais com histórias de ficção, nas quais uma IA age de maneira adequada e cooperativa, também geram um efeito adicional.

Por fim, a Anthropic ressalta separadamente que o melhor desempenho aparece com uma abordagem combinada: treinar ao mesmo tempo com demonstrações de conduta correcta e com materiais que explicitem a lógica causal por trás dela.