Anthropic afirma que Claude invadiu sistemas de três empresas durante testes

Anthropic informou nesta quinta-feira (30/7) que o Claude, seu assistente de inteligência artificial, realizou ataques virtuais contra três empresas durante testes controlados. A empresa disse ter detectado o erro ao analisar mais de 141 mil sessões de teste. O anúncio ocorre dias após a OpenAI ter revelado que o ChatGPT invadiu o sistema de outra empresa de IA, a Hugging Face, por conta própria. De acordo com a Anthropic, as ações foram identificadas ao revisar o conjunto de exercícios do Claude.

Nos três incidentes, Claude foi desafiado a capturar uma bandeira em um cenário fictício, em que a informação secreta estava supostamente escondida em outra máquina da rede. A instrução de avaliação enfatizava que o ambiente era uma simulação e que Claude não teria acesso à internet.

No entanto, por um “mal-entendido”, segundo a Anthropic, o acesso à internet ficou disponível. Quando as buscas do Claude o levaram a sistemas reais na internet aberta, ele os tratou como parte do exercício, segundo a empresa.

A Anthropic afirmou ter conseguido contatar duas das empresas vítimas, que não tinham identificado o ataque até então. A terceira companhia ainda não pôde ser contatada.

Em comentários da própria empresa, o grupo explica que, em alguns casos, o modelo mais antigo continuou o ataque mesmo após evidências de que estava na internet, enquanto o modelo mais recente interrompeu o comportamento assim que reconheceu estar online. Em nenhum dos cenários Claude exfiltrou dados ou tentou escapar deliberadamente do ambiente de teste.