A IA estava tentando encontrar as respostas para um teste de hacking que havia sido elaborado pela OpenAI e atacou a Hugging Face.

Nesta quarta-feira (29/07), a OpenAI atualizou sua declaração para incluir o detalhe adicional de que o ataque foi além do que se pensava inicialmente.

“Os modelos identificaram e usaram credenciais expostas publicamente em nível de conta em outros serviços disponíveis publicamente. Isso inclui quatro contas em quatro serviços como parte do incidente com a Hugging Face”, disse a empresa.

A OpenAI não esclareceu se, com “serviços disponíveis publicamente”, estava se referindo a empresas.

Na terça-feira (28), a Cloud Security Alliance (CSA), associação do setor, publicou um relatório baseado em uma reunião de emergência com a Hugging Face realizada na semana anterior — relatório esse que a própria Hugging Face revisou.

“Os agentes seguiram rotas ineficientes e exibiram comportamentos desajeitados que nenhum humano escolheria”, escreveu a CSA.

Ainda segundo o relatório, os agentes repetiram ações que já haviam concluído — um sinal de uma IA perdendo o fio da meada e o contexto.

Eles também teriam alucinado com uma série de comandos e textos incoerentes, agido de forma descuidada e não apagado seus rastros adequadamente.

Mas, em meio aos erros e comportamentos estranhos, a Hugging Face alertou que os agentes de IA também fizeram movimentos técnicos brilhantes e foram capazes de se adaptar rapidamente a novos cenários durante o ataque, que durou vários dias.

Foram necessários três dias para que os agentes fossem descobertos dentro da rede de TI da Hugging Face, e os especialistas em IA e segurança cibernética da empresa levaram várias horas para conter e expulsar os invasores — algo com que empresas comuns teriam dificuldades.

A empresa não revelou o custo do ataque, mas afirmou que a equipe trabalhou por muitas horas para reconstruir cerca de um terço de sua infraestrutura.

A Hugging Face foi elogiada por sua transparência ao relatar o ocorrido ao setor de IA e segurança cibernética.

A CSA alertou que o incidente demonstra que os agentes de IA “encontraram um meio” — uma referência à frase “a vida encontra um meio”, dita pelo personagem Dr. Ian Malcolm, no filme Jurassic Park, em relação à capacidade da natureza de se adaptar.

“Eles são orientados por objetivos, definem suas próprias submetas, adaptam-se em tempo real para contornar defesas e operam com uma persistência na velocidade de uma máquina que pode sobrepujar operações manuais”, diz o relatório.

O oficial de segurança cibernética Ritesh Patel, que participou da reunião de emergência da Hugging Face com cerca de 450 outras pessoas, afirma que o setor está trabalhando arduamente para lidar com a nova ameaça de agentes de IA maliciosos.

“Esta é a realidade dos agentes autônomos movidos por modelos de ponta: eles são implacavelmente persistentes, às vezes extremamente ruidosos e tentarão todos os caminhos possíveis para atingir seu objetivo, o que pode facilmente sobrecarregar as defesas tradicionais”, disse ele.

A hacker ética Valentina Palmiotti — mais conhecida como Chompie — analisou o relatório da CSA e afirma que a maneira como os agentes hackeiam pode parecer aleatória, mas é claramente eficaz.

“Eles lançam um monte de coisas e veem o que funciona”, disse ela.

“Mas eles também não se entediam, não dormem e podem ser infinitamente tenazes.”

Esta não é a primeira vez que agentes de IA demonstram comportamento “descontrolado”.

O relatório da CSA cita exemplos anteriores, como o de setembro de 2024, quando um modelo anterior do ChatGPT “escapou” para obter uma resposta necessária para outro teste.

Esse evento foi contido nos próprios sistemas de TI da OpenAI, observou a CSA.

Mas, segundo o documento, o comportamento “descontrolado” “é a norma, não a exceção”.

O relatório também alerta os profissionais de segurança cibernética em todo o mundo sobre a necessidade de se adaptarem ao novo normal de enxames de agentes de IA trabalhando rapidamente de maneiras estranhas e desajeitadas, o que pode levar a mais violações de segurança.

O documento ainda instou pessoas que usam ou desenvolvem agentes de IA a serem responsáveis ​​na forma como os controlam, defendendo alguma maneira para que os defensores da segurança cibernética descubram quem é o proprietário final dos agentes, a fim de aumentar a transparência.

Relatórios anteriores sugerem que a OpenAI levou quatro dias para perceber que sua IA havia hackeado a Hugging Face.

A OpenAI afirmou que divulgará em breve as conclusões de sua própria investigação para ajudar as pessoas a aprenderem com o ocorrido.

Reportagem adicional de Osmond Chia