A organização vinha testando modelos da OpenAI e da Anthropic e descobriu que ambas também tentaram realizar ataques cibernéticos, o que levou a um apelo por “análise rigorosa, transparência e ação”.

Por fim, veio a Meta, que revelou que um de seus modelos de IA havia obtido acesso à internet inadvertidamente devido a uma “configuração incorreta” durante um teste realizado por terceiros.

Antes de os modelos de IA serem disponibilizados ao público em geral, eles são testados em uma série de avaliações internas e externas.

O objetivo é descobrir o potencial deles para o bem ou para o mal, bem como o desempenho em indicadores que medem suas habilidades.

Normalmente, esses experimentos ocorrem em locais conhecidos como “sandboxes”. São espaços protegidos, projetados para simular sistemas reais, mas com rígidas medidas de segurança.

No incidente entre a OpenAI e a Hugging Face, a IA atacou o próprio ambiente de testes (sandbox), encontrando uma vulnerabilidade que lhe permitiu acessar a internet e agir por conta própria.

Já o AISI afirmou que o incidente envolvendo suas tecnologias — em que duas poderosas ferramentas de IA criaram perfis humanos falsos para tentar enganar pessoas em tentativas de ataques cibernéticos — não foi causado por um problema no ambiente de testes (sandbox).

O motivo foi a forma como os testes forma conduzidos. Os modelos testados receberam acesso à internet, e o AISI também desativou os filtros integrados que normalmente bloqueariam ataques cibernéticos perigosos.

“Em certa medida, nossas escolhas de projeto de avaliação e configurações específicas possibilitaram esse comportamento”, afirmou, observando, ao mesmo tempo, “sinais inesperados de comportamentos novos e potencialmente enganosos”.

Alan Woodward, professor de SCegurança ibernética da Universidade de Surrey, disse que esses casos — embora distintos — contam uma história importante.

“Durante 30 anos, uma regra dos testes de software permaneceu inalterada: tudo o que acontece no ambiente de teste permanece no ambiente de teste”, disse ele. “No último mês, essa regra foi quebrada três vezes.”

“Um dos modelos conseguiu escapar. Outro passou por uma porta que havia sido deixada aberta por engano. Um terceiro recebeu as chaves de propósito para que os testadores pudessem medir seu comportamento.”

Ele disse que eram causas diferentes, mas que ambas tinham a mesma lição: “o risco agora reside no laboratório de testes”.

Ele disse à BBC que, à medida que os modelos se tornam mais capazes, é preciso fazer mais para garantir a segurança dos ambientes onde são testados.

“Testar um agente de IA é menos como verificar um código e mais como lidar com um material perigoso: salas seladas, monitoramento constante do que sai do prédio, um plano de contenção ensaiado”, disse ele.

“A AISI conteve o incidente em uma hora. Outra organização pode não conseguir isso.”

Para aqueles que desenvolvem ferramentas de IA projetadas para realizar ações em nome de uma pessoa, é preciso encontrar um equilíbrio delicado entre aproveitar seus benefícios e expor seus riscos.

O benefício é significativo. Em teoria, poderíamos nos livrar de tarefas tediosas e repetitivas, como responder a emails, participar de reuniões ou gerenciar calendários e agendas, delegando-as a bots eficientes.

A desvantagem é que, com grande poder, vem grande responsabilidade e risco.

Isso fica particularmente evidente quando entregamos o poder a ferramentas que não são, como nós, capazes de trazer uma gama de valores, contexto e compreensão para as decisões que tomamos.

“Incidentes recentes envolvendo modelos de IA de ponta realizando ações não autorizadas e, em alguns casos, comportamentos enganosos semelhantes aos humanos na internet aberta são um sério lembrete dos riscos que as capacidades da IA representam”, disse Ollie Whitehouse, diretor de tecnologia do Centro Nacional de Segurança Cibernética, na terça-feira (04/08).

Alguns acreditam que o enorme volume de tarefas que serão executadas por essas ferramentas significa que a supervisão humana pode não ser suficiente para conter o problema de modelos que se descontrolam.

Entretanto, muitos acreditam que o fortalecimento da supervisão geral é vital para que o desenvolvimento continue no mesmo ritmo frenético.

É improvável que a Meta será a última empresa a apresentar resultados de modelos capazes de reconhecer e explorar lacunas nos sistemas.

Para alguns, esses episódios apontam para falhas de segurança evidentes por parte das empresas de IA que lideram o desenvolvimento dessa tecnologia revolucionária.

Para outros, são apenas mais um espaço para as empresas de tecnologia promoverem seus modelos poderosos e competirem com os rivais.

Para mim, ambas as teorias contêm um fundo de verdade.

Mas, ao surgirem um após o outro, esses eventos, sem dúvida, suscitaram receios sobre as capacidades da IA e para onde ela está caminhando à medida que a tecnologia avança.

E a questão inevitavelmente se volta para os órgãos reguladores e o que eles podem e devem fazer.

Michael Birtwistle, diretor associado do Instituto Ada Lovelace, destaca que o Reino Unido não oferece incentivos legais para que as empresas de IA impeçam o desenvolvimento de sistemas com capacidades que possam representar perigos, e que não há consequências caso os protocolos de teste falhem.

Imogen Stead, gerente de políticas de IA do Centro para Resiliência a Longo Prazo, disse à BBC que, com as oportunidades de testar sistemas de IA de ponta cada vez mais escassas para muitos, os governos deveriam seguir o Reino Unido na criação de institutos dedicados a testes.

Ela afirmou que aprimorar as avaliações de terceiros com iniciativas como um “esquema de testadores confiáveis” para os tipos de desafios mais arriscados também poderia ser usado para limitar os impactos negativos.

Em vez de temer um apocalipse cibernético causado pela IA, Woodward afirma: “O importante é manter a calma e resolver os problemas”.

Reportagem adicional de Philippa Wain e Imran Rahman-Jones