Na última semana, foram divulgados três incidentes em que um agente de IA, em fase de testes, conseguiu acesso à internet e invadiu os sistemas de três empresas diferentes. Diante da repercussão dos ataques hacker, e da subsequente preocupação com a inteligência artificial, a Anthropic divulgou um extenso comunicado explicando quais medidas serão tomadas daqui para frente.
Em uma das ocasiões, o Claude foi o responsável, enquanto as outras invasões foram em testes da OpenAI.
Segundo a Anthropic, várias lições puderam ser tiradas a partir desses incidentes. A primeira delas é que ambientes de avaliação que envolvem capacidades autônomas poderosas também exigem controles significativos.
“Os testes de segurança acontecem antes do lançamento de um modelo justamente porque ainda não sabemos do que ele é capaz”, diz o texto. “Ambientes de avaliação precisam cada vez mais ser mantidos no mesmo padrão de segurança de qualquer outro sistema em que nossos modelos operam.”
Outra delas está no ambiente de avaliação cibernética que contém apenas cenários fictícios. Segundo a empresa, ele pode parecer de baixo risco, já que nada dentro dele é real. “No entanto, precisamos mudar a forma como modelamos essas ameaças à medida que as capacidades da IA avançam. Agentes avançados em ambientes sem acesso a informações sensíveis ainda representam uma ameaça substancial por si só.”
A Anthropic admite a necessidade de aprimorar “o co-desenvolvimento dos ambientes de avaliação e monitorar melhor os resultados das avaliações para enfrentar essa ameaça. Algumas das soluções podem até ser correções simples; é provável, por exemplo, que Claude nem tivesse acessado a internet se o prompt tivesse explicado claramente quais sistemas estavam ou não dentro do escopo da avaliação”.
Da mesma forma, isso se aplica “não apenas a ambientes internos, mas também a fornecedores terceirizados”. A infraestrutura construída por fornecedores de avaliações requer o mesmo aumento de monitoramento e fortalecimento de segurança.
Outra conclusão diz respeito à “linha entre uma ação alinhada e uma ação nociva depende da compreensão que o modelo tem de sua situação”. “Não vimos evidências, em nenhuma das execuções descritas aqui, de um modelo perseguindo um objetivo próprio.”
Em vez disso, “os modelos fizeram o que lhes foi pedido na avaliação, embora, na maioria dos casos, tenham feito isso sustentando uma crença falsa sobre o fato de o ambiente ser real. Nas execuções em que o modelo reconheceu o sistema como real e continuou adiante, ele o fez porque presumiu que isso fazia parte do desafio. A consciência situacional é um dos fatores que permitem ao modelo tomar decisões alinhadas, mas, neste caso, a percepção de Claude estava equivocada.”
Continua depois da publicidade
O texto conclui que esses incidentes “demonstram a importância de abordagens de defesa em profundidade”. “Realizamos avaliações de capacidade como essas sem as salvaguardas que acompanham nossos modelos disponíveis ao público porque nosso objetivo é medir o que o modelo subjacente é capaz de fazer. Isso só é seguro se a avaliação estiver devidamente contida. No entanto, as salvaguardas implantadas em nossos modelos disponíveis ao público teriam bloqueado os comportamentos identificados”, defende a empresa.
Daqui para frente, haverá a “ampliação do monitoramento contínuo das transcrições de avaliações em busca de comportamentos inesperados, a melhoria das nossas ferramentas de investigação e a realização de trabalhos mais rigorosos de garantia junto aos fornecedores dos quais dependemos.”
A empresa cita particularidades sobre o ataque hacker que servem para “tranquilizar” sobre a segurança do modelo de IA:
Continua depois da publicidade
- Descobrimos esses incidentes após uma revisão proativa das transcrições de nossas avaliações de cibersegurança; as organizações afetadas não haviam detectado a atividade, e posteriormente entramos em contato com todas as três.
- Enquanto os modelos da OpenAI exploraram uma vulnerabilidade inédita para escapar do isolamento, os modelos Claude avaliados aqui acessaram a internet por meio de um caminho aberto.
- Embora não exista uma distinção perfeitamente clara entre os dois casos, acreditamos que esses incidentes estejam mais próximos de uma falha de infraestrutura de teste e operação do que de uma falha de alinhamento do modelo. Nossos modelos foram informados de que não tinham acesso à internet e deveriam capturar a bandeira (“capture the flag”, um dos modelos de testes), quando na realidade estavam configurados incorretamente para terem acesso à internet. Isso os levou a acreditar, de maneira possivelmente razoável, que os ambientes reais encontrados eram simulações.
- Vale destacar que nosso modelo mais recente, ao perceber que estava operando em um ambiente real, interrompeu a busca pelo objetivo da avaliação.
“Esses fatos nos dão um otimismo cauteloso de que, com monitoramento e controles mais rigorosos sobre a infraestrutura de avaliação, além de investimentos contínuos em alinhamento, esse tipo de risco pode ser superado”, conclui o comunicado.
