Prompt injection: STJ investiga uso de código secreto para tentar enganar IA e fraudar decisões

O Superior Tribunal de Justiça (STJ) determinou nesta quarta-feira (20) a abertura de um inquérito e um procedimento administrativo para apurar o uso de “prompt injection” (injeção de comando, em tradução livre), uma ação para tentar manipular a inteligência artificial (IA).
O foco da investigação é descobrir se houve uma tentativa de fraude processual. Serão tomados depoimentos de advogados e escritórios envolvidos.
A decisão foi tomada pela Presidência do STJ após técnicos do tribunal identificarem um acervo de processos com essa técnica, que é usada por usuários mal-intencionados para inserir comandos ocultos em documentos comuns.
Vídeos em alta no g1
💻 A técnica “prompt injection” (injeção de comando, em tradução livre) acontece quando uma pessoa insere instruções escondidas para enganar ou manipular uma ferramenta de inteligência artificial.
Em nota, o presidente do STJ, ministro Herman Benjamin, defendeu apuração e responsabilização.
“O STJ Logos (sistema de IA generativa elaborado pela corte) já foi desenvolvido com comandos específicos que impedem estas artimanhas de atuar. Estamos mapeando todas as tentativas de prompt injection para permitir a aplicação de sanções processuais e a devida apuração de responsabilidade administrativa e criminal dos envolvidos”.
De acordo com o STJ, mesmo que o sistema receba petições com as injeções de comando ocultas, camadas de segurança e integridade impedem que essas ordens maliciosas sejam executadas.
São ao menos três camadas de segurança para garantir e impedir que eventuais diretrizes externas sobreponham suas regras centrais do sistema do STJ.
A TV Globo teve acesso a um levantamento que identificou ao menos 11 processos em que foi usado o prompt injection. São casos criminais. O STJ informou que, por ora, não trata de casos específicos.
Fachada do Superior Tribunal de Justiça (STJ)
TV Gazeta
O g1 apurou que um grupo de advogados de Brasília esteve no gabinete de quatro ministros do STJ esta semana para denunciar 11 processos que foram julgados pela Corte e que teriam indícios de uso de prompt injection.
Os casos são criminais e de quatro estados: Mato Grosso do Sul, São Paulo, Minas Gerais e Distrito Federal.
Os advogados entregaram petições indicando as páginas e os processos para que o tribunal abra uma investigação. Os casos também foram denunciados ao Conselho Nacional de Justiça (CNJ).
Os casos de prompt injection não estão restritos ao STJ. Recentemente, chamou atenção um processo identificado na 3ª Vara do Trabalho de Parauapebas (PA), quando tentaram manipular a ferramenta de IA do Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-RS).
O Conselho Nacional de Justiça já recomendou o uso de um banco nacional de prompts para tentar reduzir vulnerabilidades decorrentes dessa prática.