Estudantes de uma escola em Kansas, estado dos EUA, às vezes ficam preocupados ao escrever apresentações ou emails para professores. Eles param, pensam nas palavras e perguntam uns aos outros: “Será que isso vai ser ‘Gagglado’?”
Tudo o que os alunos da Lawrence High escrevem ou enviam para suas contas escolares pode ser “Gagglado” –ou seja, sinalizado pelo Gaggle Safety Management, uma ferramenta de segurança digital adquirida em 2023. O Gaggle usa inteligência artificial para analisar documentos e emails em busca de sinais de comportamento inseguro, como uso de drogas ou ameaças de violência e automutilação, que são excluídos ou relatados à equipe escolar.
Mas os alunos dizem que a ferramenta vai muito além disso. Desde que entrou em operação, o Gaggle apagou parte do portfólio de uma estudante de artes –uma foto de meninas usando regatas– por confundir com pornografia infantil. Outro aluno foi interrogado por escrever que iria “morrer” porque fez um teste físico usando Crocs.
Quando Suzana Kennedy, 19 anos, pediu por email um relatório de materiais sinalizados pelo Gaggle, o sistema bloqueou a própria resposta da escola, segundo ela. Assim, nunca recebeu os documentos solicitados.
Esse é o retrato da vida sob vigilância de uma ferramenta de segurança com IA como o Gaggle, que afirma ter parcerias com cerca de 1.500 distritos escolares nos EUA. A empresa, sediada em Illinois, divulga sua vigilância 24 horas como barreira contra ameaças como violência armada, problemas de saúde mental e agressões sexuais.
Em reuniões do conselho escolar, autoridades de Lawrence disseram que o Gaggle é vital para reforçar a segurança, permitindo a intervenção em casos de risco de suicídio.
Mas a ferramenta vem sendo criticada pela invasão de privacidade. Ex-estudantes, incluindo Kennedy, processaram o distrito em agosto para suspender o uso, alegando que a vigilância é inconstitucional e falha.
Segundo a ação, em vez de proteger, o sistema inibe os alunos, que temem ser denunciados ou perder trabalhos escolares por palavras mal interpretadas.
“Havia sempre esse medo”, disse Natasha Torkzaban, 19, uma das autoras do processo. “Quem mais, além de mim, está vendo este documento?”
O distrito escolar se recusou a comentar, mas citou declaração do ex-superintendente Anthony Lewis de abril de 2024, quando jornalistas estudantis pediram para serem isentos do monitoramento. “As informações obtidas com o uso do Gaggle ajudaram nossa equipe a intervir e salvar vidas”, disse.
No site oficial, o distrito afirma que usa o software para identificar “sinais de automutilação, depressão, pensamentos suicidas, abuso de substâncias, cyberbullying, ameaças de violência ou outras situações prejudiciais”.
A empresa não respondeu ao Washington Post nem ao processo na Justiça, mas afirma em comunicados ter “compromisso firme em apoiar a segurança dos alunos sem comprometer a privacidade”.
O produto faz parte de uma onda de sistemas escolares baseados em IA. Alguns monitoram contas e dispositivos dos estudantes, como o Gaggle. Outros analisam câmeras de segurança em busca de armas ou brigas.
O Gaggle pode revisar emails, documentos, links e até agendas em contas Google ou Microsoft dos alunos. Profissionais de segurança revisam o material sinalizado antes de enviar relatórios às escolas, mas a ação judicial alega que isso é terceirizado.
Uma investigação do Seattle Times e da Associated Press revelou riscos de segurança: jornalistas conseguiram acessar temporariamente capturas de tela de materiais estudantis sem senha. Em outros casos, alunos LGBTQ foram potencialmente expostos a familiares e funcionários quando o sistema detectou mensagens sobre identidade sexual ou saúde mental.
Especialistas dizem que sistemas como o Gaggle podem ser “ferramenta valiosa” para identificar comportamentos de risco, mas má implementação faz os alunos se sentirem excessivamente vigiados.
O conselho escolar aprovou contrato de três anos com o Gaggle em agosto de 2023 por cerca de US$ 160 mil, sem permitir que os alunos optem por sair da vigilância. Em 2024, alunos de artes, jornalismo e fotografia foram acusados de enviar imagens de nudez ou pornografia infantil, segundo a ação judicial.
A estudante Opal Morris, 18, disse que foi retirada da aula por seguranças para interrogatório. Ela explicou que havia enviado um portfólio fotográfico e foi liberada, mas descobriu que uma foto de duas meninas de regata havia sido apagada de sua conta.
O jornal estudantil Budget reclamou que o monitoramento poderia expor fontes de reportagens. Outras situações também geraram preocupação, como quando um ensaio universitário revisado por Torkzaban foi sinalizado apenas por conter a expressão “saúde mental”.
Kennedy, em 2024, voltou a solicitar os registros do Gaggle. Após mais de um mês, administradores admitiram que as respostas estavam sendo bloqueadas pelo próprio sistema. Os dados, obtidos depois via professor, mostraram mais de 1.200 conteúdos “questionáveis” sinalizados entre novembro de 2023 e setembro de 2024, incluindo palavrões, termos ligados a violência, automutilação e palavras como “sexo”, “bêbado”, “briga” ou “bomba”.
Dezoito incidentes foram relatados à polícia. Cerca de 800 foram classificados como “sem relevância”, mas em muitos outros professores repreenderam alunos pelo vocabulário usado. Entre os casos triviais, um aluno foi interrogado após escrever “I wanted to kill” (“Eu queria matar”) em um email –que, segundo ele, era apenas uma mensagem para a avó pedindo que matasse uma mosca.
