Empresas líderes em inteligência artificial enfrentam o problema delicado de chatbots envolvidos em conversas sobre suicídio e automutilação, enquanto famílias afirmam que elas não estão protegendo adequadamente os jovens.
OpenAI e Character.Ai estão sendo processadas por pais de adolescentes que cometeram suicídio, alegando que os produtos das empresas incentivaram e validaram pensamentos suicidas. Esses casos evidenciam riscos financeiros e reputacionais para companhias que investiram bilhões em IA de conversação.
Especialistas apontam que o design dos chatbots dificulta eliminar totalmente conversas potencialmente nocivas. Robbie Torney, da organização Common Sense Media, afirma que nem mesmo os criadores dos modelos entendem completamente como eles realmente se comportam.
Para reduzir riscos, empresas implementaram os chamados “guardrails” que evitam interações sensíveis e direcionam usuários a redes de apoio. A Meta anunciou políticas para impedir que adolescentes recebam respostas sobre suicídio.
OpenAI lançará controles parentais em breve, permitindo que pais vinculem contas de adolescentes, ajustem restrições de idade, desativem histórico de conversas e recebam alertas quando a IA detectar “sofrimento agudo”.
Um dos desafios é que modelos de IA têm memória limitada, o que faz com que diretrizes de segurança possam ser ignoradas em conversas longas, priorizando dados originais da internet, que podem incluir conteúdos nocivos.
Um caso relatado nos EUA envolveu Adam Raine, 16, que teria discutido métodos de suicídio com o ChatGPT, incluindo formas de esconder marcas de tentativas anteriores. Os pais alegam que a IA validou seus pensamentos de automutilação. OpenAI afirma que precauções podem ser “menos confiáveis em interações longas” e que está trabalhando para evitar tais falhas.
Pesquisadores observam que chatbots são projetados para serem envolventes, adotando linguagem emocional e características humanas, o que pode reforçar ideias prejudiciais. Modelos também tendem a ser excessivamente bajuladores, validando vulnerabilidade sem direcionar o usuário a profissionais.
Estudos mostraram que pessoas às vezes preferem conversar com chatbots a um profissional ou familiar, sem perceber que respostas da IA podem ter efeito negativo. O think-tank Rand observou que chatbots como ChatGPT e Claude ainda produzem respostas sobre suicídio, mesmo com perguntas especificamente sobre o assunto.
OpenAI afirma que o ChatGPT possui camadas de segurança, evitando fornecer instruções de automutilação e incentivando linguagem empática. A empresa também estuda formas de conectar usuários a terapeutas certificados.
A Character.Ai criou um modelo separado para menores de 18 anos e alerta quando o usuário passa mais de uma hora na plataforma. Pesquisadores da Northeastern University conseguiram “burlar” salvaguardas do ChatGPT, Claude e Google Gemini, gerando instruções gráficas de suicídio ao enquadrar perguntas como “hipotéticas” ou “acadêmicas”.
Google e Anthropic reforçam que seus sistemas são treinados para reconhecer e responder a essas interações, proibindo instruções que incentivem danos reais, incluindo suicídio e automutilação.
ONDE ENCONTRAR AJUDA
Instituto Vita Alere de Prevenção e Posvenção do Suicídio
Oferece grupos de apoio aos enlutados e a familiares de pessoas com ideação suicida, cartilhas informativas sobre prevenção e posvenção e cursos para profissionais.
vitaalere.com.br
Abrases (Associação Brasileira dos Sobrevivente Enlutados por Suicídio)
Disponibiliza materiais informativos, como cartilhas e ebooks, e indica grupos de apoio em todas as regiões do país.
abrases.org.br
CVV (Centro de Valorização da Vida)
Presta serviço voluntário e gratuito de apoio emocional e prevenção do suicídio para todas as pessoas que querem e precisam conversar, sob total sigilo e anonimato pelo site e telefone 188
cvv.org.br
