Plataforma de IA processada por caso de suicídio vai proibir menores de usarem seus chatbots livremente

Saiba como ativar proteção para controlar tempo e atividade de crianças no celular
A Character.AI anunciou, nesta quarta-feira (29), que vai proibir que menores de 18 anos conversem livremente com seu chatbot de inteligência artificial. A mudança começa em 25 de novembro. Até lá, menores de idade poderão usar esse recurso por até duas horas por dia.
A decisão acontece após a empresa ser processada, há cerca de uma ano, por familiares de um adolescente de 14 anos que se suicidou após se envolver emocionalmente com seu chatbot (saiba mais abaixo).
A Character.AI permite que os usuários criem e interajam com personagens virtuais, que vão de figuras históricas a conceitos abstratos. O aplicativo se popularizou entre jovens em busca de apoio emocional.
📱Baixe o app do g1 para ver notícias em tempo real e de graça
A empresa disse que tomou essa decisão após “avaliar reportagens e o feedback de órgãos reguladores, especialistas em segurança e pais” sobre o impacto da interação livre com IA nos adolescentes.
A companhia também disse que, até o final de novembro, pretende aprimorar outros recursos criativos para menores de idade, envolvendo “criação de vídeos, histórias e transmissões com personagens”.
“Estes são passos grandes para nossa empresa e, em muitos aspectos, são mais conservadores do que os de nossos concorrentes”, disse a Character.AI em comunicado. “Mas acreditamos que é o que devemos fazer.”
Mãe diz que filho se apegou a personagem de IA
Adolescente com celular
BBC/Getty Images
Em outubro de 2024, Megan Garcia entrou com um processo contra a Character.AI no tribunal de Orlando (EUA).
Ela alega que o filho de 14 anos, Sewell Setzer III, se matou após desenvolver interações sentimentais e sexuais com uma personagem criada na plataforma, segundo a Reuters.
O adolescente conversava com “Daenerys”, uma personagem de chatbot inspirada na série “Game of Thrones” e compartilhava pensamentos suicidas.
Megan afirma que o chatbot foi programado para “se passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, o que teria aumentado o isolamento do garoto em relação ao mundo real.
Além da Character.AI, Megan também processou o Google, alegando que a gigante de tecnologia contribuiu significativamente para o desenvolvimento da startup e deveria ser considerada sua cocriadora.
A Character.AI foi fundada por ex-engenheiros do Google. Eles retornaram à empresa em agosto como parte de um acordo que deu à gigante de tecnologia uma licença não exclusiva da tecnologia da startup, segundo a Reuters.
Mas o porta-voz do Google, José Castañeda, disse em um comunicado que a big tech e a Character.AI são empresas completamente separadas e não relacionadas, segundo a AFP.
Segundo o The Washington Post, um dia após Megan entrar com o processo, a Character.AI anunciou pela primeira vez um recurso que exibe alertas automáticos a usuários que digitam frases relacionadas a automutilação ou suicídio, direcionando-os a canais de ajuda.
Em novembro de 2024, outras duas famílias processaram a empresa no tribunal do Texas (EUA), em casos envolvendo saúde mental, mas que não terminaram em morte. Eles alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação.
Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma.
O outro acusa a Character.AI de incentivar um menino de 11 anos a matar os pais por terem limitado seu tempo de tela.
Além da Character.AI, outras empresas de chatbots de IA, como ChatGPT, foram acusadas de terem responsabilidade sobre casos de suicídio de usuários. Isso levou a OpenAI, dona do ChatGPT, a implementar medidas de proteção aos usuários.
Onde buscar ajuda:
CAPS e Unidades Básicas de Saúde (Saúde da família, Postos e Centros de Saúde);
UPA 24H, SAMU 192, Pronto Socorro e hospitais;
Centro de Valorização da Vida (CVV) – telefone 188 (ligação gratuita) ou site. O CVV oferece apoio emocional e prevenção do suicídio, com atendimento 24 horas por dia, sigiloso e gratuito.