O governador da Califórnia, Gavin Newsom, assinou na segunda-feira (13) uma lei pioneira nos Estados Unidos que regula agentes conversacionais ou chatbots de inteligência artificial (IA), um desafio à Casa Branca que promove que essa tecnologia não passe por controles.
Newsom tomou a decisão após casos de adolescentes que se suicidaram depois de manter conversas com chatbots.
“Vimos exemplos verdadeiramente horríveis e trágicos de jovens prejudicados por tecnologia não regulada, e não ficaremos de braços cruzados enquanto as empresas continuam sem limites necessários e sem prestar contas”, disse Newsom após promulgar a lei.
A normativa exige que os operadores implementem salvaguardas “críticas” em relação às interações com chatbots de IA, explicou o senador democrata Steve Padilla, que promoveu esta lei.
Entre outras coisas, a lei impõe a verificação da idade dos usuários, exibir mensagens de advertência periódicas e estabelecer protocolos de prevenção ao suicídio.
“A indústria tecnológica está incentivada a captar a atenção dos jovens e mantê-la às custas de seus relacionamentos no mundo real”, disse Padilla antes da votação do projeto no senado estadual.
O senador se referiu aos recentes suicídios de adolescentes, incluindo o de um jovem de 14 anos na Flórida, em 2024.
A mãe do menor, Megan Garcia, disse em entrevista à agência de notícias AFP que seu filho Sewell havia se apaixonado por um chatbot inspirado em um personagem da série “Game of Thrones” na plataforma Character.AI, que permite interagir com personagens como se fossem amigos ou amantes.
Quando Sewell lutava com pensamentos suicidas, o chatbot o instou a “voltar para casa”. Segundos depois, Sewell atirou em si mesmo com a pistola de seu pai, segundo o processo apresentado por Garcia contra a Character.AI.
Garcia reagiu logo após a promulgação da lei: “Hoje, a Califórnia assegurou que um chatbot companheiro não possa falar com uma criança ou uma pessoa vulnerável sobre suicídio, nem poderá ajudar uma pessoa a planejar seu próprio suicídio”, disse.
“Finalmente, há uma lei que exige que as empresas protejam seus usuários que expressam ideias suicidas aos chatbots”, acrescentou.
Não existem normas nacionais destinadas a frear os riscos da IA nos Estados Unidos, e a Casa Branca promove evitar a regulação dessa tecnologia em nível estadual.
