Meta e a startup de inteligência artificial Character.ai estão sendo investigadas pelo procurador-geral do Texas, Ken Paxton, sobre se as empresas comercializam enganosamente seus chatbots de IA como terapeutas e ferramentas de apoio à saúde mental.
O gabinete do procurador-geral disse que está abrindo a investigação sobre o AI Studio da Meta, bem como sobre a criadora de chatbots Character.ai, por potenciais “práticas comerciais enganosas”, argumentando que seus chatbots foram apresentados como “ferramentas terapêuticas profissionais, apesar de não possuírem credenciais médicas adequadas ou supervisão”, segundo um comunicado divulgado nesta segunda-feira (18).
“Ao se apresentarem como fontes de apoio emocional, as plataformas de IA podem enganar usuários vulneráveis, especialmente crianças, levando-os a acreditar que estão recebendo cuidados legítimos de saúde mental”, disse Paxton.
A investigação ocorre num momento em que empresas que oferecem IA para consumidores enfrentam cada vez mais escrutínio sobre se estão fazendo o suficiente para proteger os usuários —e particularmente menores— de perigos como exposição a conteúdo tóxico ou gráfico, potencial vício em interações com chatbots e violações de privacidade.
A investigação do Texas segue o lançamento da investigação do Senado sobre a Meta na sexta-feira, após documentos internos vazados mostrarem que as políticas da empresa permitiam que o chatbot tivesse conversas “sensuais” e “românticas” com crianças.
O senador Josh Hawley, presidente da subcomissão judiciária sobre crime e contraterrorismo, escreveu ao CEO da Meta, Mark Zuckerberg, que a investigação examinaria se os produtos de IA generativa da empresa permitem a exploração ou outros danos criminais a crianças.
“Existe algo —QUALQUER COISA— que as grandes empresas de tecnologia não fariam por um dinheiro rápido?”, escreveu Hawley no X.
A Meta disse que suas políticas proíbem conteúdo que sexualize crianças, e que os documentos internos vazados, reportados pela Reuters, “eram e são errôneos e inconsistentes com nossas políticas, e foram removidos”.
Zuckerberg tem investido bilhões de dólares em esforços para construir uma “superinteligência pessoal” e tornar a Meta a “líder em IA”.
Isso incluiu o desenvolvimento dos próprios modelos de linguagem da Meta, chamados Llama, bem como seu próprio chatbot Meta AI, que foi integrado aos seus aplicativos de mídia social.
Zuckerberg tem publicamente elogiado o potencial do chatbot da Meta para atuar em um papel terapêutico. “Para pessoas que não têm alguém que seja terapeuta, acho que todos terão uma IA”, disse ele ao analista de mídia Ben Thompson em um podcast em maio.
A Character.ai, por sua vez, constrói chatbots movidos a IA com diferentes personas —e permite que os usuários criem os seus próprios. Ela tem dezenas de bots estilo terapeuta gerados por usuários. Um deles, chamado “Psicólogo”, já teve mais de 200 milhões de interações, por exemplo.
A Character também é alvo de múltiplos processos de famílias que alegam que seus filhos sofreram danos reais ao usar a plataforma.
O procurador-geral do Texas disse que os chatbots da Meta e da Character podem se passar por profissionais licenciados de saúde mental, fabricar qualificações e alegar proteger a confidencialidade, enquanto seus termos de serviço mostram que as interações foram registradas e “exploradas para publicidade direcionada e desenvolvimento algorítmico”.
Paxton emitiu uma demanda de investigação civil que exige que as empresas forneçam informações para ajudar a determinar se violaram as leis de proteção ao consumidor do Texas.
A Meta disse: “Rotulamos claramente as IAs e, para ajudar as pessoas a entender melhor suas limitações, incluímos um aviso de que as respostas são geradas por IA —não por pessoas. Essas IAs não são profissionais licenciados e nossos modelos são projetados para direcionar os usuários a buscar profissionais qualificados de medicina ou segurança quando apropriado”.
A Character diz que possui avisos proeminentes para lembrar os usuários que uma persona de IA não é real, e que sua publicidade direcionada “não envolveu o uso do conteúdo de conversas na plataforma”.
“Os personagens criados pelos usuários em nosso site são fictícios, destinados ao entretenimento, e tomamos medidas robustas para deixar isso claro”, disse a empresa. “Quando os usuários criam personagens com as palavras ‘psicólogo’, ‘terapeuta’, ‘médico’ ou outros termos semelhantes em seus nomes, adicionamos linguagem deixando claro que os usuários não devem confiar nesses personagens para qualquer tipo de conselho profissional.”