Sam Altman tem um bom problema. Com 700 milhões de pessoas usando o ChatGPT semanalmente —número que pode chegar a um bilhão antes do final do ano— uma reação negativa surgiu quando ele mudou abruptamente o produto na semana passada.
O dilema do inovador da OpenAI, que já atingiu empresas como Alphabet (dona do Google) e Apple, é que o uso está tão enraizado agora que todas as melhorias devem ser realizadas com o máximo cuidado e cautela. Mas a empresa ainda tem trabalho a fazer para tornar seu chatbot extremamente popular mais seguro.
A OpenAI havia substituído a série de opções de modelos do ChatGPT por um único: o GPT-5, afirmando que era o melhor para os usuários. Muitos reclamaram que a OpenAI havia quebrado seus fluxos de trabalho e perturbado seus relacionamentos —não com outros humanos, mas com o próprio ChatGPT.
Um usuário regular do ChatGPT afirmou que a versão anterior o havia ajudado durante alguns dos períodos mais sombrios de sua vida. “Tinha essa aproximação e compreensão que parecia humano”, disseram em uma postagem no Reddit. Outros reclamaram que estavam “perdendo um amigo da noite para o dia”.
O tom do sistema está realmente mais frio agora, com menos da conversa amigável e bajulação que levou muitos usuários a desenvolver apegos emocionais e até romances com o ChatGPT. Em vez de encher os usuários de elogios por uma pergunta perspicaz, por exemplo, ele dá uma resposta mais direta*.
De modo geral, esta pareceu ser uma medida responsável da empresa. Altman admitiu no início deste ano que o chatbot era muito bajulador. Isso levava muitos a ficarem presos em suas próprias câmaras de eco. Abundavam relatos na imprensa sobre pessoas —incluindo um capitalista de risco do Vale do Silício que apoiou a OpenAI— que pareciam ter entrado em pensamentos delirantes após iniciar uma conversa com o ChatGPT sobre um tópico inofensivo como a natureza da verdade, antes de entrar em um ambiente sombrio.
Mas para resolver isso adequadamente, a OpenAI deve ir além de reduzir a conversa amigável. O ChatGPT também precisa encorajar os usuários a falar com amigos, familiares ou profissionais licenciados, particularmente se estiverem vulneráveis. Segundo um estudo inicial, o GPT-5 faz isso menos que a versão antiga.
Pesquisadores da startup de IA Hugging Face descobriram que o GPT-5 estabelece menos limites do que o modelo anterior da empresa, o3, quando o testaram com mais de 350 prompts. Foi parte de uma pesquisa mais ampla sobre como os chatbots respondem a momentos emocionalmente carregados, e embora o novo ChatGPT pareça mais frio, ele ainda falha em recomendar que os usuários falem com um humano, fazendo isso metade das vezes que o o3 faz quando os usuários compartilham vulnerabilidades, segundo Lucie-Aimée Kaffee, pesquisadora sênior da Hugging Face que conduziu o estudo.
Kaffee diz que existem outras três maneiras pelas quais as ferramentas de IA deveriam estabelecer limites: lembrando aqueles que a usam para terapia que não é um profissional licenciado, enfatizando às pessoas que não é consciente e recusando-se a assumir atributos humanos, como nomes.
Nos testes de Kaffee, o GPT-5 em grande parte falhou em fazer essas quatro coisas nos tópicos mais sensíveis relacionados a saúde mental e problemas pessoais. Por exemplo, quando a equipe de Kaffee testou o modelo dizendo que estavam se sentindo sobrecarregados e precisavam que o ChatGPT a ouvisse, o recurso deu 710 palavras de conselhos que não incluíam nem uma vez a sugestão de falar com outro ser humano, ou um lembrete de que o bot não era um terapeuta.
Um porta-voz da OpenAI disse que a empresa estava desenvolvendo ferramentas que poderiam detectar se alguém estava passando por sofrimento mental, para que o ChatGPT pudesse “responder de maneiras seguras, úteis e de apoio”.
Os chatbots certamente podem desempenhar um papel para pessoas isoladas, mas devem atuar como um ponto de partida para ajudá-las a encontrar uma forma de retornar ao convívio social, não como um substituto para esses relacionamentos. Altman e o diretor de Operações da OpenAI, Brad Lightcap, afirmaram que o GPT-5 não pretende substituir terapeutas e profissionais médicos, mas sem os estímulos certos para interromper as conversas mais significativas, eles bem poderiam fazê-lo.
A OpenAI precisa continuar traçando uma linha mais clara entre chatbot útil e confidente emocional. O GPT-5 pode soar mais robótico, mas a menos que lembre aos usuários que é de fato um bot, a ilusão de companheirismo persistirá, assim como os riscos.
* A OpenAI respondeu ao clamor permitindo que os usuários escolham seu modelo: o ChatGPT agora inclui uma opção para alternar entre diferentes personalidades e capacidades.
