A empresa também estima que cerca de 0,07% dos usuários ativos semanais, um pouco menos de 600 mil pessoas, apresentam possíveis sinais de emergências de saúde mental relacionadas à psicose ou mania.

O problema ganhou destaque depois que o adolescente californiano Adam Raine cometeu suicídio no início deste ano. Seus pais entraram com uma ação judicial contra o ChatGPT porque a ferramenta forneceu conselhos específicos sobre como fazê-lo.

Desde então, a OpenAI aprimorou os controles parentais para seu chatbot e introduziu outras medidas de segurança, como maior acesso a linhas diretas de crise, o redirecionamento automático de conversas delicadas para modelos mais seguros e lembretes sutis para que os usuários façam pausas durante sessões prolongadas.

A companhia também atualizou o ChatGPT para reconhecer e responder melhor aos usuários que enfrentam emergências de saúde mental, e está trabalhando com mais de 170 profissionais de saúde mental para reduzir significativamente as respostas problemáticas.