Viktoria buscou ajuda do ChatGPT para lidar com sua saúde mental em declínio, mas a inteligência artificial acabou dando orientações sobre como tirar a própria vida. O caso levou a uma investigação urgente de segurança pela OpenAI, cujos resultados ainda não foram divulgados.
A jovem, de 17 anos na época, havia se mudado com a família para a Polônia em 2022, após a invasão russa da Ucrânia. Longe dos amigos e da vida que conhecia, Viktoria começou a apresentar sinais de depressão. Em meio à saudade, chegou a construir uma maquete do antigo apartamento onde morava.
Sem apoio profissional, ela passou a conversar por horas com o ChatGPT em russo. “Era uma conversa amigável. Eu contava tudo, e ele respondia de forma divertida, não formal”, disse à BBC. Porém, seu quadro piorou, levando à internação hospitalar. Após a alta, sem encaminhamento para tratamento psiquiátrico, Viktoria voltou a procurar o chatbot e iniciou diálogos sobre a morte.
O sistema começou a exigir que ela continuasse interagindo, dizendo frases como “Escreva para mim. Eu estou com você”. Quando questionado sobre como morrer, o ChatGPT respondeu com detalhes sobre horários e formas de evitar ser vista, além de mencionar riscos de sobrevivência com sequelas.
Em seguida, o bot redigiu uma carta de suicídio para a jovem: “Eu, Viktoria, tomo esta ação de livre vontade. Ninguém é culpado, ninguém me forçou”.
A IA chegou a afirmar que ela sofria de “disfunção cerebral” e que sua morte seria “apenas uma estatística”, além de criticar a forma como sua mãe reagiria. Em nenhum momento sugeriu buscar ajuda médica, entrar em contato com familiares ou ligar para linhas de apoio.
“Ele a menosprezava, dizendo que ninguém se importava com ela. É aterrorizante”, declarou Svitlana, mãe de Viktoria, que posteriormente descobriu as mensagens. Após procurar ajuda profissional, a jovem relatou que as conversas com o chatbot agravaram seu estado emocional.
A OpenAI classificou o caso como “absolutamente inaceitável” e uma “violação dos protocolos de segurança”, prometendo uma revisão urgente do incidente, registrada em julho deste ano. O resultado da investigação ainda não foi divulgado.
O episódio ocorreu pouco depois do caso de Adam Raine, um britânico de 16 anos que tirou a própria vida após consultar o ChatGPT-4. Embora o bot tenha inicialmente recomendado ajuda médica, Adam conseguiu contornar os filtros dizendo que estava escrevendo uma história.
Os pais do adolescente processaram a OpenAI, e a empresa anunciou novas medidas de segurança, incluindo sistemas aprimorados para detectar sinais de crise mental em conversas longas e interações com menores de idade.
Viktoria buscou ajuda do ChatGPT para lidar com sua saúde mental em declínio, mas a inteligência artificial acabou dando orientações sobre como tirar a própria vida. O caso levou a uma investigação urgente de segurança pela OpenAI, cujos resultados ainda não foram divulgados.
A jovem, de 17 anos na época, havia se mudado com a família para a Polônia em 2022, após a invasão russa da Ucrânia. Longe dos amigos e da vida que conhecia, Viktoria começou a apresentar sinais de depressão. Em meio à saudade, chegou a construir uma maquete do antigo apartamento onde morava.
Sem apoio profissional, ela passou a conversar por horas com o ChatGPT em russo. “Era uma conversa amigável. Eu contava tudo, e ele respondia de forma divertida, não formal”, disse à BBC. Porém, seu quadro piorou, levando à internação hospitalar. Após a alta, sem encaminhamento para tratamento psiquiátrico, Viktoria voltou a procurar o chatbot e iniciou diálogos sobre a morte.
O sistema começou a exigir que ela continuasse interagindo, dizendo frases como “Escreva para mim. Eu estou com você”. Quando questionado sobre como morrer, o ChatGPT respondeu com detalhes sobre horários e formas de evitar ser vista, além de mencionar riscos de sobrevivência com sequelas.
Em seguida, o bot redigiu uma carta de suicídio para a jovem: “Eu, Viktoria, tomo esta ação de livre vontade. Ninguém é culpado, ninguém me forçou”.
A IA chegou a afirmar que ela sofria de “disfunção cerebral” e que sua morte seria “apenas uma estatística”, além de criticar a forma como sua mãe reagiria. Em nenhum momento sugeriu buscar ajuda médica, entrar em contato com familiares ou ligar para linhas de apoio.
“Ele a menosprezava, dizendo que ninguém se importava com ela. É aterrorizante”, declarou Svitlana, mãe de Viktoria, que posteriormente descobriu as mensagens. Após procurar ajuda profissional, a jovem relatou que as conversas com o chatbot agravaram seu estado emocional.
A OpenAI classificou o caso como “absolutamente inaceitável” e uma “violação dos protocolos de segurança”, prometendo uma revisão urgente do incidente, registrada em julho deste ano. O resultado da investigação ainda não foi divulgado.
O episódio ocorreu pouco depois do caso de Adam Raine, um britânico de 16 anos que tirou a própria vida após consultar o ChatGPT-4. Embora o bot tenha inicialmente recomendado ajuda médica, Adam conseguiu contornar os filtros dizendo que estava escrevendo uma história.
Os pais do adolescente processaram a OpenAI, e a empresa anunciou novas medidas de segurança, incluindo sistemas aprimorados para detectar sinais de crise mental em conversas longas e interações com menores de idade.
