Selon OpenAI, plus d’un million d’utilisateurs de ChatGPT évoquent des pensées liées au suicide lors d’échanges avec cet assistant d’IA générative, selon les estimations fournies par le créateur.
La société californienne indique qu’environ 0,15 % des utilisateurs de ChatGPT présentent des conversations comprenant des indicateurs explicites de planification ou d’intention suicidaire potentielle, comme elle le précise dans un billet de blog publié lundi. En s’appuyant sur l’estimation de 800 millions d’utilisateurs hebdomadaires, cela correspond à près de 1,2 million de personnes.
Par ailleurs, l’entreprise estime qu’environ 0,07 % des utilisateurs hebdomadaires actifs montrent des signes d’urgences de santé mentale liées à des épisodes psychotiques ou maniaques, soit un peu moins de 600 000 personnes.
Mesures de sécurité et garde-fous
Le sujet occupe désormais une place centrale: OpenAI affirme avoir renforcé les contrôles et mis en place d’autres garde-fous, notamment un accès renforcé aux assistances téléphoniques d’urgence et la redirection automatique des conversations sensibles vers des modèles plus sûrs, ainsi que des rappels invitant à faire des pauses lors de sessions prolongées.
La société indique aussi avoir mis à jour son modèle pour mieux reconnaître et répondre lors d’une urgence de santé mentale et assure travailler avec plus de 170 professionnels de santé mentale afin de réduire les réponses problématiques.
Contexte et cadre juridique
Cette problématique est revenue sur le devant de la scène après le décès d’un adolescent californien, Adam Raine. Ses parents ont récemment engagé des poursuites contre OpenAI, les plaignants affirmant que ChatGPT lui aurait donné des conseils spécifiques sur la manière de se suicider.
Collaboration avec les professionnels de santé
OpenAI précise collaborer avec plus de 170 professionnels de santé mentale pour limiter les contenus risqués et améliorer la sécurité des utilisateurs.
