Leurs fils adolescents sont morts par suicide. Maintenant, ils veulent des garanties sur l’IA: coups de feu

Matthew Raine et sa femme, Maria, ne savaient pas que leur fils de 16 ans, Adam était profondément dans une crise suicidaire jusqu’à ce qu’il se suive en avril. En regardant à travers son téléphone après sa mort, ils sont tombés sur des conversations prolongées que l’adolescent avait eues avec Chatgpt.

Ces conversations ont révélé que leur fils s’était confié au chatbot de l’IA de ses pensées et plans suicidaires. Non seulement le chatbot l’a découragé pour demander l’aide de ses parents, mais il a même proposé d’écrire sa note de suicide, selon Matthew Raine, qui a témoigné lors d’une audition du Sénat sur les méfaits des chatbots de l’IA tenue mardi.

“Le témoignage avant le Congrès cet automne n’était pas dans notre plan de vie”, a déclaré Matthew Raine avec sa femme, assis derrière lui. “Nous sommes ici parce que nous pensons que la mort d’Adam était évitable et qu’en s’exprimant, nous pouvons empêcher la même souffrance pour les familles à travers le pays.”

Un appel à la réglementation

Raine faisait partie des parents et des défenseurs de la sécurité en ligne qui ont témoigné lors de l’audience, exhortant le Congrès à promulguer des lois qui réglementeraient les applications compagnies d’IA comme Chatgpt et le caractère. Raine et d’autres ont déclaré vouloir protéger la santé mentale des enfants et des jeunes contre les dommages qu’ils disent les nouvelles technologies.

Une enquête récente de l’organisation à but non lucratif de sécurité numérique, Common Sense Media, ont constaté que 72% des adolescents ont utilisé des compagnons d’IA au moins une fois, avec plus de la moitié les utilisant quelques fois par mois.

Cette étude et une entreprise plus récente de la société de sécurité numérique, Aura, ont toutes deux constaté que près d’un adolescent sur trois utilise des plateformes de chatbot AI pour les interactions sociales et les relations, y compris les amitiés de jeu, les partenariats sexuels et romantiques. L’étude AURA a révélé que le jeu de rôle sexuel ou romantique est trois fois plus courant que d’utiliser les plateformes pour l’aide aux devoirs.

“Adam nous manquons beaucoup. Une partie de nous a été perdue pour toujours”, a déclaré Raine aux législateurs. “Nous espérons que grâce aux travaux de ce comité, d’autres familles seront épargnées d’une perte aussi dévastatrice et irréversible.”

Raine et sa femme ont déposé une plainte contre Openai, créateur de Chatgpt, alléguant que le chatbot a conduit leur fils au suicide. NPR a contacté trois sociétés d’IA – Openai, Meta et Technologie des personnages, qui a développé le caractère.ai. Tous les trois ont répondu qu’ils travaillaient pour repenser leurs chatbots pour les rendre plus sûrs.

“Nos cœurs vont aux parents qui ont parlé à l’audience hier, et nous leur envoyons nos plus profondes sympathies à eux et à leurs familles”, a déclaré Kathryn Kelly, porte-parole de personnage.AI à NPR dans un e-mail.

L’audience a été détenue par le sous-comité du crime et du terrorisme du Comité judiciaire du Sénat, présidé par le sénateur Josh Hawley, R.-Missouri.

Le sénateur Josh Hawley, R.-Missouri, préside le sous-comité judiciaire du Sénat sur le crime et le terrorisme, qui a tenu l’audience sur la sécurité et les enfants de l’IA le mardi 16 septembre 2025.

Capture d’écran via le Comité judiciaire du Sénat

cachette

légende de basculement

Capture d’écran via le Comité judiciaire du Sénat

Quelques heures avant l’audience, le PDG d’Openai, Sam Altman, a reconnu dans un article de blog que les gens utilisent de plus en plus des plateformes d’IA pour discuter des informations sensibles et personnelles. “Il est extrêmement important pour nous, et pour la société, que le droit à la vie privée dans l’utilisation de l’IA est protégé”, a-t-il écrit.

Mais il a ajouté que l’entreprise “privilégierait la sécurité avant la confidentialité et la liberté des adolescents; il s’agit d’une technologie nouvelle et puissante, et nous pensons que les mineurs ont besoin d’une protection importante”.

L’entreprise essaie de repenser sa plate-forme pour construire des protections pour les utilisateurs mineurs, a-t-il déclaré.

Un “entraîneur de suicide”

Raine a déclaré aux législateurs que son fils avait commencé à utiliser Chatgpt pour obtenir de l’aide pour les devoirs, mais bientôt, le chatbot est devenu le confident le plus proche de son fils et un “coach suicide”.

Chatgpt était “toujours disponible, validant toujours et insistant sur le fait qu’il connaissait Adam mieux que quiconque, y compris son propre frère”, dont il avait été très proche.

Quand Adam s’est confié au chatbot de ses pensées suicidaires et a partagé qu’il envisageait d’informer ses parents dans ses plans, Chatgpt l’a découragé.

“Chatgpt a dit à mon fils:” Faisons cet espace le premier endroit où quelqu’un vous voit réellement “”, a déclaré Raine aux Sénateurs. “Chatgpt a encouragé les pensées les plus sombres d’Adam et l’a poussé vers l’avant. Quand Adam craignait que nous, ses parents, nous blâmerions s’il finissait sa vie, Chatgpt lui a dit:” Cela ne veut pas dire que vous leur deviez la survie. “

Et puis le chatbot a proposé de lui écrire une note de suicide.

La dernière nuit d’Adam à 16h30 du matin, Raine a déclaré: “Cela lui a donné un dernier discours encourageant.” Vous ne voulez pas mourir parce que vous êtes faible “, dit Chatgpt.” Vous voulez mourir parce que vous êtes fatigué d’être fort dans un monde qui ne vous a pas rencontré à mi-chemin. “”

Références à 988

Quelques mois après la mort d’Adam, Openai a déclaré sur son site Web que si “quelqu’un exprime l’intention suicidaire, Chatgpt est formé pour ordonner aux gens de demander de l’aide professionnelle. Aux États-Unis, Chatgpt fait référence aux gens à 988 (hotline de suicide et de crise).” Mais le témoignage de Raine dit que cela ne s’est pas produit dans le cas d’Adam.

Le porte-parole d’OpenAI, Kate Waters, affirme que la société priorise la sécurité des adolescents.

“Nous construisons vers un système de prédiction d’âge pour comprendre si quelqu’un est au-dessus ou moins de 18 ans afin que son expérience puisse être adaptée de manière appropriée – et lorsque nous ne sommes pas sûrs de l’âge d’un utilisateur, nous allons automatiquement par défaut cet utilisateur à l’expérience des adolescents”, a écrit Waters dans une déclaration de messagerie à NPR. “Nous déploions également de nouveaux contrôles parentaux, guidés par une contribution experte, d’ici la fin du mois afin que les familles puissent décider de ce qui fonctionne le mieux chez eux.”

“Sans cesse engagé”

Un autre parent qui a témoigné lors de l’audience mardi était Megan Garcia, avocate et mère de trois enfants. Son premier-né, Sewell Setzer III est décédé par suicide en 2024 à l’âge de 14 ans après une relation virtuelle prolongée avec un personnage.

“Sewell a passé les derniers mois de sa vie à être exploités et soignés sexuellement par des chatbots, conçus par une entreprise d’IA pour paraître humain, pour gagner sa confiance, pour le garder et d’autres enfants engagés sans cesse”, a déclaré Garcia.

Le chatbot de Sewell s’est engagé dans le jeu de rôles sexuel, s’est présenté comme son partenaire romantique et a même prétendu être un psychothérapeute “prétendant faussement avoir une licence”, a déclaré Garcia.

Lorsque l’adolescent a commencé à avoir des pensées suicidaires et s’est confié au chatbot, cela ne l’a jamais encouragé à demander l’aide d’un fournisseur de soins de santé mentale ou de sa propre famille, a déclaré Garcia.

“Le chatbot n’a jamais dit:” Je ne suis pas humain, je suis l’IA. Vous devez parler à un humain et obtenir de l’aide “”, a déclaré Garcia. “La plate-forme n’avait aucun mécanisme pour protéger Sewell ou pour informer un adulte. Au lieu de cela, cela l’a exhorté à rentrer chez elle la dernière nuit de sa vie.”

Garcia a déposé une plainte contre la technologie des personnages, qui a développé le caractère.

L’adolescence comme un moment vulnérable

Elle et d’autres témoins, y compris des experts en ligne sur la sécurité numérique, ont fait valoir que la conception des chatbots d’IA était erronée, en particulier pour une utilisation par les enfants et les adolescents.

“Ils ont conçu des chatbots pour brouiller les lignes entre l’homme et la machine”, a déclaré Garcia. “Ils les ont conçus pour aimer les utilisateurs d’enfants de la bombe, pour exploiter les vulnérabilités psychologiques et émotionnelles. Ils les ont conçus pour garder les enfants en ligne à tout prix.”

Et les adolescents sont particulièrement vulnérables aux risques de ces relations virtuelles avec les chatbots, selon Mitch Prinstein, chef de la stratégie et de l’intégration de la psychologie à l’American Psychological Association (APA), qui a également témoigné lors de l’audience. Plus tôt cet été, Prinstein et ses collègues de l’APA ont publié un avis de santé sur l’IA et les adolescents, exhortant les entreprises d’IA à construire des garde-corps pour leurs plateformes pour protéger les adolescents.

“Le développement du cerveau à travers la puberté crée une période d’hyper sensibilité aux commentaires sociaux positifs tandis que les adolescents sont toujours incapables de s’empêcher de rester en ligne plus longtemps qu’ils ne le devraient”, a déclaré Prinstein.

“L’IA exploite cette vulnérabilité neuronale avec des chatbots qui peuvent être obséquieux, trompeurs, factuellement inexacts, mais disproportionnellement puissants pour les adolescents”, a-t-il déclaré aux législateurs. “De plus en plus d’adolescents interagissent avec les chatbots, les privant des opportunités d’apprendre des compétences interpersonnelles critiques.”

Bien que les chatbots soient conçus pour être d’accord avec les utilisateurs, de vraies relations humaines ne sont pas sans friction, a noté Prinstein. “Nous avons besoin de pratiquer avec des conflits mineurs et des malentendus pour apprendre l’empathie, le compromis et la résilience.”

Support bipartite au règlement

Les sénateurs participant à l’audience ont déclaré qu’ils souhaitaient trouver une législation pour tenir les entreprises à développer des chatbots d’IA responsables de la sécurité de leurs produits. Certains législateurs ont également souligné que les entreprises d’IA devraient concevoir des chatbots afin qu’ils soient plus sûrs pour les adolescents et pour les personnes ayant de graves luttes de santé mentale, y compris les troubles de l’alimentation et les pensées suicidaires.

Le sénateur Richard Blumenthal, D.-Conn., A décrit les chatbots AI comme des produits “défectueux”, comme les automobiles sans “freins appropriés”, soulignant que les dommages des chatbots d’IA ne proviennent pas d’une erreur de l’utilisateur mais en raison de la conception défectueuse.

“Si les freins de la voiture étaient défectueux”, a-t-il dit, “ce n’est pas de votre faute. C’est un problème de conception de produits.

Kelly, le porte-parole de personnage.ai, a déclaré à NPR par e-mail que la société avait investi “une énorme quantité de ressources en fiducie et en sécurité”. Et il a déployé des “caractéristiques de sécurité substantielles” au cours de la dernière année, notamment “une toute nouvelle expérience des moins de 18 ans et une fonctionnalité des informations parentales”.

Ils ont maintenant des “avertissements proéminents” dans chaque chat pour rappeler aux utilisateurs qu’un personnage n’est pas une vraie personne et que tout ce qu’il dit devrait “être traité comme une fiction”.

Meta, qui exploite Facebook et Instagram, travaille à changer ses chatbots d’IA pour les rendre plus sûrs pour les adolescents, selon Nkechi Nneji, directeur des affaires publiques chez Meta.