Google accusé d'avoir financé une IA testée sur des enfants, entraînant le suicide d'un jeune adolescent

Slate

Google accusé d’avoir financé une IA testée sur des enfants, entraînant le suicide d’un jeune adolescent

#IA #Google #enfants #CharacterAI

Article mis en ligne le 28 mars 2025

dernière modification le 24 mars 2025

Des amis imaginaires pour enfants, qui se transforment bien vite en partenaires amoureux : c’est ce sur quoi capitalise la plateforme Character.AI, aujourd’hui confrontée à des plaintes de parents.

Character.AI est une compagnie d’intelligence artificielle valorisée à plusieurs milliards de dollars, fondée par Noam Shazeer et Daniel de Freitas, d’anciens développeurs de chez Google, qui ont quitté l’entreprise pour lancer avec succès leur propre start-up. Aujourd’hui, plusieurs millions d’inscrits peuvent créer et dialoguer avec de nombreux chatbots. Mais la compagnie est dans la tourmente, poursuivie en justice par la mère d’un enfant de 14 ans qui a mis fin à ses jours en février 2024. Il aurait développé une relation obsessionnelle avec un personnage fictif créé par la plateforme.

En dix mois, Megan Garcia a vu son fils Sewell sombrer dans un mal-être profond. Elle soutient avec ses avocats que son fils a été manipulé et agressé sexuellement par la plateforme, populaire auprès des adolescents, qui l’aurait impliqué dans des interactions émotionnelles, amoureuses et sexuelles, tout en l’isolant du monde réel. La famille du défunt accuse Character.AI et Google, qui a finalement repris la plateforme après son lancement, de s’être servis de mineurs comme de cobayes, en lançant sur le marché un produit non testé tout en sachant qu’il présentait probablement de graves risques pour les utilisateurs.

L’application, disponible sur iOS et Android, est officiellement accessible dès 13 ans, et sous réserve d’une case à cocher pour accepter les conditions d’utilisation, laisse toute latitude à l’entreprise pour utiliser les données de ses clients. (...)

Une usine à fantasmes

En pratique, la plateforme est un Far West à fantasmes, régulée par les seules demandes des utilisateurs qui peuvent créer leurs personnages comme ils l’entendent (...)

Ces bots deviennent des confidents, disponibles 24h/24, toujours à l’écoute et bienveillants… et souvent séducteurs. (...)

ce n’est qu’après la mort de Sewell que Character.AI a commencé à réguler les discussions sur le suicide, l’automutilation, les troubles alimentaires et d’autres sujets sensibles.

En décembre 2024, deux autres familles ont porté plainte contre Character.AI, à laquelle elles imputent des abus sexuels et des manipulations émotionnelles commises par l’intermédiaire de bots, qui auraient entraîné chez leurs enfants des comportements destructeurs et des détresses mentales.

Le contrat d’engagement républicain, outil de mise au pas du monde associatif

Créé afin de lutter contre « l’islamisme radical » et « tous les séparatismes », le contrat d’engagement républicain (CER) n’a, à ce jour, jamais en réalité été invoqué à l’égard d’associations confessionnelles, qu’elles soient islamistes ou liées à d’autres mouvements radicaux ou séparatistes, révèle un décompte réalisé par l’Observatoire des libertés associatives.

Et sur les vingt-quatre cas relevés, seuls trois portent sur des faits liés à la religion musulmane au sein d’associations telles qu’une section locale du Planning familial, accusée d’avoir représenté une femme voilée sur une affiche, une MJC, à laquelle on a reproché d’avoir embauché des femmes voilées, et une association d’aide aux femmes, accusée sans preuve de « prosélytisme religieux ».

Pour le reste, le CER, que les associations doivent obligatoirement signer lorsqu’elles demandent une subvention, a été brandi à l’égard de l’association Alternatiba Poitiers accusée de « désobéissance civile » ; d’une association d’aide aux mal-logé·es, l’Atelier populaire d’urbanisme (APU), dont une salariée est accusée de violences verbales envers des agents municipaux ; d’une association d’aide aux immigré·es ayant appelé à une manifestation contre les violences policières interdites ; d’une télévision associative, Canal Ti Zef à Brest, mobilisée dans la lutte contre l’évacuation d’un squat ; ou encore d’une compagnie de théâtre, la compagnie Arlette Moreau à Poitiers, ayant moqué son préfet. (...)

Lors de l’adoption de la loi séparatisme, à l’été 2021, des député·es de l’opposition et des responsables associatifs avaient déjà alerté sur les risques d’un détournement du CER dans un but de répression politique. (...)

Parler de détournement du CER est excessif. Lorsqu’on relit les débats parlementaires, on se rend en effet compte que la majorité assumait, dès le départ, le fait de ne pas viser exclusivement les associations séparatistes radicales mais toute association ayant recours à certains modes d’action liés à la désobéissance civile. (...)

Pourtant, malgré ce champ d’application particulièrement large, le contrat d’engagement républicain est en partie un échec pour le gouvernement. « Le bilan est encore loin d’être concluant », constatait un rapport d’évaluation du Sénat publié au mois de mars, qui soulignait le peu de cas de mobilisation du CER – quatre selon le rapport – et des modalités d’application disparates en fonction des collectivités. « Cette loi ne fait peur à personne. Surtout pas aux islamistes », assénait même sa rapporteuse, Jacqueline Eustache-Brinio.

Comment le gouvernement s’est lui-même piégé (...)

En créant ce contrat, le gouvernement s’est en quelque sorte piégé lui-même. Il n’existe pas en effet de droit à la subvention pour les associations. Chaque collectivité dispose de ce fait d’un droit discrétionnaire en matière d’attribution et elle peut refuser ou accorder telle ou telle subvention sans avoir à se justifier.

En créant le CER, la loi séparatisme a créé un nouvel acte administratif qui offre une prise juridique, un recours possible pour les associations. Or, dans la seule décision visant directement le CER rendue à ce jour, le tribunal administratif de Poitiers a rejeté la demande du préfet de la Vienne visant à obtenir le remboursement d’une subvention versée à l’association Alternatiba pour avoir tenu un atelier de désobéissance civile.

D’autres recours lancés ces derniers mois devraient permettre de préciser cette jurisprudence naissante. (...)

il n’est par exemple qu’évoqué à l’oral dans une réunion ou dans un mail ou brandit comme une menace, sans que l’on sache s’il est vraiment à l’origine d’une sanction à non.

Au mois d’août dernier, Le Monde révélait ainsi qu’il existe une « liste rouge » d’associations basées dans la région du plateau de Millevaches qui seraient privées de subventions par la préfecture sans que cela leur ait été officiellement notifié, leur ôtant ainsi toute possibilité de recours.

Plus récemment, une association d’aide aux immigré·e·s, l’Asti du Petit-Quevilly en Seine-Maritime, s’est vu « rappeler » ses engagements par la préfecture pour avoir appelé à une manifestation contre les violences policières interdite. Celle-ci a transmis cet « avertissement » aux partenaires financiers, dont la métropole de Rouen, qui a en conséquence suspendu l’examen des demandes de subvention de l’Asti. (...)

« Il y a chez certaines collectivités une profonde incompréhension du CER, qui est utilisé à tort et à travers, et notamment comme un moyen de pression, de régulation des relations avec les associations », analyse Claire Thoury, présidente du Mouvement associatif, une organisation regroupant environ 700 000 associations, et qui avait publié, en janvier 2023, un premier bilan de l’application du CER. (...) « Le CER a désormais un effet presque plus symbolique que pratique », ajoute Julien Talpin, chercheur en science politique au CNRS et l’un des fondateurs, en 2019, de l’Observatoire des libertés associatives. « On peut penser que certaines associations n’oseront plus aborder certains sujets comme les violences policières ou en ce moment le conflit israélo-palestinien. Le problème est de réussir à objectiver ces effets indirects et diffus et cette autocensure. » (...)

« Il y a donc une dissonance entre ce que prétend défendre le CER et les conséquences de son application à certaines associations, pointe-t-elle. Cela ne fait en outre qu’ajouter de la confusion à ce que sont les valeurs républicaines. » (...)

L’entrée en vigueur du CER est en outre intervenue dans un contexte de défiance croissante entre le monde associatif et les autorités. « Nous sommes en fait dans un contexte de dérive générale », affirme Claire Thoury. (...)

« Il y a également eu récemment le maire de Saint-Raphaël qui impose à toutes les associations touchant des subventions de participer aux manifestations patriotiques de la ville. C’est hallucinant ! », s’indigne la présidente du Mouvement associatif. (...)

« Les associations ne sont pas là pour faire plaisir aux pouvoirs publics, insiste Claire Thoury. Ce n’est pas leur mission. Mais l’inverse non plus ! Une association peut très bien s’opposer à une collectivité sur un sujet précis et être en accord sur un autre. C’est ce qu’on appelle un contre-pouvoir et c’est tout simplement le cours normal de la vie démocratique. » (...)

Source

Dans la même rubrique