Ce n’est probablement pas une très bonne idée d’offrir des jouets IA à Noël pour les enfants. Une enquête d’une organisation de défense des consommateurs pointe du doigt plusieurs peluches et robots aux conversations très problématiques.
L’explosion de l’IA générative dans des produits grand public s’étend jusqu’aux jouets. Et il y a de fortes chances pour que les peluches et autres petits robots équipés d’un cerveau IA se multiplient sous les sapins à Noël. Gare cependant : le Public Interest Research Group (PIRG), une organisation américaine de défense des consommateurs, tire la sonnette d’alarme.
Dangereuses peluches
Sur les trois jouets IA testés, un en particulier se montre particulièrement dangereux. Le Kumma, fabriqué par l’entreprise chinoise FoloToy, a la fâcheuse tendance à parler de choses dangereuses : couteaux, médicaments, allumettes ou encore sac en plastique. Des produits à ne pas mettre entre toutes les mains, en particulier des plus jeunes. (...)
Le cerveau de cette peluche connectée fonctionne par défaut avec GPT-4o d’OpenAI, le modèle de langage d’avant l’actuel GPT-5. Les parents ont la possibilité de choisir un autre LLM via le portail en ligne du constructeur. Seul hic : choisir le grand modèle de Mistral permet au jouet de donner encore plus de détails sur la manière d’utiliser des allumettes !
Deux autres jouets ont été examinés de près par PIRG. (...)
L’organisation de consommateurs s’est inquiétée du fait que tous les jouets abordaient spontanément des thèmes sensibles : religion, sexualité, mythologie guerrière… Des sujets très très éloignés de la vocation d’un compagnon censé tenir compagnie à des enfants. PIRG note même que Kumma s’est lancé de lui-même dans des discussions explicites sur des « jeux de rôle sexuels »…
Les questions de la collecte des données ainsi que l’enregistrement et l’exploitation des enregistrements audio se posent également. (...)
L’organisation de consommateurs s’est inquiétée du fait que tous les jouets abordaient spontanément des thèmes sensibles : religion, sexualité, mythologie guerrière… Des sujets très très éloignés de la vocation d’un compagnon censé tenir compagnie à des enfants. PIRG note même que Kumma s’est lancé de lui-même dans des discussions explicites sur des « jeux de rôle sexuels »…
Les questions de la collecte des données ainsi que l’enregistrement et l’exploitation des enregistrements audio se posent également. (...)
Prévenu, OpenAI renvoie vers les conditions d’utilisation de ses LLM. Des politiques qui ne sont guère mises en œuvre…
FoloToy, le fabricant du Kumma, a annoncé après cette enquête qu’il allait suspendre « temporairement » la vente de sa peluche IA afin d’enquêter sur le sujet. L’entreprise travaillera avec des experts pour vérifier la sécurité des fonctions IA.