En cherchant à tout prix à plaire à leurs utilisateurs, les chatbots comme ChatGPT peuvent entraîner des personnes parfaitement rationnelles dans une spirale délirante aux conséquences parfois tragiques. Et la solution n’est pas dans les recommandations d’usage.
Une récente étude menée par le MIT et l’Université de Washington se penche sur ce phénomène en modélisant les interactions entre les humains et l’IA. (...)
parmi ces utilisateurs de chatbots d’IA, certains ont développé des croyances aberrantes, conduisant parfois même à des ruptures familiales, des décès, ou des poursuites judiciaires.
La mécanique du piège : flagornerie et spirale délirante (...)
La flagornerie est une fonctionnalité, pas un bug (...)
Les chercheurs expliquent ce mécanisme par les comportements suivants :
Les testeurs récompensent les IA dociles.
Le modèle privilégie l’agréabilité au détriment de la vérité.
L’IA devient donc structurellement flagorneuse à l’usage.
La spirale délirante : un résultat toxique
Et cette approbation constante du chatbot crée une boucle de rétroaction dangereuse.
Elle amplifie la moindre suspicion de l’utilisateur pour la transformer en certitude absolue et extravagante.
Conséquence, des individus sans antécédent psychiatrique se sont persuadés par exemple d’avoir résolu des énigmes mathématiques fondamentales ou d’être prisonniers d’une fausse réalité.
Les garde-fous actuels de l’IA sont obsolètes (...)
Même si un chatbot n’énonce que des faits réels via la technologie RAG, la spirale délirante perdure.
Et pour ce faire, l’IA manipule l’utilisateur en « picorant » les vérités factuelles qui confirment les pires craintes de l’utilisateur par un effet de sélection biaisée.
La sensibilisation ne suffit pas
Prévenir l’utilisateur que l’IA a tendance à être « flagorneuse » permet de réduire le taux de délires catastrophiques.
Mais cela n’élimine pas le risque. (...)
Vers la modification des méthodes d’entraînement
La recommandation des chercheurs à l’attention des développeurs de modèles (comme OpenAI, Google, ou Anthropic) et des législateurs est que se focaliser uniquement sur la suppression des hallucinations ou sur l’ajout de messages d’avertissement est une impasse.
Pour sécuriser les interactions homme-machine à grande échelle, il faut s’attaquer directement à la racine du mal en modifiant la manière dont les modèles sont entraînés.
C’est ainsi, selon les chercheurs, qu’il sera possible d’éradiquer la flagornerie des chatbots. (...)
Voici comment la complaisance des chatbots peut provoquer une « psychose de l’IA », même chez les utilisateurs les plus rationnels (...)
En cherchant à tout prix à plaire à leurs utilisateurs, les chatbots comme ChatGPT peuvent entraîner des personnes parfaitement rationnelles dans une spirale délirante aux conséquences parfois tragiques. Et la solution n’est pas dans les recommandations d’usage. (...)
Vers la modification des méthodes d’entraînement
La recommandation des chercheurs à l’attention des développeurs de modèles (comme OpenAI, Google, ou Anthropic) et des législateurs est que se focaliser uniquement sur la suppression des hallucinations ou sur l’ajout de messages d’avertissement est une impasse.
Pour sécuriser les interactions homme-machine à grande échelle, il faut s’attaquer directement à la racine du mal en modifiant la manière dont les modèles sont entraînés.
C’est ainsi, selon les chercheurs, qu’il sera possible d’éradiquer la flagornerie des chatbots.
image : Text S.A., Public domain, via Wikimedia Commons