
Une analyse des publications scientifiques dans le milieu de la recherche biomédicale montre que les modèles de langage sont massivement utilisés pour rédiger au moins leurs résumés.
De plus en plus de chercheurs utilisent des modèles de langage (LLM) pour rédiger leurs articles. En analysant le vocabulaire utilisé dans les résumés des articles scientifiques, des chercheurs montrent que leurs collègues en recherche biomédicale utilisent abondamment l’IA pour résumer leurs articles. Ils ont publié leurs résultats dans la revue Science Advances.
Cette analyse constate aussi une évolution du vocabulaire dans les résumés des 15 millions d’articles du milieu biomédical (en anglais) indexés sur la plateforme PubMed, principal moteur de recherche d’articles médicaux et de biologie.
Détection par l’augmentation anormale de la fréquence de certains mots (...)
L’IA insert un style d’écriture différent
Les chercheurs ont aussi analysé quels types de mots étaient sur-utilisés. Comme on peut le voir dans les graphiques ci-dessous, la plupart des mots dont la fréquence est excessive à l’ère de l’IA générative sont plus là pour agrémenter le style. Ce sont aussi, la plupart du temps, des verbes ou, dans une moindre mesure, des adjectifs. (...)
C’est en réanalysant tous les résumés des articles indexés par PubMed par ce prisme qu’ils estiment qu’au moins 13,5 % d’entre eux ont été rédigés à l’aide de l’IA générative. « Avec environ 1,5 million d’articles indexés dans PubMed par an, cela signifie que les LLM participent à la rédaction d’au moins 200 000 articles par an », expliquent-ils.
Ils insistent sur le fait que c’est une borne inférieure, puisque des résumés rédigés avec l’IA générative peuvent ne comporter aucun des termes qu’ils ont repérés. Ils soulignent aussi que, dans le lot, il peut y avoir des faux-positifs : notamment, l’utilisation des modèles de langage peut aussi influencer le style des humains. Mais ils pensent que ce dernier effet est beaucoup plus petit et plus lent.
Si l’IA générative peut aider dans la forme, elle peut ajouter des problèmes de fond (...)
Ils font remarquer que l’IA générative est souvent utilisée pour améliorer la grammaire, la rhétorique, la lisibilité générale des textes ou aide à la traduction. Mais ils rappellent que les modèles de langage sont connus pour halluciner des références, fournir des résumés inexacts et générer de fausses informations qui semblent faire autorité et être convaincantes. (...)