Un feuilleton. On pensait les débats sur l’hydroxychloroquine pliés le 22 mai à l’occasion de la publication d’une étude dans The Lancet, la prestigieuse revue médicale. Cette dernière, employant une méthode dite "rétrospective" sur 96.000 patients, avait de quoi ne plus laisser place au doute. Olivier Véran a même saisi le Haut Conseil de la santé publique dans la foulée, avant de publier un décret pour interdire l’hydroxychloroquine le 27 mai. Pourtant de nombreuses critiques ont émergé contre cet article, au point que plusieurs scientifiques de renom aient publié une lettre ouverte au directeur du Lancet à propos de sa méthode. Depuis, la revue elle-même a publié ce 2 juin une "expression of concern" (une mise en garde) et a demandé un "audit indépendant sur la provenance et la validité des données" de Surgisphere, société américaine controversée ayant participé à la collecte des données du dit article.
Retour sur cette affaire avec Philippe Lemoine, doctorant en philosophie, spécialisé en philosophie des sciences et logique et auteur sur le blog Nec Pluribus Impar. Il questionne le crédit accordé à cette étude par nos autorités et le problème du traitement de la science dans les médias français.
Philippe Lemoine : Sur le plan méthodologique, cette étude laisse beaucoup à désirer et n’aurait jamais dû être publiée en l’état. Sans entrer dans les détails, le plus gros problème est que, compte tenu de la taille des effets que les auteurs ont trouvés, il y a toutes les raisons de penser que les ajustements statistiques qu’ils ont faits pour comparer le groupe témoin au groupe expérimental n’étaient pas suffisants. En d’autres termes, il y a de fortes chances pour que, si l’étude a conclu que les patients ayant reçu un traitement à base d’hydroxychloroquine avaient plus de chances de mourir que ceux qui n’en avaient pas reçu, c’est au moins en partie parce qu’ils étaient des patients plus "à risques", plus susceptibles de mourir du Covid-19. Les auteurs ont fait des ajustements statistiques pour éviter un biais dans la comparaison, mais ils ne l’ont pas fait correctement et surtout pas autant qu’ils auraient pu. (...)
Je suis frappé par la façon dont la question de l’hydroxychloroquine, qu’on aurait pu penser être un sujet assez technique et peu susceptible d’intéresser les foules, est devenu un enjeu idéologique et politique.
Mais puisqu’il était possible de se prémunir contre cette possibilité et beaucoup d’autres du même genre, pourquoi est-ce que les auteurs ne l’ont pas fait ? Il n’y a aucune excuse et les relecteurs de l’article auraient dû exiger qu’ils le fassent avant de recommander la publication. Ils l’ont d’ailleurs peut-être fait, et peut-être que l’éditeur du Lancet les a ignorés, mais on ne le saura probablement jamais. J’ajoute que je ne suis pas le seul à critiquer la méthodologie de cette étude, beaucoup de gens autrement plus compétents que moi l’ont aussi fait en avançant des arguments très similaires, notamment les quelques 180 statisticiens, épidémiologistes, etc. qui ont signé une lettre ouverte aux auteurs de l’étude et à l’éditeur du Lancet. (...)
Il y a un certain nombre de choses très étranges dans les données qui ont servi à réaliser cette étude et le peu qu’on sait de Surgisphere n’inspire pas vraiment confiance, mais ça ne veut pas dire que les données ont été fabriquées. Le Lancet a dans un premier temps publié une correction répondant à certaines de ces interrogations, mais celle-ci laisse en suspens l’essentiel des critiques. D’ailleurs, devant l’ampleur des interrogations au sujet de Surgisphere, la revue vient de publier, ce 2 juin, une "expression of concern" mettant en garde contre l’étude en raison du doute pesant sur les données. (...)
Surgisphere a annoncé un audit indépendant pour rassurer la communauté scientifique, mais tant qu’on ne connaîtra pas ses modalités et surtout que ses conclusions n’auront pas été rendues, on ne pourra pas lever les doutes qui existent aujourd’hui sur les données utilisées pour cette étude. Il n’est déjà pas sûr que cet audit éteigne l’incendie. Mais même si on part du principe que les données n’ont pas été fabriquées, ça ne change rien au fait que l’analyse statistique était inadéquate. (...)
Je vois mal comment une étude pareille, aux résultats de laquelle on ne peut absolument pas se fier, pouvait justifier un tel retournement. (...)
Les journalistes, y compris scientifiques, sont très rarement compétents pour lire de façon critique un article scientifique. Il n’est donc ni étonnant ni infamant qu’ils n’aient pas vu que cette étude présentait des limitations importantes, qui rendait ses conclusions douteuses. Avant de parler d’une étude scientifique, ils devraient interroger plusieurs experts pour avoir leur avis, mais cela prend du temps et le faire revient à courir le risque de passer à côté d’un scoop qu’un concurrent ne manquera pas de relayer. (...)
D’un côté, les partisans de M. Raoult traitent celui-ci quasiment comme un oracle et attaquent quiconque lui adresse la moindre critique, les accusant d’être à la solde de l’industrie pharmaceutique. De l’autre, les opposants de M. Raoult sont persuadés de défendre la "science" contre des obscurantistes qui n’y comprennent rien, alors que l’épisode de l’étude du Lancet a montré qu’ils n’étaient pas beaucoup plus capables de lire une étude de façon critique que les gens dont ils passent leur temps à dénoncer l’inculture scientifique. (...)
D’un côté, les partisans de M. Raoult traitent celui-ci quasiment comme un oracle et attaquent quiconque lui adresse la moindre critique, les accusant d’être à la solde de l’industrie pharmaceutique. De l’autre, les opposants de M. Raoult sont persuadés de défendre la "science" contre des obscurantistes qui n’y comprennent rien, alors que l’épisode de l’étude du Lancet a montré qu’ils n’étaient pas beaucoup plus capables de lire une étude de façon critique que les gens dont ils passent leur temps à dénoncer l’inculture scientifique. (...)
Contrairement à la vision naïve qu’ont encore beaucoup de gens de la science, les scientifiques et les autorités scientifiques, comme les éditeurs de revues prestigieuses sont aussi des êtres humains qui font des erreurs, sont parfois incompétents et ne sont pas seulement motivés par la recherche de la vérité. La plupart des opposants à M. Raoult ont une croyance assez naïve dans les bienfaits de l’examen par les pairs ou "peer review" en anglais, du moins dans le cas des revues prestigieuses comme le Lancet.
Or, non seulement cette procédure est loin d’être une garantie de qualité, mais les gens qui ont l’habitude de lire la littérature scientifique savent très bien que des articles de qualité très douteuse voire franchement nuls sont régulièrement publiés, y compris dans des revues prestigieuses. (...)
Quoi qu’il en soit, il va falloir que les scientifiques apprennent à vivre avec la fin de ce mythe qui protégeait leur autorité. Une fois brisés les mythes ne ressuscitent jamais.
Lire aussi :
dérive - La médecine abordée comme un feuilleton
Fallait-il croire d’emblée l’étude rétrospective publiée par la revue médicale The Lancet qui interrogeait l’efficacité et l’innocuité du traitement proposé par Didier Raoult contre le Covid-19 ? Fallait-il en tirer des titres accrocheurs mais faux ? Pourquoi les journalistes ont-ils autant de difficultés à couvrir correctement la recherche scientifique ? Des chercheurs et des journalistes spécialisés analysent pour Arrêt sur images ce nouvel épisode en forme d’échec médiatique.