De nombreux scientifiques, défenseurs ou non de l’utilisation de cet antipaludique pour traiter le Covid-19, pointent des zones de flou dans la méthodologie et réclament la transparence sur les données utilisées.

Elle a eu un retentissement et des répercussions considérables. L’étude sur la chloroquine et l’hydroxychloroquine parue le 22 mai dans le Lancet a conduit l’OMS à suspendre, par précaution, l’inclusion de nouveaux patients dans les essais cliniques menés sur l’hydroxychloroquine par ses partenaires dans plusieurs pays. En France, elle a eu pour conséquence de mettre un terme à son autorisation à l’hôpital, sur demande du gouvernement. Car cette nouvelle étude conclut à un effet nul, voire même néfaste de ces molécules sur les malades du Covid-19.

Mais quelques jours seulement après sa publication, l’étude est remise en cause. Non seulement par le professeur Didier Raoult, promoteur du traitement dans son IHU de Marseille, qui la trouve « foireuse », juge « questionnables » son « intégrité » et son « sérieux » et qui estime qu’elle repose sur du « big data mal maîtrisé ». Le chercheur marseillais a même signé une tribune dans Le Figaro vendredi 29 mai. Des défenseurs du médicament se prononcent aussi, dont le collectif de médecins Laissons-les prescrire qui dénonce un travail « totalement biaisé », mais également des dizaines d’experts médicaux, pas forcément défenseurs de la chloroquine, qui adressent une lettre ouverte pleine de reproches à ses auteurs et à la prestigieuse revue scientifique britannique. On compte certes parmi les signataires, le bras droit de Didier Raoult, Philippe Parola, mais aussi des chercheurs sceptiques sur l’intérêt de la molécule.

Cependant l’étude publiée dans le Lancet, la plus vaste à ce jour, s’ajoute à celles déjà parues dans trois autres revues médicales renommées, le Journal of the American Medical Association, le New England Journal of Medicine et le British Medical Journal, dont les conclusions sont elles aussi défavorables à la chloroquine et l’hydroxychloroquine. Alors, quelles sont les critiques faites aux derniers travaux en date ? Et sont-elles fondées ?

Des données à l’origine obscure

L’étude parue dans le Lancet n’est pas interventionnelle mais observationnelle. « Cela signifie que les auteurs ont récupéré des données de soins de patients après, a posterioi », explique Laurence Meyer, professeure de santé publique à l’université Paris Sud et directrice de recherche à l’Inserm. Les chercheurs ont étudié l’effet des traitements donnés sur les malades, sans intervenir sur le déroulement de la thérapie. Les données, précise la publication, ont été fournies par Surgisphere, une entreprise américaine basée à Chicago et spécialisée dans l’analyse de données de santé.

Ces informations médicales concernent plus de 96 000 patients et proviennent de 671 hôpitaux différents, répartis sur six continents. Des établissements en grande majorité nord-américains, mais aussi européens, asiatiques, africains et sud-américains dans une moindre mesure, mais dont l’étude ne précise ni les pays ni les noms, ce que les signataires de la lettre ouverte déplorent. Dans un communiqué rédigé en réponse aux interrogations soulevées par l’étude, Surgisphere explique que ces données viennent d’hôpitaux qui collaborent avec elle, mais que « nos accords d’utilisation des données ne nous permettent pas de les rendre publiques ».

Sur un blog de l’université new-yorkaise de Columbia, le statisticien Andrew Gelman relaie les observations de son collègue de l’université Mahidol de Bangkok (Thaïlande), James Watson : « Ils ne fournissent presque aucune information sur les différents hôpitaux : quels pays (…), comment les patients traités ou non traités sont répartis entre les hôpitaux, etc. » Or, savoir dans quels pays et dans quels hôpitaux les patients ont été pris en charge a son importance. « On aimerait savoir de quels pays, pas juste de quels continents ces données proviennent, car cela renseigne sur la qualité des systèmes de soins », pointe Dominique Costagliola, directrice adjointe de l’Institut Pierre-Louis d’épidémiologie et de santé publique. De plus, « il est mieux de comparer les évolutions selon le traitement au sein d’un même pays », car cela permet de mieux contrôler le facteur des différences de pratiques, ajoute la vice-doyenne déléguée à la recherche de la faculté de médecine de l’université de la Sorbonne.

De nombreux chercheurs font valoir que la transparence sur les données permet aussi d’évaluer en toute indépendance la qualité des travaux produits. « Les auteurs (…) peuvent-ils divulguer les noms des hôpitaux canadiens qui, selon eux, ont contribué à l’ensemble de données afin qu’ils puissent être vérifiés de manière indépendante », demande donc sur Twitter l’expert en maladies infectieuses à l’université canadienne McGill, Todd Lee.

En outre, une erreur a été repérée dans la base de données de Surgisphere, rapporte le Guardian. Les patients d’un hôpital en Asie ont été classés comme originaires d’Australie. « Cela montre la nécessité d’une vérification supplémentaire des erreurs dans la base de données », jugent les auteurs de la lettre ouverte. Surgisphere continue de défendre l’intégrité de ses données et le Lancet a publié un court erratum vendredi à ce sujet, assurant que cette erreur n’implique pas « de changements dans les conclusions du papier ».

L’étude du ‘Lancet’ n’est pas parfaite, mais aucune étude ne l’est.
Dominique Costagliola, directrice adjointe de l’Institut Pierre-Louis d’épidémiologie et de santé publique à franceinfo

Des flous dans la méthodologie

Les auteurs de l’étude omettent de mentionner des informations majeures à l’analyse rétrospective de leurs travaux, souligne Carole Dufouil, directrice de recherche à l’Inserm à Bordeaux. « Dans les études observationnelles, on a en général une population cible, avec des critères d’inclusion, et une population étudiée. Il est important de les comparer pour comprendre la sélection. Là, on n’a rien. Ni sur les critères d’inclusion, ni sur les pays, ni sur les hôpitaux. Et le fait qu’on ait un échantillon de grande taille n’y change rien. On doit pouvoir évaluer si des biais sont possibles. Dans ce cas, on ne peut pas », tranche l’épidémiologiste et biostatisticienne.

L’un des critères retenus par les auteurs pose également problème, selon Laurence Meyer. L’étude intègre les patients ayant débuté leur thérapie dans les 48 heures suivant le diagnostic mais sans prendre en compte l’état d’avancement de la maladie. « On ne sait pas complètement dans quel état ils sont. On ne sait pas à combien de temps après le début de la maladie ils sont », expose-t-elle. Avant de relativiser : « C’est le cas d’à peu près tous les essais en cours. »

L’article a de grosses failles méthodologiques qui peuvent remettre en question les conclusions de l’étude.
Carole Dufouil, directrice de recherche à l’Inserm à franceinfo

Dominique Costagliola pondère toutefois ces critiques : « Les auteurs ont utilisé plusieurs méthodes pour contrôler les facteurs de confusion [que sont l’âge, le sexe, l’ethnie, l’obésité, les maladies cardiaques ou pulmonaires ou le tabagisme] et évaluer l’impact éventuel d’un facteur de confusion qui n’aurait pas été présent dans la base de données. »

Ils ont par exemple calculé des scores de propension, souligne Laurence Meyer. Cette méthode statistique permet dans ce type d’étude de mesurer l’effet d’un traitement sur des groupes disparates, en tenant compte des nombreuses variables dites confondantes, risquant d’entraîner des biais d’analyse.

En dépit des réserves évoquées précédemment, Pierre-Yves Scarabin, médecin épidémiologiste et directeur de recherche émérite à l’Inserm, juge pour sa part sur son blog que la « méthodologie est appropriée », que « la gestion des facteurs de confusion est optimale » et « convaincante » et estime l’étude « bien menée ».

Une lacune dans l’étude

Plusieurs chercheurs reprochent également aux auteurs de ne pas avoir exploré un point crucial : l’effet dose, c’est-à-dire la quantité de chloroquine ou d’hydroxychloroquine à partir de laquelle la molécule s’avère néfaste pour le patient. « Si l’hydroxychloroquine ou la chloroquine tue des gens, vous vous attendez à un effet dose », insiste James Watson, cité par Andrew Gelman sur le blog de la Columbia.

Or, poursuit le statisticien, à l’heure actuelle, « il y a une très grande variation dans les doses qu’administrent les hôpitaux ». « Compte tenu de la taille de leur base de données [plus de 96 000 patients dans plus de 670 hôpitaux du monde entier], ils auraient pu essayer de montrer un effet dose », reproche l’épidémiologiste et biostatisticienne Carole Dufouil.

Des interrogations éthiques

Comment une étude portant sur plus de 96 000 patients a-t-elle pu être menée par quatre hommes seuls ? La publication ne compte en effet que quatre auteurs : Mandeep Mehra de la Harvard Medical School de Boston, Sapan Desai de l’entreprise Surgisphere, Frank Ruschitzka de l’hôpital universitaire de Zurich et Amit Patel du département d’ingénierie biomédicale de l’université de l’Utah à Salt Lake City.

Il est précisé que Sapan Desai était chargé de superviser l’acquisition et l’analyse statistique des données. Il apparaît donc évident que ce travail a été opéré par Surgisphere. Ce qui amène à se questionner sur la manière dont l’entreprise a acquis ces informations. « On peut s’interroger sur le type de partenariat qui leur a permis d’obtenir ces données. C’est du rarement, voire jamais-vu, en recherche biomédical », observe Carole Dufouil. En outre, remarque l’épidémiologiste, les auteurs « écrivent que la collecte de données, comme les analyses, sont exemptées d’évaluation éthique. Ça, c’est un mystère. » Les cosignataires de la lettre ouverte regrette eux aussi l’absence d' »examen éthique » des travaux.

« Les mauvaises études sont nombreuses, mais ce qui est gênant c’est qu’en plus, dans ce cas, elle ait passé en l’état l’examen de validation par des pairs, puis en interne par le Lancet », questionne la biostatisticienne Carole Dufouil. Interrogée par l’AFP, la revue fait savoir qu’elle a transmis les nombreuses questions soulevées – notamment par les signataires de la lettre ouverte – aux auteurs de l’étude, qui « travaillent pour répondre aux problèmes soulevés ».

Au total, les données posent problème, l’analyse a des lacunes majeures et on n’a pas l’assurance que tout cela a été fait selon les standards éthiques. Ce n’est pas sur la base de ce travail que l’on peut conclure définitivement à l’inefficacité de l’hydroxychloroquine.
Carole Dufouil, directrice de recherche à l’Inserm à franceinfo

Une étude qui n’est qu’observationnelle

Comme le fait valoir l’épidémiologiste Pierre-Yves Scarabin : « Cette étude reste observationnelle et son niveau de preuve ne peut être que limité. » Il ajoute : « D’où l’importance des essais randomisés en cours dont les résultats sont attendus avec impatience. » Un avis que partagent nombre de ses collègues. Mais « en matière d’études observationnelles, ce n’est jamais une seule étude qui va apporter la vérité, c’est un faisceau d’arguments qui se mettent à converger de plus en plus. Et c’est ce que l’on a », relève Laurence Meyer.

Pour Dominique Costagliola, cette étude « ne peut à elle seule être définitivement conclusive, mais elle justifie un arrêt de l’utilisation, en dehors d’essais cliniques randomisés bien conduits, car il n’y a aucune preuve d’une efficacité quelconque dans quelque étude solide que ce soit. » L’OMS a fait savoir que la suspension des essais impliquant l’hydroxychloroquine était « temporaire » et que ses experts rendraient leur « opinion finale » après l’examen d’autres éléments, notamment les analyses intérimaires de l’essai Solidarity, probablement d’ici à la mi-juin. Le feuilleton chloroquine n’est donc pas fini.