Comment l’information scientifique est vérifiée # 3 : la reproductibilité des expériences
« Les scientifiques se plaignent d'une crise de la reproductibilité. De quoi s'agit-il exactement ? »

La vérité, en sciences, se construit par l’expérimentation de la théorie étudiée, qui en constitue une mise à l’épreuve dans des conditions données, comme l’exposait déjà Claude Bernard dans son Introduction à l’étude de la médecine expérimentale. Or, un résultat obtenu une fois ne peut, de ce point de vue, avoir grande valeur ; il faut, pour en garantir la fiabilité, que l’expérience soit reproductible et qu’une nouvelle expérimentation parvienne aux mêmes conclusions. C’est pourquoi la vérité se définit en science comme « ce qui n’a pas (encore) été réfuté  ». Or, cette reproductibilité de la recherche (de l’expérimentation en particulier) se heurte aujourd’hui à divers obstacles.

Les ressorts de la crise de la reproductibilité

« Reproductibilité » en science : de quoi s’agit-il ?

« La reproductibilité fait référence à la capacité d’un chercheur ou d’une équipe à reproduire les résultats d’une étude antérieure en s’appuyant sur les mêmes matériaux que ceux utilisés par le chercheur ou l’équipe initiale. Ce peut être la reproduction de l’expérience elle-même, mais aussi la réutilisation des données brutes pour reproduire de façon indépendante l’analyse statistique. La reproductibilité est une condition minimale nécessaire pour qu’une conclusion soit crédible et informative ».

Hervé Maisonneuve « Comment améliorer la reproductibilité de la recherche scientifique », site de l’Afis, 12/02/2019.

« Une « règle d’or » des sciences de la nature est que les expériences scientifiques puissent être reproduites en tous temps et en tous lieux (Mesirov, 2010), et en effet, le fonctionnement des sciences de la nature impose que les résultats publiés aient une fiabilité et une généralité suffisantes pour que d’autres travaux puissent les prendre comme base. En conséquence, les parties « Matériels et méthodes » des articles scientifiques, appuyées par les « Matériels supplémentaires » (Supplemental Materials) ou les « Articles de données » (Data Paper) (Inra, 2017) sont conçus par les auteurs, et évalués par les rapporteurs, de sorte que n’importe qui puisse obtenir les mêmes résultats que ceux qu’annoncent les auteurs en suivant les Notes Académiques de l’Académie d’agriculture de France. »

« La question de la reproductibilité des expériences scientifiques », Hervé This, article mis en ligne sur la plateforme en libre accès HAL, 13/02/2017.

Or, un article montre bien la complexité de cette exigence de reproductibilité :
« Reproduire un résultat scientifique : plus facile à dire qu’à faire », par Alexandre Hocquet (Professeur en histoire des sciences), The Conversation, 01/03/2020.

Quels enjeux ?

• Sans reproductibilité, manque de fiabilité de la science :

Dans son blog Rédaction médicale, consacré aux professions de santé désirant connaître le fonctionnement et les actualités des revues biomédicales, Hervé Maisonneuve propose différentes ressources sur ces questions, et notamment cet article : « Les 7 péchés mortels de la science : numéro 3, le manque de fiabilité car la reproductibilité est un mot tabou ! »(publié le 30/06/2017).

• Manque de confiance de la population dans l’activité scientifique :

Comment les Français perçoivent-ils la recherche scientifique ? Une étude d’opinion publiée en 2019 sur la confiance des Français dans la science dévoile qu’ils se montrent divisés sur les statuts des études scientifiques publiées en France : 45% les considèrent plutôt neutres et objectives, une courte majorité (55%), les considèrent plutôt orientées et les Français ont le sentiment qu’ils rencontrent fréquemment des contradictions dans les discours scientifiques sur un même sujet.

Mais pourquoi cette « crise » actuelle ? 

• Nature incertaine de la recherche scientifique :

« En 2005, John Ioannidis, professeur de médecine et chercheur à l’école de médecine de l’université Stanford, est l’un des premiers à faire état de la crise reproductibilité dans l’article suivant : Why Most Published Research Findings Are False. Il y expose, notamment que la nature incertaine de la recherche scientifique rend souvent difficile la détermination avec précision des causes de non-reproductibilité d’une expérience et ainsi rend improbable l’atteinte éventuelle d’un taux de validité des résultats de 100 % dans la littérature publiée »

Article Wikipédia consacré à la crise de la reproductibilité

Pour consulter l’article en question du professeur Ioannidis :
« Pourquoi la plupart des résultats de recherche publiés sont faux » (en), par John PA Ioannidis, publié sur la plateforme Plos, 30 août 2005.

• Fraude scientifique, problème éthique et conflits d’intérêt :

« La recherche scientifique est fondée sur la confiance que chaque chercheur a en ses pairs. Une découverte scientifique ne se fait pas en l’espace d’une unique carrière par un unique chercheur, mais chacun apporte sa contribution à un ensemble de connaissances préétablies dans et par la littérature scientifique. Pour que le système fonctionne, il faut que ces connaissances soient fiables et reproductibles. C’est-à-dire que n’importe quel chercheur dans le monde soit capable d’obtenir les mêmes résultats en utilisant la même méthodologie, mais son propre matériel. Les études basées sur des observations uniques – éthologie, cosmologie – sont des cas particuliers.
Mais en dehors de ces exceptions, il s’avère que de nombreux résultats figurant dans des publications scientifiques ne sont pas reproductibles. […]. Plusieurs raisons expliquent une non-reproductibilité des résultats : méthodologie bancale, analyses statistiques non appropriées, matériel intrinsèquement difficile à étudier. Mais il arrive aussi que des résultats soient volontairement erronés. Les actions de fraude qui vont à l’encontre d’un déroulement correct de la pratique scientifique ne sont pas très difficiles à circonscrire. Il s’agit des entorses délibérées, à caractère malveillant ou mensonger, à « l’objectité » et/ou à la « confiance collective » qui caractérisent la pratique scientifique. […] Celui qui invente des observations, les manipule ou les omet, enfreint d’un seul et même coup les deux contraintes : il falsifie la relation à l’objet et ment à ses collègues. » 

« Traitement médiatique des inconduites scientifiques : enjeux et stratégies d’acteurs. Exemples des “affaires” O. Voinnet, C. Jessus et A. Peyroche », par Éléonore Pérès, Mémoire en ligne sur la plateforme HAL, 2019. 

Cette fraude scientifique peut également être due à un problème éthique :

« C’est peut-être un problème éthique : un manque d’honnêteté intellectuelle, notamment dans l’usage cavalier de certains verbes comme « prouver » ou « démontrer », suscité par une excessive pression à la publication. Ou une sorte de paresse rassurante conduisant à penser qu’il suffit d’avoir un résultat statistiquement significatif pour prétendre avoir fait œuvre de scientifique. (…) Dans la course actuelle à la publication pour la publication (…), les scientifiques auraient tendance à ne plus être trop regardants sur la rigueur de leurs calculs statistiques, et la solidité de leurs découvertes s’en ressentirait. »

« Une crise de la reproductibilité de la science ? Non, c’est bien pire ! », par Erwan Lamy, 26/11/2017.

L’activité scientifique est devenue une course de vitesse qui engendre des conflits d’intérêts

Cette course de vitesse est à mettre en lien avec le fameux slogan « publish or perish », qui résume la situation délicate des scientifiques.

« Pour obtenir un poste intéressant, des subsides, une fonction académique, les chercheurs sont obligés de publier un maximum d’articles et d’être cités le plus possible dans les journaux scientifiques. On oublie qu’une publication a comme but principal d’apporter de nouvelles informations. Si ce n’est pas le cas, elle est inutile, coûteuse et chronophage. Or, la pression subie par les universitaires les incite quelquefois à publier « n’importe quoi », à perdre leur temps à faire leur promotion (y compris avec l’autocitation) afin de monter dans les classements. »

« Publication : la course à l’échalote », par Nadine de Vos, site de l’Afis (Association française pour l’information scientifique), mise en ligne le 16/09/2011.

Actualité du problème

Les questionnements sur la reproductibilité de la science ne sont pas tout à fait nouveaux. Ils dateraient des années 1950, selon cet article du blog d’Hervé Maisonneuve (médecin de santé publique et consultant en santé publique) : « La crise de reproductibilité de la science remonte aux années 1950s », par Hervé Maisonneuve, sur redactionmedicale.fr, mis en ligne le 02/01/2017. 
Mais ce problème a pris une acuité particulière. L’analyse de Monya Baker de 2016, intitulée « 1,500 scientists lift the lid on reproducibility » (1500 scientifiques soulèvent le couvercle de la reproductibilité), portant sur 1500 articles scientifiques montre que plus de 70 % des chercheurs ont essayé et échoué à reproduire les expériences d’un autre scientifique, et plus de la moitié n’ont pas réussi à reproduire leurs propres expériences. D’autant que la crise Covid-19 a contribué à le porter sur le devant de la scène avec la révélation de participation de revues scientifiques reconnues à cette crise de reproductibilité :

« L’étude frauduleuse sur les effets de l’hydroxychloroquine, publiée par la revue scientifique The Lancet en mai 2020, a fait scandale. Cette affaire pose de nombreuses questions sur les procédés de contrôle des études scientifiques publiées dans les revues les plus réputées. Comment ces publications scientifiques fonctionnent-elles, sur quels critères de qualité sont-elles classées et sur quoi repose leur prestige ? » 

« Étude retirée du Lancet : la science à l’épreuve des revues scientifiques ?  », par Pascal Hérard, site TV5 Monde, 17/07/2020.

Nous en avons, en France, un exemple avec les travaux du célèbre docteur Raoult.
« Chloroquine : les graves erreurs scientifiques de la méthode Raoult », par Marcus Dupont-Besnardnoy, revue Numérama, 31 mars 2020.

Des solutions pour envisager une sortie de crise ?

Des propositions de scientifiques

• Cadrage de l’activité par des règles de déontologie :

La Déclaration de Singapour sur l’intégrité en recherche, répertoriée dans les textes fondateurs sur le site Ouvrir la science (du Comité pour la science ouverte, CoSo) énonce 4 principes et 14 responsabilités pour une intégrité des recherches dont les principes 3 et 4 concernent la reproductibilité : 

« La déclaration énonce 4 principes et 14 responsabilités à appliquer pour que les recherches soient menées de manière intègre quel que soit le pays et la discipline scientifique. »

Cette déclaration énonce dans ses principes 3 et 4 en particulier :

« 3. Méthodologie: Les chercheurs doivent utiliser des méthodes appropriées, baser leurs conclusions sur une analyse critique de leurs résultats et les communiquer objectivement et de manière complète. 4. Conservation des données: Les chercheurs doivent conserver les données brutes de manière transparente et précise de façon à permettre la vérification et la réplication de leurs travaux. »

• Mise en place de modalités de recherche plus adaptées :

Le scientifique  John PA Ioannidis propose, dans l’article mentionné ci-dessus, différentes voies d’amélioration de la situation :

« Des preuves plus puissantes, par exemple des études de grande envergure ou des méta-analyses à faible biais, peuvent être utiles, car elles se rapprochent de la référence « or » inconnue. […] Deuxièmement, la plupart des questions de recherche sont traitées par de nombreuses équipes, et il est trompeur de souligner les résultats statistiquement significatifs d’une seule équipe. Ce qui compte, c’est la totalité des preuves. Diminuer les préjugés grâce à des normes de recherche améliorées et à la réduction des préjugés peut également aider. […] Enfin, au lieu de rechercher la signification statistique, nous devrions améliorer notre compréhension de la plage de valeurs R – les cotes pré-étude – où les efforts de recherche opèrent. »

« Pourquoi la plupart des résultats de recherche publiés sont faux », par John PA Ioannidis, plateforme d’articles Plos, publié le 30 août 2005.

Voir aussi les propositions contenues dans « A manifesto for reproducible science » (Un manifeste pour la science reproductible) par Marcus Munafò, Brian Nosek, Dorothy Bishop et al., Nature Human Behavior, 10/01/2017. (Nombreuses références bibliographiques disponibles en fin document.).

Le site Ouvrir la science (août 2019) publie le compte rendu de la journée d’étude du 29 mars 2019, par Caroline Abela, Martine Courbin-Coulaud et Sabrina Granger.
Les auteurs de ce compte rendu se focalisent sur les solutions proposées par les intervenants de la journée d’étude du 29 mars 2019 « Repenser la robustesse et la fiabilité en recherche : les chercheurs face à la crise de la reproductibilité. » Y étaient abordées les notions de robustesse, de fiabilité et d’incertitude dans des domaines disciplinaires variés.

Les réponses institutionnelles

Sorbonne Université a mis en place une délégation à l’intégrité scientifique pour promouvoir une culture de l’intégrité scientifique et traiter les signalements de manquements.

HEC et le CNRS ont mis en place une certification de la reproductibilité de la recherche scientifique, CASCaD, attribuée par un laboratoire ad hoc :
Présentation sur le site Ouvrir la science :

« HEC Paris, l’Université d’Orléans et le CNRS lancent CASCaD (Certification Agency for Scientific Code and Data) seul laboratoire public au monde spécialisé dans la certification de la reproductibilité de la recherche scientifique. Cette initiative scientifique sans but lucratif permet aux chercheurs de prouver le caractère reproductible de leur recherche. […] Elle garantit que les résultats numériques […] présentés dans une publication scientifique […] sont reproductibles en utilisant un ensemble identifiable de ressources numériques (code et/ou données) mises à disposition par les auteurs de cette publication. »

« CASCaD, la certification de la reproductibilité de la recherche scientifique », Ouvrir la science

Le Ministère de l’enseignement supérieur, de la recherche et de l’innovation, pour appliquer le Plan national pour la science ouverte de 2018, a mis en place un collège Données de la recherche, visant à « structurer et ouvrir les données de la recherche » pour rendre les données scientifiques F.A.I.R. (Findable, Accessible, Interoperable, Reusable). L’objectif de la science ouverte concernant les données est de « faire sortir la recherche financée sur fonds publics du cadre confiné des bases de données fermées. Elle réduit les efforts dupliqués dans la collecte, la création, le transfert et la réutilisation du matériel scientifique. Elle augmente ainsi l’efficacité de la recherche. » Ce faisant, cette structuration correcte et cette mise à disposition des données de recherche favorisent la reproductibilité.

Eurêkoi – Bibliothèque des sciences et de l’industrie et Bibliothèque publique d’information