Diffuser des résultats négatifs

Les données négatives : la partie immergée de l’iceberg des publications scientifiques

Accueil Bonnes pratiques Diffuser des résultats négatifs Les données négatives : la partie immergée de l’iceberg des publications scientifiques

Sommaire

I didn’t fail. I’ve just found 10 000 ways that won’t work.

Thomas Edison

A la fin du 19ème siècle, l’expérience de Michelson et Morley tentait de mettre en évidence la vitesse de rotation de la Terre au regard des propriétés de l’éther luminifère, ce “fluide” supposé remplir l’espace et servir de support de propagation de la lumière. A la suite de nombreuses expériences répétées sur plusieurs années, ces deux scientifiques n’ont jamais pu démontrer l’objet de leur étude, n’obtenant que des résultats négatifs. Pourtant, leurs travaux ont été le terreau de ce qui deviendra, quelques décennies plus tard, la théorie de la relativité d’Einstein. Ces résultats dits “négatifs”, car non-concluants, ont ainsi contribué à l’une des plus grandes découvertes scientifiques.
 
Aujourd’hui pourtant, les résultats négatifs occupent une place quasiment anecdotique dans le paysage des publications scientifiques. Pouvant être considérés comme un élément peu flatteur dans la carrière des chercheurs, ils sont néanmoins indissociables de leur travail. « Comme le reconnaissent largement les philosophes des sciences, nous pouvons tous apprendre de nos erreurs et ces dernières peuvent mener à des découvertes si elles sont correctement diagnostiquées. Mais les échecs ne sont encore que trop rarement communiqués et publiés, malgré le fait qu’ils représentent la majeure partie des résultats obtenus par les chercheurs », témoignent plusieurs chercheurs dans un article issu d’un colloque sur l’hydrologie organisé à Paris [1].

Dans le contexte actuel de questionnement de la valeur des productions scientifiques, de leur évaluation et de leur “ouverture”, certaines revues font évoluer leur ligne éditoriale dans un sens plus favorable aux données négatives. Tour d’horizon d’un enjeu peu présent dans les agendas institutionnels, mais dont l’intérêt scientifique est pourtant reconnu.

Qu’est-ce qu’un résultat négatif ?

Le résultat d’une expérience est désigné comme “négatif” lorsqu’il ne permet pas de valider avec une puissance statistique suffisamment forte l’hypothèse formulée au départ. Ce non-aboutissement n’est pas forcément synonyme d’échec. Il peut aussi produire un résultat inattendu susceptible d’être exploré. Les résultats dits « négatifs », plus agréablement désignés comme « non-concluants », sont ainsi à distinguer des résultats « positifs », qui parviennent à corroborer l’hypothèse formulée au départ.

Toutefois, le concept de « résultats négatifs » souffre d’une absence de définition communément admise. Il peut englober de très nombreuses notions. Selon Rémi Thomasson, chercheur en biologie et co-fondateur de la revue Negative Results [2], les résultats négatifs peuvent également désigner des résultats qui « entrent en opposition » avec des connaissances préexistantes. Ce cas de figure se présente lorsque malgré de multiples tentatives, un chercheur ne parvient pas à reproduire une expérience dans le cadre de résultats déjà publiés. Les résultats obtenus seraient ainsi en opposition avec l’état des connaissances initiales et seraient qualifiés de négatifs.

L’état actuel des publications

Quelle place les résultats négatifs occupent-ils dans la littérature scientifique ? Une étude [3] publiée en 2012 s’est intéressée à la proportion de résultats positifs et négatifs pour des articles publiés entre 1990 et 2007. Les auteurs concluent à une augmentation de 20% de la publication des articles à “résultats positifs”, qui représenteraient aujourd’hui près de 86% des articles publiés, au détriment des résultats dits non-concluants, qui perdent en visibilité.

Ce constat est paradoxal. En effet, une étude espagnole [4] publiée en juin 2021 s’est intéressée à la perception des chercheurs à l’égard des résultats négatifs : 79% des répondants ne considèrent pas l’obtention de résultats négatifs comme néfaste et 82% estiment que ce type de données devrait être diffusé plus largement. En revanche, seuls 14% des répondants avouent avoir déjà tenté de publier leurs résultats. Comment expliquer un tel écart entre la volonté des chercheurs de publier des résultats négatifs et leur faible taux de représentativité dans la littérature scientifique ?

Les causes de cette sous-représentation

Plusieurs raisons peuvent expliquer le manque de visibilité des résultats négatifs. Cette même étude indique que le manque de mobilisation des chercheurs est le premier facteur. Ces derniers ne souhaitent pas consacrer du temps de rédaction à une activité jugée secondaire, entrant potentiellement en concurrence avec d’autres tâches plus valorisantes ou indispensables. Ce phénomène a ainsi été qualifié de “biais de publication” ou encore “d’effet tiroir” [5], en référence au fait que les chercheurs, moins enclins à attribuer du temps à la publication de ce type de résultats, conservent ces données au fond de leurs tiroirs sans jamais leur donner de visibilité.

Le deuxième facteur est structurel : les éditeurs privilégient la publication de découvertes de pointe susceptibles de faire l’objet de nombreuses citations au sein de la communauté disciplinaire concernée. Cette tendance a deux effets pervers. D’une part, elle tend à restreindre la liberté de publication des chercheurs. D’autre part, le principe du “publish or perish”, dans lequel les données négatives n’ont pas vraiment leur place, fait peser un risque sur la fiabilité des contenus publiés [6]. Ainsi, des pratiques telles que le HARKing (pour Hypothesing After the Results are Known, une pratique consistant à formuler l’hypothèse après avoir réalisé l’expérimentation afin de valider l’hypothèse formulée) ou encore le p-value hacking (le fait de ne garder que les résultats statistiquement viables afin de confirmer l’hypothèse de départ) sont des dérives apparues dans ce contexte concurrentiel.

Enfin, la qualité des résultats négatifs publiés (comme de toute donnée sujette à plusieurs biais) est tributaire de plusieurs facteurs qui doivent être pris en compte avant de conclure définitivement à une hypothèse non-probante : échantillons étudiés trop peu nombreux, test statistique à faible puissance, erreur dans le protocole, instrument mal calibré etc. Ces aléas, de nature à altérer la fiabilité des données négatives, doivent être pris en compte.

Les conséquences d’un déficit d’accès aux données négatives

Comme vu précédemment, les résultats négatifs ont tendance à disparaître de la littérature scientifique. Cette évolution n’est pas sans conséquences. En effet, elle induit une vision incomplète de l’état des différents domaines de la science [7]. Or, l’accès à une vision moins lacunaire de l’état d’avancement d’un domaine pourrait avoir un effet bénéfique sur les chercheurs qui gagneraient du temps en écartant les hypothèses de recherche déjà invalidées par ailleurs.

Les éditeurs commerciaux seront-ils susceptibles d’infléchir leur politique éditoriale ? C’est peu probable, selon Bernard Rentier, ancien recteur de l’Université de Liège et auteur de Science ouverte, le défi de la transparence. « L’interaction entre les chercheurs doit donc inclure l’ensemble des accomplissements de recherche, qu’ils soient glorieux ou non. Seules des plateformes publiques seront à même de publier des résultats négatifs et il faudra veiller à ce qu’elles le fassent effectivement ». A ce jour, peu d’initiatives ont émergé, à l’exception du projet associatif Gaffex porté par le chercheur Gilmary Gallon, qui travaille actuellement à la mise en place d’une plateforme de partage « d’expériences ratées », dont la version bêta est en cours d’élaboration.

Les solutions proposées

Dès 1997, le Forum for Negative Results du Journal of Universal Computer Science voit le jour, permettant aux chercheurs de partager et d’échanger autour de leurs résultats négatifs dans le domaine des sciences computationnelles. Par la suite, plusieurs solutions émergent au sein des différentes communautés scientifiques, facilitées par l’appui encore très ponctuel de certains éditeurs : Des revues scientifiques permettent une mise en avant des résultats négatifs :
– Une section dédiée dans la revue PlosONE par exemple a été créée dans cette optique.
– Les revues ACS Omega, F1000Research, OSA Continuum ont entrepris la même démarche. Cette dernière a par ailleurs lancé un appel aux chercheurs il y a quelques années pour les inciter à publier leurs résultats négatifs. Pendant une période limitée, la revue dispensait ainsi les auteurs des frais de publication s’ils soumettaient des articles fondés sur des expériences infructueuses.
– Nature Communications indique accepter les résultats cliniques dits négatifs lorsqu’ils présentent un intérêt élevé pour la communauté.
– En octobre 2020, l’éditeur IOP a quant à lui annoncé une révision de sa politique éditoriale, à travers la revue IOP SciNotes notamment.
– PeerJ permet également la publication de résultats négatifs. Voici un exemple d’article consultable ici, accompagné des commentaires des trois relecteurs.
– BMC research notes a lancé une collection consacrée aux résultats négatifs.
– L’American Heart Association a récemment fait de même avec le lancement de « Null Hypothesis Collection. »
– L’Université d’Utrecht a lancé le Journal of trial and error (JOTE) disponible en accès ouvert et sans frais de publication.
– La revue Journal of Biological Chemistry affirme, par le biais d’un édito, que « toutes les données primaires, négatives comme positives, devraient être mises à disposition dans des entrepôts publics, accessibles à tous ».
– Le Journal of Articles in Support of the Null Hypothesis est également une revue publiant les résultats négatifs en psychologie.
– Emergent Scientist, qui valorise les publications de chercheurs en devenir (niveau master) en les invitant à fournir une “dead-end section” exposant leurs résultats négatifs en physique et mathématiques.
– Negative Results est une revue entièrement dédiée à la publication de résultats négatifs. Créée par des chercheurs français, elle se concentre sur la publication de résultats négatifs dans le domaine de la biologie.
– Journal of Pharmaceutical Negative Results est également une revue focalisée sur la publication de ce type de résultats. Comme son nom l’indique, cette revue est orientée vers la publication de résultats dans le domaine pharmaceutique.
– NeuroImage: Reports est une revue en accès ouvert, dont la première parution date de 2021. Sa ligne éditoriale assume un positionnement « non-traditionnel » et « innovant », favorable aux résultats négatifs et études de réplication en neurosciences. La revue encourage les auteurs à soumettre ce type d’articles en les exonérant de tout frais de publication.

Assez souvent, des titres émergent puis finissent par péricliter. C’est par exemple le cas de New Negatives in Plant Science, dont la parution, lancée en 2015, s’est éteinte au bout d’un an seulement.

  • Du côté des agrégateurs de références bibliographiques, les expériences inabouties peuvent aussi être référencées. C’est le cas de SciFinder-n, en chimie, qui donne la possibilité d’explorer les réactions chimiques qui ont échoué et de consulter en commentaire quelles en sont les causes, lorsque celles-ci sont renseignées.
  • Le recours aux cahiers de laboratoire électroniques. En favorisant la préservation et le partage des protocoles d’expériences, les chercheurs peuvent plus facilement retrouver les expériences infructueuses et les rendre disponibles, sans que cette tâche ne soit trop chronophage.
  • Valoriser la publication de résultats non-probants. C’est l’objectif du prix de l’ENCP Negative Results Prize, qui récompense les meilleurs résultats négatifs dans le domaine médical.

Pour aller plus loin…

– True or False: Publishing Negative Results Ruins Your Science Career
– Be positive about negatives–recommendations for the publication of negative (or null) results
– Invisible science: publication of negative research results
– Highlight Negative Results to Improve Science
– It’s time for positive action on negative results

​

  1. Andréassian, Vazken, et al. « The Court of Miracles of Hydrology: can failure stories contribute to hydrological science? » Hydrological Sciences Journal, vol. 55, no 6, août 2010, p. 849‑56. Taylor and Francis+NEJM, doi:10.1080/02626667.2010.506050. Disponible : https://www.tandfonline.com/doi/pdf/10.1080/02626667.2010.506050?needAccess=true
  2. Mise en valeur des résultats négatifs
  3. Fanelli, D. “Negative results are disappearing from most disciplines and countries.” Scientometrics 90 (2011): 891-904.
  4. Lucía Echevarría, Alberto Malerba, and Virginia Arechavala-Gomeza.Nucleic Acid Therapeutics.Jun 2021.185-189. http://doi.org/10.1089/nat.2020.0865
  5. Bernard R, Weissgerber TL, Bobrov E, Winham SJ, Dirnagl U, Riedel N. fiddle: a tool to combat publication bias by getting research out of the file drawer and into the scientific community. Clin Sci (Lond). Portland Press; 30 oct 2020;134(20):2729‑39 Disponible : https://portlandpress.com/clinsci/article/134/20/2729/226790
  6. Sharma H, Verma S. Is positive publication bias really a bias, or an intentionally created discrimination toward negative results? Saudi J Anaesth. 2019;13(4):352‑5. Disponible : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6753760/
  7. Mlinarić A, Horvat M, Šupak Smolčić V. Dealing with the positive publication bias: Why you should really publish your negative results. Biochem Med (Zagreb) [En ligne]. 15 oct 2017 [cité le 16 nov 2020];27(3). Disponible: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5696751/