- Largeur.com - https://largeur.com -

Les sept péchés du peer review

Plus d’un million d’articles scientifiques sont publiés chaque année. Le système du peer review a été mis en place pour assurer leur qualité, mais il se voit remis en question aujourd’hui.

Large20150325.jpg

Jan Hendrik Schön, Yoshitaka Fujii, Woo Suk Hwang, Diederik Stapel: ces chercheurs ne sont pas célèbres pour leurs découvertes, mais pour avoir triché. Ils ont manipulé – voire inventé – des résultats expérimentaux afin de les publier dans des revues scientifiques prestigieuses telles que Science ou Nature.

Ces cas de fraude suggèrent que l’intégrité des chercheurs et le contrôle de qualité des publications scientifiques laissent à désirer. Un des piliers de ce dernier est le peer review, une évaluation par les pairs: avant d’être publié, tout article scientifique doit être examiné par deux ou trois experts du domaine qui recommanderont, ou non, sa publication.

Critiqué comme étant lent, biaisé et peu efficace, le système de peer review semble archaïque à l’ère du web 2.0. Présentation des problèmes et des solutions esquissées pour le faire évoluer.

LES PROBLEMES

Inefficace

Le peer review ne remplit pas toujours bien sa tâche première: éviter la publication de travaux erronés. Le problème a été mis en lumière de façon spectaculaire par deux études menées par Science en 2013 et le British Medical Journal en 2008. Des articles contenant intentionnellement des résultats erronés ont été envoyés à des centaines de revues qui les ont en majorité acceptés pour publication – les experts consultés n’ont pas détecté les erreurs, ou les ont ignorées.

Un système performant devrait aussi sélectionner les articles les plus pertinents et promouvoir la recherche de qualité. Mais le système en place tend à étouffer les voix originales et a dans le passé rejeté des travaux qui se sont ensuite révélés être dignes d’un prix Nobel. Il est très difficile pour les relecteurs d’identifier les travaux vraiment novateurs, qui souvent contredisent des théories établies.

Biaisé

Les experts tendent à favoriser — inconsciemment ou non — les articles provenant d’institutions renommées. En 1982 déjà, une étude menée par le journal Behavioural and Brain Sciences démontrait qu’un article provenant d’une université prestigieuse et qui avait été accepté était souvent refusé lorsqu’il était ensuite soumis à l’identique au nom de chercheurs travaillant dans des institutions de second rang.

Les experts, eux-mêmes normalement anonymes, tendent aussi à donner un avis favorable aux demandes de publication venant de collègues avec lesquels ils travaillent régulièrement. Jusqu’à la fraude: en 2014, une enquête de Nature a révélé que certains auteurs créaient de fausses identités pour ensuite juger leurs propres articles ou ceux de leurs amis.

Lent

Le rythme des avancées et des carrières scientifiques s’accélère, mais la publication d’un article prend encore énormément de temps: de quelques mois à plus d’une année lorsque les auteurs doivent apporter des clarifications ou font appel contre un refus de publication.

Néfaste

La course à la publication — le fameux «publish or perish» — encourage les chercheurs à travailler sur des projets susceptibles de paraître rapidement dans des bonnes revues — des sujets à la mode, avec des applications possibles et, par-dessus tout, uniquement composés de résultats positifs. Mais la science avance par tâtonnement et il serait crucial de disséminer autant les résultats négatifs que positifs, afin d’éviter que des chercheurs ne perdent leur temps sur des hypothèses mal étayées ou déjà réfutées par le passé. Reproduire des résultats déjà existants constitue une étape essentielle de la méthode scientifique, mais ne permet pas de publier.

Onéreux

Le peer review repose sur le travail bénévole de milliers d’experts universitaires, mais aussi sur celui, rémunéré, des employés des maisons d’édition. Les abonnements sont chers, et même les publications en libre accès ne font que déplacer les frais des bibliothèques (qui paient les abonnements) vers les chercheurs qui paient alors pour publier leur étude. Au final, le système fait des maisons d’édition des entreprises très rentables, affichant une marge opérationnelle de plus de 30%.

Obsolète

Passer par un journal scientifique n’est pas indispensable pour diffuser les résultats d’une étude. A l’ère du web 2.0 et des réseaux sociaux, certaines plateformes permettent à un chercheur de rédiger son article, de le publier en ligne et de prendre acte des commentaires postés non pas par un ou deux experts, mais par l’ensemble de la communauté scientifique. En comparaison, l’actuel système de publication semble archaïque, car il ne permet pas la prise en compte de commentaires apportés après la publication.

Une fatalité

Malgré ses défauts, le peer review est considéré par de nombreux scientifiques comme un moindre mal: en 2011, un rapport du parlement britannique le décrivait comme un système inefficace mais irremplaçable. La raison: les publications d’un chercheur dans des revues prestigieuses comptent énormément dans sa carrière, et le peer review joue un rôle essentiel dans leur évaluation.

LES SOLUTIONS

Un jugement global

Le peer review consulte deux ou trois experts, mais un article scientifique publié est lu par des dizaines, voire des centaines ou des milliers d’experts qui ont tous une opinion sur ses qualités et défauts. Une évaluation participative composée de commentaires et d’appréciations postés en ligne permettrait de les rassembler.

Publier d’abord, évaluer ensuite

Un article peut être rendu public avant toute forme d’évaluation afin de permettre à la communauté de le lire rapidement et d’en juger la qualité. Un exemple: en 2011, la communauté scientifique publiait sur Arxiv.org en moins de deux mois une soixantaine d’études en réponse à un article affirmant que des neutrinos produits au CERN allaient plus vite que la lumière — une réponse bien plus rapide et complète que le cas du peer review traditionnel.

Une vie après la publication

Sur certaines plateformes, chaque article en ligne peut être commenté, évalué voire noté par des experts. Les auteurs ont ensuite l’occasion de répondre aux critiques, d’expliquer les points obscurs, voire de modifier leur article si nécessaire. Dans ce contexte, les résultats publiés restent vivants, même après publication.

La fin de l’anonymat

Lever l’anonymat des experts pourrait instaurer une forme de contrôle social, utile pour brider la tendance au copinage. Cela pourrait même les encourager à contribuer par des commentaires, à l’instar de forums spécialisés où les experts qui répondent aux questions reçoivent des badges d’honneur — de quoi développer une «gamification» du peer review et une reconnaissance des critiques constructives. Des sites tels que F1000.com proposent déjà ce type de curation: 1’000 experts reconnus dans un domaine scientifique sont encouragés à recommander publiquement des articles qu’ils ont lus en expliquant pourquoi ils les ont trouvés intéressants.

L’exemple d’Arxiv.org

Physiciens, mathématiciens et chercheurs en informatique utilisent la plateforme Arxiv.org pour diffuser gratuitement une copie du manuscrit qu’ils soumettent à un journal scientifique. Fondée en 1991 et financée par l’université américaine Cornell, Arxiv.org contient près d’un million d’articles. Le site publie chaque année près de 100’000 nouveaux articles et fait circuler les résultats très rapidement. Au lieu d’attendre des mois qu’elles soient publiées par un journal, la communauté peut se tenir au courant des dernières découvertes en temps réel. Malgré l’absence d’évaluation par les pairs avant la mise en ligne, le site ne contient qu’un nombre restreint de travaux fantaisistes.

Une transition possible

Changer de système ne doit pas se faire abruptement. Des systèmes d’évaluation en ligne pourraient se développer en parallèle des journaux actuels, et les remplacer petit à petit. Un système d’évaluation collective pourrait d’abord se roder avec des articles déjà publiés en libre accès, ce qui éviterait par exemple les problèmes de copyright.
_______

Une version de cet article est parue dans le magazine Technologist (no 4).