Les économistes sont persuadés des vertus de la concurrence pour produire de la valeur sociale. La recherche scientifique a une grande valeur sociale. Il semblerait donc que la concurrence entre chercheurs pour produire de la recherche scientifique devrait être une bonne chose.

Eh bien non, pas forcément, selon un article qui paraîtra prochainement dans la prestigieuse American Economic Review (« One Swallow Doesn’t Make a Summer : New Evidence on Anchoring Effects », par Zacharias Maniadis, Fabiano Tufano et John A. List, à paraître).

L’explication ? Plus il y a de concurrence entre chercheurs, plus le risque est élevé que de faux résultats soient publiés. Pire encore, il est fort possible qu’une majorité d’hypothèses soutenues par des résultats publiés dans des revues scientifiques soient néanmoins fausses...

HYPOTHÈSES SURPRENANTES

Cette conclusion étrange est le résultat d’une asymétrie importante dans le processus de publication des résultats des études scientifiques. Les revues s’intéressent principalement à des hypothèses surprenantes, c’est-à-dire peu plausibles a priori.

Elles s’intéressent à des études qui confortent ces hypothèses, plutôt qu’à celles qui les rejettent. Ne vous attendez pas à voir les revues Nature ou Science publier des études montrant que l’eau coule de haut en bas dans les rivières au Bhoutan (Asie du Sud), ou que le QI des enfants qui naissent un jeudi est identique au QI de ceux qui naissent un mardi. Ne vous attendez pas non plus à ce que l’American Economic Review publie une étude affirmant que la plupart des résultats publiés dans les revues scientifiques soient vrais...

Le lecteur sait peut-être, ou apprendra sans doute, qu’une hypothèse est considérée comme validée par une étude si les résultats de cette étude ont une probabilité inférieure à un seuil faible (généralement 5 %) d’être obtenus dans le cas où l’hypothèse était fausse.

Or, moins l’hypothèse de départ est plausible, plus élevé sera le taux d’erreurs dans les résultats (les « false positives »). De la même manière, si une maladie est rarissime, même un test fiable à 95 % va générer davantage de diagnostics faux que de cas véritables.

RÉSULTATS « INTÉRESSANTS »

Or - c’est ici qu’intervient la contribution des auteurs -, plus il y a de chercheurs concurrents dans un domaine, plus il est probable qu’un d’entre eux va trouver par erreur des résultats qui semblent conforter l’hypothèse. Une étude publiée dans une revue augmentera notre confiance qu’une hypothèse soit vraie.

Mais si le point de départ est une probabilité très faible, et si beaucoup de chercheurs sont sur la piste de l’hypothèse, il reste toutefois toujours aussi probable qu’elle soit fausse.

C’est donc la combinaison de la concurrence entre chercheurs et le biais des revues vers des résultats « intéressants » qui fait penser que la plupart des résultats publiés dans les revues soient faux...

QUELLE SOLUTION ?

Le problème a dû s’aggraver ces dernières années, car l’amélioration de la formation des chercheurs tend à réduire le rôle des revues dans la détection des erreurs de méthode.

Les meilleures revues publient moins de 10 % des articles qui leur sont soumis, dont la majorité sont probablement le fruit d’études solides. Les revues sont donc de plus en plus amenées vers une sélection d’études à publier selon des critères de « pertinence » - c’est-à-dire d’intérêt pour les lecteurs.

Quelle serait la solution ? Des revues consacrées à des résultats peu intéressants ? Même si j’y croyais, la rédaction du Monde ne me permettrait jamais de plaider en faveur d’une solution si peu séduisante pour ses lecteurs...

Paul Seabright