Dans la postface à l’édition de poche de leur brûlot, Pierre Cahuc et André Zylberberg persistent et signent en qualifiant de « recettes négationnistes » l’augmentation du Smic ou la réduction du temps de travail. Les économistes hétérodoxes qui proposent de telles mesures seraient selon eux assimilables aux climato-sceptiques qui sont « effectivement des négationnistes climatiques ». Et, « comme les climato-sceptiques en leur temps, les économistes “hétérodoxes” exercent une influence disproportionnée ». Mais il se trouve que les études « orthodoxes » auxquelles se réfèrent Cahuc et Zylberberg ne passent pas très bien l’épreuve de la « réplication » (la possibilité de reproduire leurs résultats).

 Premiers doutes

L’exemple le plus fameux est l’article de Carmen M. Reinhart et Kenneth S. Rogoff (« Growth in a Time of Debt ») démontrant qu’une dette publique dépassant 90 % du produit intérieur brut(PIB) conduit inéluctablement à une division par deux de la croissance. On connaît l’histoire : un étudiant de l’université du Massachusetts, Thomas Herndon, obtient de Carmen Reinhart le fichier Excel correspondant à l’étude et cherche à reproduire ses résultats. Il découvre alors toute une série de manipulations qui ne se limitent pas à une « erreur de codage ». Avec deux de ses professeurs qu’il a réussi à convaincre, il publie un article réfutant les résultats de Reinhart et Rogoff.

L’étude démontrant qu’une dette publique dépassant 90 % du PIB conduit inéluctablement à une division par deux de la croissance était truffée d’erreurs

Pour L. Randall Wray, un professeur à l’université de Missouri-Kansas City, la théorie de Reinhart et Rogoff est fondamentalement « bancale » (unsound) et Carmen Reinhart est « désemparée » (clueless) quand il s’agit de la défendre. Quant à Rogoff, il est incapable d’expliquer ce qu’est un credit default swap, comme le montre cette courte et hilarante séquence extraite du film de Michael Moore de 2009, Capitalism : A Love Story où Rogoff reconnaît que tout cela est « assez exotique » (pretty exotic). Wray en conclut que cette recherche est de la m… (crap).

 De la « réplicabilité »

Le point de départ de réplicabilité en économie pourrait être un article de Walter S. McManus paru en 1985 dans le Journal of Political Economy, dans sa rubrique « Confirmations and Contradictions ». L’article est assez fascinant et provocateur. Il cherche à montrer comment un chercheur va privilégier certaines variables explicatives en fonction de ses présupposés théoriques ou idéologiques. McManus construit cinq catégories de chercheurs qui traitent de cette question : la peine de mort est-elle dissuasive ? Ils disposent des mêmes données empiriques sur le nombre d’exécutions, les durées d’incarcération, etc. Le résultat de sa simulation est frappant. Comme les données ne sont pas suffisantes pour trancher, les chercheurs vont choisir les spécifications en fonction de leurs inclinations et leurs résultats seront divergents : « Les chercheurs “de droite”, les “maximisateurs rationnels” et les partisans du “œil pour œil, dent pour dent” trouveront que le châtiment dissuade les meurtriers potentiels, tandis que les “compatissants” et les spécialistes des crimes passionnels affirmeront qu’il n’y a pas d’effet dissuasif significatif. »

Quand on refait les études empiriques des économistes, on ne retrouve le même résultat qu’une fois sur deux !

Curieusement, alors qu’elles donnent des résultats incertains, les données empiriques de cet article vont être reprises à titre d’exemple numérique par Gangadharrao Soundalyarao Maddala dans sa classique Introduction to econometrics. Et cette chaîne bizarre continue avec un article de 2004, où Houston Stokes, un autre geek de l’économétrie, cherche à reproduire cet exemple numérique, sans y parvenir. Le problème est ensuite repris par McCullough et Vinod, qui concluent que si un économétricien aussi expérimenté que Maddala peut se tromper sur la méthode « alors tous les économistes feraient bien de se méfier ». Ces deux économistes, qui suivent la politique de réplication initiée par l’American Economic Review, déplorent la réticence de nombreux auteurs et revues à fournir leurs données sous une forme utilisable.

Dans la foulée de ces travaux, les études de réplicabilité se sont multipliées et il existe même un site, The Replication Network, qui les répertorie. Parmi les contributions récentes, celle d’Andrew C. Chang and Phillip Li a eu un certain écho. Ces deux économistes qui travaillent auprès du Board of Governors of the Federal Reserve System ont pris le taureau par les cornes. A la question de savoir si la recherche économique est reproductible (replicable), leur réponse est sans appel : « non, en général » (usually not). Ils n’ont en effet réussi à reproduire les résultats que sur la moitié de leur échantillon (29 articles sur 59) et ils affirment donc que « la recherche économique n’est généralement pas reproductible ». Un sacré coup porté à la « scientificité » des méthodes employées.

Les « revues académiques », qui sont pour Cahuc et Zylberberg l’alpha et l’oméga, ont donc bon dos : elles ont publié des articles qui ne respectent pas ce critère essentiel de scientificité que représente la reproductibilité. Le filtre de l’examen par des pairs – qui manifestement n’ont pas fait leur travail – est en pratique une véritable passoire : quand vous lisez un article savant, il y a une chance pour deux pour qu’il ne soit pas digne de confiance !

 Du côté des climato-sceptiques

Les choses sont très différentes pour la « science naturelle » qui travaille sur l’environnement : les truqueurs y sont impitoyablement débusqués. On ne résiste pas à la tentation de revenir sur ce sommet qu’a constitué le livre de Claude Allègre, L’imposture climatique, avec en particulier un graphique où il avait corrigé à la main la courbe de la température pour montrer qu’elle ne suivait plus celle des émissions de CO₂ ! Cette « contribution » a été rapidement déconstruite notamment par Sylvestre Huet, le chroniqueur scientifique de Libération.

Une fois les erreurs corrigées les 3 % d’études climato-sceptiques donnent les résultats du consensus

Un recensementdes publications portant sur le climat montre que seulement 3 % d’entre elles refusent les principales conclusions du Giec. Un groupe de chercheurs a récemment sélectionné un échantillon de ces études climato-sceptiques et cherché à en reproduire les résultats. L’une des membres de ce groupe, Katharine Hayhoe, résume ainsi leur constat : « Toutes ces études contenaient une erreur – dans leurs hypothèses, leur méthodologie ou leur analyse – qui, une fois corrigée, restituait des résultats conformes au consensus scientifique. »

Plus précisément, les conclusions de l’étude pointent : « l’élimination des informations qui ne correspondent pas aux conclusions (cherry picking) (…) des résultats qui ne sont pas universellement valables, mais sont plutôt un artefact produit par un dispositif particulier (…) de fausses dichotomies, des méthodes statistiques inappropriées ou des conclusions fondées sur une physique erronée ou incomplète. » La coupe est pleine !

Un autre des auteurs, Dana Nuccitelli, insiste sur la méthode de lissage des courbes (curve fitting) qui consiste à étirer des variables jusqu’à ce qu’elles s’ajustent à la courbe de la température. Il vise particulièrement un article de Ole Humlum et alii à propos duquel il cite cet aphorisme attribué à John von Neumann : « Avec quatre paramètres, je peux dessiner un éléphant, et avec cinq, je peux le faire gigoter. »

 Pourquoi un Giec économique n’est pas possible

Le démontage des études plus ou moins bidonnées ne suffit évidemment pas, car le discours des « sceptiques » se propage par d’autres voies que celles du débat scientifique

Le démontage des études plus ou moins bidonnées ne suffit évidemment pas, car le discours des « sceptiques » se propage par d’autres voies que celles du débat scientifique. Mais l’assimilation des « hétérodoxes » aux « climato-sceptiques » que Cahuc et Zylberberg n’hésitent pas à suggérer pose une autre question : pourquoi le consensus à 97 % qui existe sur le climat n’est-il pas possible en économie ?

La réponse de fond est que l’économie est une science sociale et que le champ de la recherche économique n’est pas structuré comme peut l’être le Giec, qui est un remarquable exemple de coopération scientifique. Cette différence est brouillée par la volonté des économistes de singer les sciences « dures ». Leur importation non maîtrisée des méthodes quantitatives fait que les véritables problématiques économiques ne sont très souvent que prétexte à de purs exercices de virtuosité économétrique. Beaucoup de ces études n’ont aucun intérêt et ne sont pas forcément « réplicables » : ce sont elles dont on gagnerait peut-être à se « débarrasser ».

Michel Hussonstatisticien et économiste français travaillant à l’Institut de recherches économiques et sociales, membre de la Commission d’audit pour la vérité sur la dette grecque depuis 2015. http://hussonet.free.fr/fiscali.htm