Estimating the reproducibility of psychological science
Open Science Collaboration · 2015
💡
L'idée du livre
La mesure de référence du taux de réplication en psychologie : cent études tirées de trois grandes revues, répliquées le plus souvent avec l'aide de leurs auteurs d'origine. Le chiffre qui en sort n'est pas un taux de fausseté — c'est la part des effets d'origine compatibles avec la réplication.
En bref
- Le propos — 47 % des tailles d'effet d'origine tombent dans l'intervalle de confiance à 95 % de la réplication. Les autres chiffres célèbres de la même phrase — 36 % de réplications significatives, 39 % jugées répliquées — sont rapportés par le corpus sans être cités en verbatim, pour une raison technique documentée.
- Pour le facilitateur — C'est l'ordre de grandeur à retenir avant de reprendre n'importe quel résultat frappant de psychologie : environ la moitié des effets classiques testés tiennent. Ce n'est pas une raison de tout rejeter, c'est une raison de demander si quelqu'un a refait l'étude.
- ⚠️ La limite — Une réplication qui échoue ne démontre pas que l'effet n'existe pas ; elle retire le droit de l'affirmer. Et généraliser ces cent études à la validité d'un champ entier n'est pas autorisé par l'article.
🔑 Points clés
- Cent études, trois revues majeures, réplications menées avec l'aide des auteurs d'origine dans la majorité des cas.
- 47 % des tailles d'effet d'origine dans l'intervalle de confiance de la réplication.
- Ce n'est pas un taux de fausseté : l'échec retire une affirmation, il n'en établit pas l'inverse.
- Le chiffre le plus cité du champ — « Thirty-six percent » — contient dans le fichier source un trait d'union conditionnel invisible : le corpus le rapporte sans le citer en verbatim, plutôt que d'élargir sa normalisation pour le faire passer.
- Conséquence de méthode : une citation qui échoue sans raison visible doit faire soupçonner un caractère invisible, pas une erreur de lecture.
❝ Citations marquantes
« 47% of original effect sizes were in the 95% confidence interval of the replication effect size »
41_Canon_crise_de_la_replication.md
⚖️ Sa solidité, en mots
Étude collective à protocole ouvert, publiée dans Science. Le corpus en tire un ordre de grandeur, pas un verdict sur un champ.
↑ Sommaire