Many Labs 2: Investigating Variation in Replicability Across Samples and Settings
Richard A. Klein et al. · 2018
💡
L'idée du livre
L'étude construite pour tester l'objection standard aux échecs de réplication : « il fallait le bon contexte ». Les contextes ont été variés délibérément, sur 125 échantillons — et cela n'a pas ressuscité les effets manquants.
En bref
- Le propos — Vingt-huit effets classiques testés sur 125 échantillons volontairement hétérogènes, avec des protocoles relus avant la collecte. La moitié des effets montrent une évidence significative dans le même sens que l'étude d'origine.
- Pour le facilitateur — C'est la réponse empirique à l'argument des « modérateurs cachés ». Là où l'hétérogénéité existe, elle se concentre sur les gros effets — ceux qui répliquent —, pas sur les effets nuls. L'argument du contexte devient une hypothèse à tester, pas une explication acquise.
- ⚠️ La limite — Vingt-huit effets ne sont pas un champ. L'étude autorise à dire que la variation de contexte explique peu les échecs dans ce corpus précis, pas à généraliser au-delà.
🔑 Points clés
- 14 des 28 effets (50 %) montrent une évidence significative dans le même sens que l'original.
- L'hétérogénéité entre échantillons explique peu les échecs de réplication.
- La variation entre échantillons, contextes et procédures a un pouvoir explicatif modeste sur les 28 résultats étudiés.
- Protocoles relus avant collecte — le design vise explicitement l'objection des modérateurs cachés.
- Portée bornée : 28 effets, aucune généralisation à la psychologie entière.
❝ Citations marquantes
« Overall, 14 of the 28 effects (50%) showed significant evidence in the same direction as the original finding »
41_Canon_crise_de_la_replication.md
« heterogeneity across samples does not provide much explanatory power for failures to replicate. »
41_Canon_crise_de_la_replication.md
« Our results suggest that variation across samples, settings, and procedures has modest explanatory power for understanding variation in effects for 28 findings. »
41_Canon_crise_de_la_replication.md
⚖️ Sa solidité, en mots
Réplication multi-laboratoires à grande échelle, protocoles pré-relus, données ouvertes. Autorise une conclusion sur ces 28 effets, pas sur un champ.
↑ Sommaire