Hero for Crise de la réplicabilité en science
· Risk & Decision Making · 5 min de lecture
Français

Crise de la réplicabilité en science

Je me souviens d’être debout dans une salle de bain, les bras sur les hanches dans un superman pose, Fixant le miroir. « C’est bizarre » dit un côté de mon cerveau. « Mais… la science ! » l’autre partit de l’autre. Et voilà que je me tenais, posant dans la salle de bain, quelques minutes avant le début de mon entretien.

40 millions de vues et un TED talk incroyablement réussi plus tard, power posing était arrivé dans le grand public en 2014. C’était l’idée que poser pouvait renforcer le sentiment de confiance, d’où mon rituel avant l’entretien 1 Et puis tout a dérapé après multiple critiques, dont un de a co-author of the paper, disant que l’effet n’existait pas. Et maintenant, apparemment, la posture de pouvoir est back again. 2

Des histoires similaires se sont produites dans plusieurs résultats de recherches. 3 Comment cela devrait-il influencer ce en quoi nous croyons ? J’ai déjà écrit sur comment our beliefs could be problematic, même pour ceux qui adoptent une approche fondée sur des preuves. La continuité replication crisis en science, c’est une des raisons pour lesquelles je ressens cela. This video Il détaille en quoi beaucoup d’articles scientifiques ont tendance à être erronés. Il y a même a website qui suit les documents qui ont été rétractés. Ed Yong de The Atlantic dispose également d’un dossier bien sourcé article

Cela devrait s’attendre en partie à la science. Après tout, the scientific method est un processus continu, et nous devrions mettre à jour les informations obsolètes avec des résultats plus récents. La crise de la réplication semble cependant dépasser ce à quoi on pourrait s’attendre. Je trouve cela problématique quand je lis comment “It can be proven that most claimed research findings are false”. Comme décrit dans la vidéo ou les articles mentionnés ci-dessus, il semble y avoir plusieurs causes à cette crise, notamment le p-hacking répandu, le désalignement des incitations, ou l’inexactitude des études de réplication.

Par p-hacking, j’entends la flexibilité dans la collecte, l’analyse et le reporting des données qui pourrait increase false positive rates dans les expériences. Un exemple simple serait si vous aviez 98 étudiants dans votre expérience, et que vos résultats actuels sont juste au-dessus du seuil de signification statistique. Pourquoi ne pas en ajouter 2 de plus pour « arrondir » les choses ? Après tout, vous raisonnez, 2 étudiants ont initialement abandonné, donc cela ne devrait pas poser de problème. De petites décisions qui semblent insensées finissent par fausser les résultats.

Un problème connexe est la façon dont la plupart des études sont menées sur un échantillon culturel restreint. Si vous avez suivi un cours de psychologie à l’université, vous vous souvenez probablement d’avoir dû participer à des expériences pour atteindre des quotas Rats de laboratoire Sujets de test. Étant donné le nombre d’études utilisant des bénévoles universitaires comme échantillon, il est compréhensible que les résultats ne se reproduisent pas plus généralement. 4 More than 90 percent of research comes from studies on countries representing less than 15 percent of the population, ce qui est évidemment un problème si l’on veut dire que votre résultat est une découverte humaine fondamentale plutôt que limitée à un parcours spécifique. 5

Ce qui aggrave la situation, c’est que les incitations ne sont pas alignées pour la publication en papier. As I strongly believe in, Le désalignement des incitations entraîne de mauvais résultats. Les scientifiques sont incités à publier des articles, et publier de nouvelles observations est plus intéressant que de répéter des travaux anciens. Si les gens estiment qu’ils devraient viser la quantité plutôt que la quantité, et si les revues préfèrent les nouveaux plutôt que les anciens, il y a une incitation structurelle à promouvoir des articles aux résultats intéressants mais moins rigoureux.

La crise de la réplication ne se limite pas à la science non plus, avec généralement des anomalies financières failing to replicate too. Ici, cependant, une partie de la raison pourrait être que les anomalies sont arbitrées, donc c’est peut-être moins problématique. 6 Nous laisserons l’hypothèse du marché efficient pour un autre jour.

Que peut-on faire à ce sujet ? Je ne sais pas. 7 Une meilleure éducation en statistiques aiderait, même si vu la façon dont les gens continuent struggle with p-values et j’ai du mal avec a goat, 8 Je ne sais pas à quel point cela sera efficace. Certains des articles mentionnés ci-dessus proposent aussi des solutions, notamment un meilleur mentorat, une meilleure conception d’expériences et un meilleur enseignement.

Je suis totalement pour la science et la méthode scientifique, mais la crise de la reproductibilité pose problème. Je ne sais pas quelles solutions seront plus efficaces, même si j’espère qu’il y aura un plus grand alignement des incitations entre la science (apprendre quelque chose) et les scientifiques (publier quelque chose). Je pense que résoudre cela en premier aide probablement beaucoup à réduire les faux positifs.

Footnotes

  1. D’ailleurs, ça n’a pas du tout fonctionné. Mes entretiens cette année-là se sont tous très mal passés. J’ai mis la faute sur la pose de pouvoir et non sur moi-même. ↩

  2. Avec des réserves concernant la sensation de puissance versus les changements hormonaux après la pose ↩

  3. Un autre exemple célèbre est le hot hand fallacy, which might not be a fallacy anymore ↩

  4. Je ne connais pas vraiment le pourcentage, mais je suppose que la majorité des travaux concernent des étudiants de premier cycle enrôlés ↩

  5. Peut-être que les sciences sociales devraient s’orienter vers des conclusions plus segmentées et culturelles plutôt que vers des théories applicables à toute l’humanité, comme certains l’ont soutenu. Je ne sais pas assez pour me forger un point de vue ici. La science devrait être universelle, mais peut-être que les sciences sociales ne le sont pas ? ↩

  6. Par un autre côté, Cliff Asness débat de la robustesse de certaines anomalies dans l’investissement here ↩

  7. Si ce n’était pas encore très clair, je ne suis pas scientifique. À moins que mon badge de centre scientifique de l’école primaire ne compte. J’aimerais penser que oui, mais malheureusement, on m’a dit le contraire ↩

  8. Avant que quelqu’un n’envoie un mail, oui, je comprends le problème de Monty Hall. J’essaie juste de souligner que ce n’est pas intuitif ↩

Discussion

What did I miss?

Les désaccords réfléchis, les preuves supplémentaires et les autres façons de voir le problème sont les bienvenus.

Chargement de la discussion…

Vous préférez une conversation privée ? Écrire à Leon.

Articles similaires