Pourquoi les scientifiques continuent-ils à chercher un résultat statistiquement significatif alors qu'ils n'en ont pas trouvé au départ ?

The 

L'effet "regard ailleurs

a expliqué.
Bias

Qu'est-ce que l'effet "regard ailleurs" ?

L'effet "regardez ailleurs" décrit comment, lorsque les scientifiques analysent les résultats de leurs expériences, des résultats apparemment significatifs d'un point de vue statistique peuvent en fait être le fruit du hasard. L'une des raisons pour lesquelles cela peut se produire est qu'un chercheur a ignoré un résultat statistiquement non significatif qu'il avait trouvé précédemment, choisissant de "regarder ailleurs", c'est-à-dire de continuer à chercher un résultat significatif au lieu d'accepter ses résultats initiaux.

Où ce biais se produit-il ?

Supposons que votre ami David soit un chercheur en médecine qui essaie de mettre au point un médicament qui aidera les gens à se remettre plus rapidement d'un rhume. Il réalise une expérience au cours de laquelle il teste son nouveau traitement, recueille un grand nombre de données et les analyse à l'aide de tests statistiques. Son analyse ne révèle aucun effet significatif du traitement sur le temps de guérison des patients.

David est d'abord déçu, puis il se dit que s'il n'a pas trouvé de résultat significatif, c'est peut-être parce qu'il n'a pas cherché au bon endroit. Après avoir effectué quelques tests différents, il finit par trouver un effet statistiquement significatif : le groupe traité a signalé moins de symptômes de maux de tête que le groupe témoin. C'est un succès !

Références

  1. Camerer, C. F., Dreber, A., Forsell, E., Ho, T. H., Huber, J., Johannesson, M., … & Heikensten, E. (2016). Evaluating replicability of laboratory experiments in economics. Science351(6280), 1433-1436.
  2. Engber, D. (2019, April 19). Think psychology’s replication crisis is bad? Welcome to the one in medicine. Slate Magazine. https://slate.com/technology/2016/04/biomedicine-facing-a-worse-replication-crisis-than-the-one-plaguing-psychology.html
  3. Goldman, M. (2008). Why is multiple testing a proble,? [PDF]. The University of California, Berkeley. https://www.stat.berkeley.edu/~mgoldman/Section0402.pdf
  4. Koehrsen, W. (2018, February 7). The misleading effect of noise: The multiple comparisons problem. Medium. https://towardsdatascience.com/the-multiple-comparisons-problem-e5573e8b9578
  5. Kahneman, D. (2011). Thinking, fast and slow. Macmillan.
  6. Ackerman, C. E. (2016, September 1). Pollyanna principle: The psychology of positivity bias. PositivePsychology.com. https://positivepsychology.com/pollyanna-principle/
  7. Lovallo, D., & Kahneman, D. (2003, July). Delusions of success: How optimism undermines executives’ decisions. Harvard Business Review. https://hbr.org/2003/07/delusions-of-success-how-optimism-undermines-executives-decisions
  8. Aronson, E., & Mills, J. (1959). The effect of severity of initiation on liking for a group. The Journal of Abnormal and Social Psychology59(2), 177-181. https://doi.org/10.1037/h0047195
  9. Larson, R. C., Ghaffarzadegan, N., & Xue, Y. (2014). Too many PhD graduates or too few academic job openings: the basic reproductive number R0 in academia. Systems research and behavioral science31(6), 745-750.
  10. Inzlicht, M. (2020, June 26). The replication crisis is not over. Michael Inzlicht. https://michaelinzlicht.com/getting-better/2020/6/26/the-replication-crisis-is-not-over
  11. Center for Open Science. (n.d.). Preregistrationhttps://www.cos.io/initiatives/prereg
  12. In praise of replication studies and null results, Nature 578, 489-490 (2019).
  13. Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine2(8), e124.
  14. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science23(5), 524-532.
  15. Yong, E. (2018, November 19). Psychology’s replication crisis is running out of excuses. The Atlantic. https://www.theatlantic.com/science/archive/2018/11/psychologys-replication-crisis-real/576223/
  16. Flender, S. (2019, July 28). The statistics of the improbable. Medium. https://towardsdatascience.com/the-statistics-of-the-improbable-cec9a754e0ff
  17. Dawid, R. (2015). Higgs discovery and the look elsewhere effect. Philosophy of Science82(1), 76-96.
Notes illustration

Vous souhaitez savoir comment les sciences du comportement peuvent aider votre organisation ?