¿Por qué los científicos siguen buscando un resultado estadísticamente significativo después de no haberlo encontrado inicialmente?

The 

Efecto de búsqueda en otra parte

explicó.
Bias

¿Qué es el efecto "mirar a otro lado"?

El efecto "buscar en otra parte" describe cómo, cuando los científicos analizan los resultados de sus experimentos, es posible que resultados aparentemente significativos desde el punto de vista estadístico se hayan producido por casualidad. Una de las razones por las que esto puede ocurrir es que un investigador haya ignorado un resultado estadísticamente insignificante que había encontrado anteriormente, optando por "buscar en otra parte", es decir, seguir buscando un resultado significativo en lugar de aceptar sus resultados iniciales.

Dónde se produce este sesgo

Supongamos que tu amigo David es un investigador médico que intenta desarrollar un fármaco que ayude a la gente a recuperarse más rápidamente de los resfriados. Lleva a cabo un experimento en el que prueba su nuevo tratamiento, recoge un montón de datos y los analiza mediante pruebas estadísticas. Su análisis no encuentra ningún efecto significativo del tratamiento en el tiempo de recuperación de las personas.

Al principio, David se siente decepcionado, pero luego decide que tal vez la razón por la que no encontró un resultado significativo es que estaba buscando en el lugar equivocado. Tras realizar varias pruebas diferentes, acaba encontrando un efecto estadísticamente significativo: el grupo de tratamiento presentó menos síntomas de dolor de cabeza que el grupo de control. Todo un éxito.

Referencias

  1. Camerer, C. F., Dreber, A., Forsell, E., Ho, T. H., Huber, J., Johannesson, M., … & Heikensten, E. (2016). Evaluating replicability of laboratory experiments in economics. Science351(6280), 1433-1436.
  2. Engber, D. (2019, April 19). Think psychology’s replication crisis is bad? Welcome to the one in medicine. Slate Magazine. https://slate.com/technology/2016/04/biomedicine-facing-a-worse-replication-crisis-than-the-one-plaguing-psychology.html
  3. Goldman, M. (2008). Why is multiple testing a proble,? [PDF]. The University of California, Berkeley. https://www.stat.berkeley.edu/~mgoldman/Section0402.pdf
  4. Koehrsen, W. (2018, February 7). The misleading effect of noise: The multiple comparisons problem. Medium. https://towardsdatascience.com/the-multiple-comparisons-problem-e5573e8b9578
  5. Kahneman, D. (2011). Thinking, fast and slow. Macmillan.
  6. Ackerman, C. E. (2016, September 1). Pollyanna principle: The psychology of positivity bias. PositivePsychology.com. https://positivepsychology.com/pollyanna-principle/
  7. Lovallo, D., & Kahneman, D. (2003, July). Delusions of success: How optimism undermines executives’ decisions. Harvard Business Review. https://hbr.org/2003/07/delusions-of-success-how-optimism-undermines-executives-decisions
  8. Aronson, E., & Mills, J. (1959). The effect of severity of initiation on liking for a group. The Journal of Abnormal and Social Psychology59(2), 177-181. https://doi.org/10.1037/h0047195
  9. Larson, R. C., Ghaffarzadegan, N., & Xue, Y. (2014). Too many PhD graduates or too few academic job openings: the basic reproductive number R0 in academia. Systems research and behavioral science31(6), 745-750.
  10. Inzlicht, M. (2020, June 26). The replication crisis is not over. Michael Inzlicht. https://michaelinzlicht.com/getting-better/2020/6/26/the-replication-crisis-is-not-over
  11. Center for Open Science. (n.d.). Preregistrationhttps://www.cos.io/initiatives/prereg
  12. In praise of replication studies and null results, Nature 578, 489-490 (2019).
  13. Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine2(8), e124.
  14. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science23(5), 524-532.
  15. Yong, E. (2018, November 19). Psychology’s replication crisis is running out of excuses. The Atlantic. https://www.theatlantic.com/science/archive/2018/11/psychologys-replication-crisis-real/576223/
  16. Flender, S. (2019, July 28). The statistics of the improbable. Medium. https://towardsdatascience.com/the-statistics-of-the-improbable-cec9a754e0ff
  17. Dawid, R. (2015). Higgs discovery and the look elsewhere effect. Philosophy of Science82(1), 76-96.
Notes illustration

Eager to learn about how behavioral science can help your organization?