Cet article a été publié à l'origine dans [https://priceonomics.com/mechanical-turk-new-face-of-behavioral-science/] et appartient aux créateurs.
Le biais d'échantillonnage est l'une des choses les plus troublantes que l'on apprend en étudiant les sciences cognitives et comportementales.
En statistique, on parle de biais d'échantillonnage lorsque l'on fait des affirmations générales sur l'ensemble d'une population sur la base d'un échantillon qui ne représente qu'une partie particulière de cette population.
Imaginez que quelqu'un verse vingt balles de ping-pong jaunes dans un vase, puis vingt bleues. Si vous tirez immédiatement 10 balles du haut du vase, vous pourriez avoir l'impression erronée que toutes les balles du vase sont bleues.
Si vous secouez bien le vase avant de prélever votre échantillon, vous l'aurez randomisé, ce qui éliminera le biais d'échantillonnage.
De même, si vous réalisez une étude sur la psychologie ou le comportement humain et que l'échantillon n'est constitué que d'étudiants américains de premier cycle qui : (a) ont besoin d'argent pour la bière ou, pire encore, (b) sont obligés par les mêmes quelques professeurs de se porter volontaires comme sujets ; vous pourriez en ressortir avec l'impression erronée que tous les humains sont comme les étudiants occidentaux de premier cycle. Dans ces domaines, ils sont devenus le sujet standard de l'espèce dans son ensemble, un statut qu'ils ne méritent peut-être pas...
Dans une étude intitulée "Les gens les plus bizarres du monde", des chercheurs ont procédé à une sorte d'audit des études portant exclusivement sur des étudiants américains qui, entre autres similitudes, tendent à provenir de sociétés "occidentales, éduquées, industrialisées, riches et démocratiques (WEIRD)". Ils ont constaté que les étudiants américains de premier cycle étaient largement surreprésentés :
"67 % des échantillons américains [dans le Journal of Personality and Social Psychology en 2008] étaient composés uniquement d'étudiants de premier cycle dans des cours de psychologie. [...] Un étudiant américain de premier cycle sélectionné au hasard a plus de 4 000 fois plus de chances de participer à une recherche qu'une
personne sélectionnée au hasard en dehors de l'Occident.""
Ils ont ensuite comparé les résultats des études basées sur le modèle WEIRD à ceux d'études portant sur le même effet, mais dont l'échantillon provenait de populations n'appartenant pas au modèle WEIRD.
"Les domaines examinés comprennent la perception visuelle, l'équité, la coopération, le raisonnement spatial, la catégorisation et l'induction inférentielle, le raisonnement moral, les styles de raisonnement, les concepts de soi et les motivations connexes, ainsi que l'héritabilité du QI. Les résultats suggèrent que les membres des sociétés WEIRD, y compris les jeunes enfants, font partie des populations le
s moins représentatives que l'on puisse trouver pour généraliser sur les humains.""
"Dans l'ensemble, ces modèles empiriques suggèrent que nous devrions être moins cavaliers lorsque nous abordons les questions de nature humaine sur la base de données tirées de cette tranche particulièrement mince
et plutôt inhabituelle de l'humanité.
Le problème, c'est que les étudiants de premier cycle sont faciles - ils sont là, ils ne coûtent pas cher, ils ont peu de scrupules à se sacrifier pour la science. Ils sont au "sommet du vase". C'est ce qu'on appelle "l'échantillonnage de commodité".
Alors, comment les chercheurs peuvent-ils efficacement et économiquement "secouer le vase" et obtenir un échantillon plus représentatif de l'ensemble des humains ? Nombreux sont ceux qui pensent que cela passe par l'internet. Et ils sont de plus en plus nombreux à penser qu'il s'agit du Turc mécanique d'Amazon.
