![split photo of a caucasian woman and an african american woman](/_next/image?url=https%3A%2F%2Fimages.prismic.io%2Fthedecisionlab%2F832ad3c7-7436-41ee-853b-d5642918b15a_pexels-angela-roma-7480009.jpg%3Fauto%3Dcompress%2Cformat%26rect%3D0%2C0%2C6000%2C4000%26w%3D6000%26h%3D4000&w=3840&q=75)
Les algorithmes d'IA au travail : Comment utiliser l'IA pour surmonter les préjugés historiques ?
Les algorithmes d'IA deviennent la norme sans la confiance du public
Seuls 35 % des consommateurs sont à l'aise avec les entreprises qui utilisent des algorithmes d'IA pour interagir avec eux - et seuls 25 % ont déclaré qu'ils feraient confiance à une décision prise par un algorithme d'IA plutôt qu'à une personne en ce qui concerne leur qualification pour un prêt bancaire1.
Bien que le grand public garde une certaine appréhension, les algorithmes d'IA deviendront inévitablement le statu quo pour les entreprises : 25 % des entreprises ont déjà des processus sélectifs entièrement activés par des algorithmes d'IA.2 Et pour cause : ils sont privilégiés dans tous les secteurs grâce à leur vitesse de traitement efficace, leurs performances constantes et leur capacité à réduire le coût de la main-d'œuvre humaine.
![TDL Insights graph_use of AI](/_next/image?url=https%3A%2F%2Fimages.prismic.io%2Fthedecisionlab%2F6378a104-94bd-4b40-91f6-7062cbdcad6c_Ariel_AIBiasApplicationProcess.png%3Fauto%3Dcompress%2Cformat%26rect%3D0%2C0%2C960%2C540%26w%3D960%26h%3D540&w=1920&q=75)
Résultats d'une enquête menée par PwC demandant "Dans quelle mesure votre entreprise cherche-t-elle à intégrer les technologies de l'IA dans ses activités ?"
Compte tenu de ses avantages, il est impossible de ralentir le rythme de la révolution de l'IA. Toutefois, nous devons nous assurer que les algorithmes d'IA génèrent des résultats équitables et être transparents sur la manière dont ils obtiennent ces résultats. Il existe deux façons d'exploiter les avantages des algorithmes d'IA dans les processus de sélection tout en promouvant l'équité :
- L'anonymat et l'efficacité des algorithmes d'IA peuvent réduire l'influence des stéréotypes qui prévalent dans la prise de décision humaine.
- Nos connaissances sur les stéréotypes peuvent améliorer les algorithmes d'IA, qu'il s'agisse de la manière dont ils exploitent les données ou de la prévention de la perpétuation des résultats historiques.
Les utilisations historiques de l'IA ont suscité l'appréhension du public
Il n'est pas étonnant que le grand public se sente précaire à l'idée que des algorithmes d'IA puissent lui dicter son destin. Les titres sur les algorithmes sélectifs basés sur l'IA vont de l'optimisme forcené au désarroi :
- Le mal : Plusieurs journaux ont publié des articles sur un algorithme d'IA utilisé par le système de justice pénale de Floride qui identifiait à tort des accusés afro-américains comme étant "à haut risque" à un taux presque deux fois plus élevé que celui des accusés blancs mal étiquetés.3
- Le bon côté des choses : Les experts ont prédit que les algorithmes d'IA pourraient potentiellement éradiquer les biais cognitifs qui ont désavantagé les demandeurs d'emploi historiquement marginalisés.4
Ces représentations contradictoires envoient des signaux contradictoires sur la fiabilité des algorithmes d'IA, ce qui suscite un malaise quant à leur utilisation à grande échelle.
Même lorsque les algorithmes d'IA sont performants, nous sommes plus susceptibles de perdre confiance dans les prévisionnistes algorithmiques que dans les prévisionnistes humains, même s'ils commettent des erreurs au même rythme.5 Accroître la confiance du public dans les algorithmes d'IA nous permet de tirer parti de leurs nombreux avantages (par exemple, l'efficacité, la rentabilité). Néanmoins, l'instauration de la confiance reste un défi complexe, surtout si l'on considère l'utilisation hasardeuse des algorithmes d'IA par les organisations dans le passé.
Comment les biais algorithmiques indésirables sont causés par les résultats historiques
Lorsqu'on parle d'algorithmes, un "biais" fait référence à une pondération disproportionnée en faveur d'un résultat particulier sur la base de certaines variables. Les algorithmes présentent des biais indésirables lorsqu'ils sont formés à partir de données antérieures influencées par des préjugés historiques.
Par exemple : En 2018, Amazon a découvert que son outil de recrutement basé sur l'IA déclassait involontairement les CV comprenant le mot "femmes" et, par conséquent, négligeait toutes les candidates issues de collèges exclusivement féminins.6 L'algorithme a été conçu pour sélectionner les candidats en fonction de ceux qui ont historiquement réussi. L'algorithme a été conçu pour sélectionner les candidats sur la base de ceux qui ont réussi dans le passé. Par conséquent, l'algorithme a été réglé pour identifier les candidats masculins comme préférables, même si leur expérience professionnelle et leur niveau d'éducation étaient identiques à ceux de leurs concurrentes.
En fin de compte, les algorithmes d'IA sont à la fois un moyen de perpétuer les préjugés historiques et un outil utile pour les surmonter. Pour éviter le premier résultat, il est impératif que les organisations évaluent les préjugés historiques intégrés dans leurs ensembles de données depuis des décennies. Kirsten Martin de la Mendoza School of Business de l'Université de Notre Dame, "les données ne sont pas exemptes des péchés du passé "7.
Comment les stéréotypes influencent la prise de décision humaine
Les algorithmes d'IA peuvent être responsables de résultats injustes, mais les humains ne sont pas meilleurs. Nous sommes enclins aux stéréotypes parce que nos mécanismes cognitifs se sont adaptés pour s'appuyer sur des heuristiques afin de synthétiser rapidement les informations.
Les stéréotypes sont préjudiciables aux processus de sélection parce qu'ils favorisent les groupes démographiques historiquement privilégiés. Les évaluateurs humains favorisent les candidats masculins par rapport aux candidates féminines, bien qu'ils aient la même expérience professionnelle.8
Les biais algorithmiques ne créent pas de résultats inédits et néfastes, ils ne font qu'amplifier les tendances observées chez les décideurs humains.
Comment les algorithmes d'IA combattent les stéréotypes par l'automatisation et l'anonymisation
Au cours des étapes des processus de sélection où les stéréotypes sont les plus répandus, telles que les étapes de présélection, les algorithmes d'IA peuvent être mis en œuvre de manière stratégique. Les algorithmes d'IA peuvent rendre anonymes les informations démographiques des candidats et traiter les données de manière plus efficace qu'un être humain.
La prise de décision humaine multivariable est inefficace et nous sommes enclins aux stéréotypes lorsque le temps nous est compté. Nous sommes également susceptibles d'être submergés par l'ampleur des informations à traiter. Sous cette pression, les recruteurs limitent souvent leur examen du vivier de candidats aux 10 à 20 % de candidats les plus prometteurs, c'est-à-dire ceux qui viennent des campus de l'Ivy League ou des programmes de recommandation des employés.9
Comment combiner stratégiquement les nuances de la prise de décision humaine et de l'IA ?
Dans le passé, le filtrage des candidats sur la base de ces attributs stéréotypés a eu tendance à favoriser les candidats les moins diversifiés. En revanche, les algorithmes de sélection de l'IA permettent d'évaluer les candidats sur la base de variables pertinentes (c'est-à-dire la qualité de leur travail, les références pertinentes) à chaque étape du processus. Dans ce cas, les algorithmes d'IA offrent une alternative plus équitable aux évaluateurs humains soumis à des contraintes de temps et contraints de réduire le nombre de candidatures sur la base de caractéristiques stéréotypées.
La recherche en sciences du comportement peut aider à identifier les caractéristiques superficielles que nous avons tendance à privilégier et à garantir que les algorithmes sélectionnent les candidats à l'aide de variables pertinentes. Bien que les algorithmes d'IA soient puissants et efficaces, ils ne peuvent pas nous dire ce qui constitue une mesure ou un résultat "équitable". C'est là que la discussion interdisciplinaire entre en jeu.
Les algorithmes d'IA peuvent aider les organisations à identifier les biais systémiques
Outre l'optimisation de l'efficacité et l'anonymat, les algorithmes d'IA peuvent mettre en lumière les préjugés indésirables qui se perpétuent systématiquement au sein des organisations. Les biais cognitifs sont difficiles à identifier car la façon dont une personne arrive à un résultat particulier ne peut pas être systématiquement analysée et mesurée quantitativement.
Par ailleurs, les résultats produits par les algorithmes d'IA peuvent être examinés avec un haut degré de précision grâce à l'analyse des données. Par exemple, si le résultat d'un candidat est influencé par sa race - alors que tous les autres éléments sont considérés comme égaux - il y a des preuves de partialité algorithmique.10
Il existe déjà des outils accessibles qui peuvent aider les organisations à analyser leurs données d'entraînement avant la création d'algorithmes d'IA : Know Your Data de Google permet aux chercheurs et aux développeurs de produits d'identifier les biais indésirables latents dans leurs ensembles de données à l'aide de critères de base (par exemple, la "diversité des images"). Les connaissances en sciences du comportement peuvent aider les organisations à analyser le type de résultats biaisés qu'elles sont susceptibles d'observer, puisque les biais de la prise de décision humaine ont déjà été codifiés dans les données historiques.
Il est plus facile d'accuser un algorithme de partialité systémique qu'un être humain
La capacité d'analyse rigoureuse des résultats algorithmiques offre un avantage significatif par rapport à la prise de décision humaine.
Nous sommes souvent réticents à admettre que nos décisions sont influencées par des biais cognitifs. Selon une enquête, 97 % des comités d'admission d'universités prestigieuses reconnaissent l'importance d'une admission équitable, mais moins de la moitié d'entre eux pensent que les préjugés peuvent être un facteur dans leur propre processus d'admission.11
Les algorithmes d'IA sont avantageux parce qu'ils peuvent révéler le biais systémique par des preuves quantitatives, de sorte que nous n'avons pas à compter sur les gens pour réaliser les conséquences de leur prise de décision biaisée des dizaines d'années plus tard. Les algorithmes d'IA peuvent y parvenir en fournissant un retour d'information aux développeurs en temps réel.
Comment les algorithmes d'IA permettent un avenir plus juste
Lors de la mise en œuvre d'algorithmes d'IA dans les processus de sélection, il est impératif d'atténuer à tout prix les préjugés systématiques, qu'ils soient "cognitifs" ou "algorithmiques". Nous pouvons accroître la confiance du public dans les algorithmes d'IA en rendant anonymes les informations biographiques des candidats afin d'éviter l'influence des stéréotypes, et en nous attaquant aux biais algorithmiques en mesurant quantitativement la manière dont les préjugés historiques affectent les données d'entraînement.
Le Decision Lab est un cabinet de conseil comportemental qui étudie comment la recherche en sciences comportementales peut promouvoir le bien social. Si vous souhaitez savoir comment promouvoir l'équité par l'adoption d'algorithmes d'IA, veuillez nous contacter pour en savoir plus sur nos services.
References
- Cannon, J. (2019) "Un rapport montre que les consommateurs ne font pas confiance à l'intelligence artificielle". Fintech News,https://www.fintechnews.org/report-shows-consumers-dont-trust-artificial-intelligence/ ; "Ce que les consommateurs pensent vraiment de l'IA : une étude mondiale : Insights into the minds of consumers to help businesses reshape their customer engagement strategies," Pega PowerPoint.
- Best, B., Rao A., (2022). "Understanding algorithmic bias and how to build trust in AI," PWC https://www.pwc.com/us/en/tech-effect/ai-analytics/algorithmic-bias-and-trust-in-ai.html
- Angwin, J., Larson, J., Mattu S., Kircnur, L. (2016) Machine Bias : There's software used across the country to predict future criminals. Et il est biaisé contre les Noirs, ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
- Polli, F (2019) "Using AI to Eliminate Bias from Hiring", Harvard Business Review, https://hbr.org/2019/10/using-ai-to-eliminate-bias-from-hiring (en anglais).
- Dietvorst, B., Simmons, J. P. et Massey, C. (2015). Algorithm Aversion : Les gens évitent par erreur les algorithmes après les avoir vus se tromper. Journal of Experimental Psychology : General, 144 (1), 114-126.
- Dastin, J. (2018) Amazon Scraps Secret AI Recruiting Tool that Showed Bias Against Women, Reuters. https://www.diverseeducation.com/students/article/15114427/ai-in-admissions-can-reduce-or-reinforce-biases#:~:text=Admissions%20offices%20have%20been%20rolling,these%20emerging%20tools%20are%20used.
- Notre Dame Technology Ethics Center (2022), "New Anthology by ND TEC Director Kirsten Martin Explores 'Ethics of Data and Analytics'" Université de Notre Dame, https://techethics.nd.edu/news-and-events/news/new-anthology-by-nd-tec-director-kirsten-martin-explores-ethics-of-data-and-analytics/
- J. González, C. Cortina, J. Rodríguez (2019). Le rôle des stéréotypes de genre dans l'embauche : A Field Experiment, European Sociological Review, Volume 35, Issue 2, 187-204, https://doi.org/10.1093/esr/jcy055.
- Polli, F (2019) "Using AI to Eliminate Bias from Hiring", Harvard Business Review, https://hbr.org/2019/10/using-ai-to-eliminate-bias-from-hiring (en anglais).
- Chiappa, S. (2019). Path-Specific Counterfactual Fairness (Équité contrefactuelle spécifique au chemin). Actes de la conférence de l'AAAI sur l'intelligence artificielle, 7801-7808.
- McCracken, M (2020). Breaking Down Bias in Admissions, Kira Talent, https://blog.kiratalent.com/nine-forms-of-bias-in-admissions/
About the Authors
Ariel LaFayette
Ariel est une étudiante en doctorat de philosophie à l'Université de Toronto (UofT) et se spécialise dans l'herméneutique, la phénoménologie, la philosophie de la religion et l'histoire de la psychologie. Plus généralement, elle s'intéresse à la manière dont les questions posées par des érudits majeurs (Augustin, Kierkegaard, Gadamer, etc.) continuent d'influencer nos recherches sur la connaissance de soi, les limites de la raison et l'épanouissement personnel.
Turney McKee
Turney McKee est chef de projet au Decision Lab. Il est titulaire d'une maîtrise en biologie cellulaire et d'une licence en pharmacologie, toutes deux obtenues à l'Université McGill. Il s'intéresse aux systèmes de santé internationaux et aux politiques publiques. Avant de rejoindre The Decision Lab, Turney a travaillé en tant qu'analyste de la concurrence et de l'intelligence économique dans les secteurs de la santé et de la technologie.