![people and lights](/_next/image?url=https%3A%2F%2Fimages.prismic.io%2Fthedecisionlab%2Fd5cf1a16-8967-4f8a-836d-03d904fb965c_robynne-hu-HOrhCnQsxnQ-unsplash-scaled.jpeg%3Fauto%3Dcompress%2Cformat%26rect%3D0%2C0%2C4000%2C2669%26w%3D4000%26h%3D2669&w=3840&q=75)
Les dangers d'un futur artificiellement intelligent
Il ne fait aucun doute que nous sommes entrés dans la dernière période révolutionnaire de l'histoire de l'humanité, la révolution technologique. Cette nouvelle ère promet l'efficacité, la commodité, la communication, l'égalité d'accès à l'information et une prospérité inégalée, mais à quel prix ?
Il est facile d'être ébloui par les prouesses technologiques des smartphones modernes, des voitures autonomes ou des jeux VR, et d'oublier que ces machines ont été construites par des humains, dans toute leur gloire irrationnelle et illogique. Les programmeurs deviennent des architectes du choix : ils ont le pouvoir de façonner les contextes dans lesquels les gens prennent des décisions, et donc ces décisions elles-mêmes.1 Les concepteurs de ces technologies, cependant, sont sensibles aux mêmes biais et préjugés inconscients que le reste d'entre nous, et les technologies qui en résultent - l'IA et les algorithmes d'apprentissage automatique en particulier - menacent d'exacerber les inégalités sociales en encodant nos biais humains et en les faisant proliférer à grande échelle.
L'apprentissage automatique, expliqué
Les algorithmes d'apprentissage automatique ne sont peut-être pas les grands prédicteurs que nous croyons qu'ils sont. Ils se contentent de reproduire la société telle qu'elle est et telle qu'elle était, plutôt que de prédire ce qu'elle pourrait être - ou, plus important encore, ce que nous voudrions qu'elle soit.
Les algorithmes semblent assez complexes, et dans certains cas ils le sont, mais ils ne dépassent pas l'entendement humain. En fait, nous utilisons des algorithmes prédictifs dans notre tête des centaines de fois chaque jour. Que dois-je manger pour le dîner aujourd'hui ? Je pourrais peut-être m'arrêter au supermarché en rentrant du travail et acheter des légumes pour accompagner les restes de saumon d'hier. Ce serait l'option la plus rentable en termes de temps et d'argent, et ce serait la solution à un algorithme prédictif que vous avez calculé dans votre tête.
Lorsque nous effectuons ces calculs dans notre tête, nous nous appuyons sur notre expérience vécue et notre historique d'apprentissage pour éclairer nos décisions. Les algorithmes d'apprentissage automatique, quant à eux, font des choix en fonction de ce qu'ils ont appris à partir d'ensembles de données qui leur ont été fournis par leurs développeurs. Si vous surfez régulièrement sur l'internet, vous connaissez certainement reCAPTCHA, un dispositif de sécurité qui demande aux utilisateurs de sélectionner (par exemple) toutes les images contenant des feux de circulation. Il s'agit d'un algorithme d'apprentissage automatique de base pour le traitement des images : Google utilise vos réponses pour entraîner son intelligence artificielle et la rendre plus performante en matière de reconnaissance d'images.
Les ensembles de données utilisés pour programmer des algorithmes d'apprentissage automatique plus avancés comprennent des collections de visages humains pour les logiciels de reconnaissance faciale, des informations sur les employés performants pour les logiciels de sélection des candidatures, et les lieux des arrestations policières pour les logiciels de police prédictive. Dans quelle mesure notre avenir artificiellement "intelligent" l'est-il ?
Comment les algorithmes apprennent nos préjugés
Joy Buolamwini, chercheuse diplômée au MIT, a attiré l'attention sur la question de la discrimination algorithmique en dévoilant une découverte qu'elle avait faite en travaillant avec un logiciel de reconnaissance faciale. Dans son exposé TED de 2016 intitulé "How I'm fighting bias in algorithms" (Comment je lutte contre les préjugés dans les algorithmes), qui a été visionné plus de 1,2 million de fois à l'heure où nous écrivons ces lignes2, Joy Buolamwini décrit un projet universitaire qu'elle a entrepris, intitulé "Aspire Mirror", dans le cadre duquel elle a tenté de projeter des masques numériques sur son reflet. Elle a rencontré des difficultés lorsque le logiciel de reconnaissance faciale qu'elle utilisait n'a pas reconnu son visage - jusqu'à ce qu'elle mette un masque blanc.
Les systèmes de reconnaissance faciale sont des algorithmes ML formés à partir de vastes ensembles de données. L'algorithme identifie, collecte et évalue les caractéristiques du visage et les compare aux images existantes dans la base de données. Si, comme moi, vous avez déjà essayé en vain d'appliquer l'un des filtres faciaux de TikTok ou d'Instagram à l'un de vos animaux de compagnie, c'est parce que l'ensemble de données utilisé pour entraîner le logiciel de reconnaissance faciale ne contient que des visages humains et ne connaît pas les caractéristiques faciales des animaux.
Le problème est que les algorithmes de reconnaissance faciale sont très majoritairement formés à partir d'ensembles de données entachés d'un biais d'échantillonnage. Dans une étude de 2018 intitulée "Gender Shades", il a été constaté que deux référentiels d'analyse faciale étaient composés en grande majorité d'individus à la peau plus claire (79,6 % pour IJB-A et 86,2 % pour Adience).3 L'étude a également révélé que les femmes à la peau foncée constituaient le groupe le plus mal classé, avec des taux d'erreur allant jusqu'à 34,7 % (par rapport à 0,8 % pour les hommes blancs). Des résultats similaires ont été obtenus avec le logiciel de reconnaissance faciale d'Amazon, Rekognition.4
Il n'est donc pas surprenant que le logiciel de reconnaissance faciale ait échoué pour Joy, une femme noire. L'algorithme ne parvenait pas à reconnaître le visage de Joy car il contenait très peu d'exemples de visages comme le sien - un problème auquel les minorités ethniques, en particulier les femmes de couleur, sont habituées. À l'heure où les algorithmes d'apprentissage automatique s'immiscent discrètement dans tous les aspects de notre vie, il est impératif d'éclairer les visages cachés dans nos ensembles de données afin d'éliminer les préjugés existants.
Biais algorithmique et embauche
Les outils automatisés de sélection des candidats à l'emploi sont un autre exemple d'algorithmes d'apprentissage automatique souvent basés sur des ensembles de données biaisées. Ces algorithmes gagnent du terrain en raison des économies de temps et d'argent qu'ils permettent de réaliser. La technologie prétend analyser les CV à la recherche de mots à la mode associés à des candidats intéressants.5 Le problème est que ces algorithmes sont formés à partir d'ensembles de données concernant les employés existants et performants de l'entreprise.
Ce n'est pas une nouvelle révélation : le monde de l'entreprise est déjà inondé de discriminations fondées sur le sexe, la race et le handicap, et ce phénomène ne fait que s'accentuer au fur et à mesure que l'on gravit les échelons de l'entreprise. Une étude de référence dans ce domaine, intitulée "Are Emily and Greg More Employable than Lakisha and Jamal ?" (Émilie et Greg sont-ils plus employables que Lakisha et Jamal ?), a révélé que les CV contenant des noms afro-américains recevaient 50 % de rappels en moins que les CV identiques contenant des noms à consonance blanche.6 Ce parti pris racial existant dans les pratiques d'embauche est contenu dans les ensembles de données des employés actuels et peut facilement être encodé dans un algorithme de modélisation ML. L'algorithme apprend simplement par l'exemple, et notre société ne donne pas le meilleur exemple.
Prenons l'exemple des préjugés sexistes. Si une femme postule à un emploi dans une entreprise qui utilise un algorithme dans son processus de recrutement, elle a plus de chances d'être rejetée que ses homologues masculins tout aussi qualifiés, parce que l'algorithme a appris (à partir de son ensemble de données biaisées) que les hommes sont plus susceptibles d'être des employés performants. Il en est convaincu parce qu'il y a généralement moins de femmes que d'hommes à des postes de haut niveau dans les entreprises. En fait, c'est précisément ce qui est arrivé à Amazon lorsqu'elle a tenté d'introduire l'IA dans son processus de recrutement ; son algorithme aurait appris (entre autres choses) à pénaliser les candidats dont le curriculum vitae comportait le mot "féminin" (comme dans "club d'échecs féminin") et qui avaient fréquenté des établissements d'enseignement supérieur ou des universités exclusivement féminins. L'IA n'est pas consciente de cette inégalité et ne fera que cristalliser ces préjugés à grande échelle à mesure que la technologie d'embauche prendra le pas sur l'intervention humaine.
Comment les algorithmes créent la réalité
L'apprentissage automatique et l'IA sont de plus en plus présentés comme des outils permettant de prédire l'avenir. Mais s'ils ne sont pas utilisés avec précaution, ils risquent en fait de ne faire que créer les conditions nécessaires à la poursuite des mêmes schémas, souvent aux dépens de groupes déjà vulnérables.
Les logiciels de police prédictive tels que PredPol et Compstat, qui se vantent de leur capacité à prévoir les points chauds de la criminalité en fonction de l'heure de la journée, sont un excellent exemple de cet effet. Cela permet aux forces de police de déployer des agents là où ils sont le plus nécessaires, afin d'intervenir plus efficacement lorsqu'un délit est commis. Il s'agit là d'un objectif noble, mais quel est le problème ? Ces algorithmes sont formés à l'aide d'ensembles de données sur le nombre d'arrestations dans des zones données. Comme dans les exemples ci-dessus, cela signifie que l'algorithme devient le reflet de notre environnement sociopolitique actuel - où la police est le plus souvent déployée dans des zones défavorisées habitées par des groupes noirs et minoritaires. Cela crée une boucle de rétroaction pernicieuse : les données relatives au maintien de l'ordre sont utilisées pour justifier une présence policière accrue, ce qui conduit à son tour à davantage d'arrestations.7 En raison d'exemples comme celui-ci, la mathématicienne et spécialiste des données Cathy O'Neil a surnommé certains algorithmes d'apprentissage automatique "armes de destruction mathématique" (ADM).
Le problème est qu'il existe un écart considérable entre les données relatives à la criminalité dans les quartiers pauvres et celles relatives à la criminalité dans les quartiers riches et moyens, en raison de l'absence de services de police dans ces derniers. Ces algorithmes utilisent également les arrestations comme indicateur de la criminalité, mais de nombreuses arrestations n'aboutissent pas à une condamnation. Il s'agit là d'un exemple de la loi de Goodhart : lorsqu'une mesure devient une cible, elle cesse d'être une bonne mesure. Si la recherche de la criminalité est le véritable objectif de la police prédictive, alors se concentrer sur le nombre d'arrestations est un mauvais substitut pour les cas où la police a réellement pu réduire ou éviter un préjudice grâce à sa capacité d'intervention rapide.
Un avenir meilleur grâce à l'IA
Il est clair que l'IA et la ML ont la capacité de nuire à l'égalité sociale et à la démocratie, mais pourraient-elles aussi apporter la solution à ce que nous craignons ? Par exemple, si les préjugés actuels sont correctement pris en compte, la technologie d'embauche pourrait-elle réellement servir à améliorer l'égalité sur le lieu de travail ? Très probablement - à condition que les gens prennent des mesures pour s'en assurer.
Rendre les algorithmes plus équitables
Dans une étude célèbre intitulée "Orchestrating Impartiality", des expérimentateurs ont comparé les résultats d'auditions d'orchestres "à l'aveugle", où les juges ne pouvaient pas voir les candidats pendant qu'ils jouaient, avec ceux du modèle d'audition face à face existant.8 Depuis l'introduction du modèle d'audition à l'aveugle, le nombre de musiciennes a quintuplé, révélant une dose peu ragoûtante de préjugés sexistes dans les anciens processus de recrutement d'orchestres.
La technologie a la capacité de supprimer les préjugés, mais seulement si nos algorithmes sont entraînés à le faire. Par exemple, les algorithmes de recrutement pourraient être entraînés à tenir compte uniquement de l'expérience pertinente d'un candidat plutôt que de variables susceptibles d'induire des préjugés telles que le nom, la race, le sexe, le code postal ou le fait d'avoir fréquenté ou non une université de l'Ivy League. L'IA pourrait ainsi offrir sa propre version des auditions à l'aveugle. Par exemple, Amazon, à la suite des révélations sur son algorithme d'embauche discriminatoire, a recalibré son IA pour la rendre neutre à l'égard de termes tels que "club d'échecs féminin" (bien que les critiques aient déclaré que ce n'était pas encore suffisant, et Amazon a par la suite supprimé l'outil dans son intégralité).
Cette approche pourrait être appliquée aux processus d'embauche et au-delà pour éliminer les préjugés existants, démontrant ainsi que l'IA a un immense pouvoir d'amélioration et de protection de notre société si elle est utilisée de manière consciencieuse.
Être attentif à l'apprentissage automatique
Comme le dit Eckhart Tolle, "la prise de conscience est le plus grand agent de changement". Une meilleure prise de conscience de la manière dont ces algorithmes sont utilisés, de l'impact qu'ils ont sur nous et de l'endroit où trouver de l'aide est impérative pour avancer dans un monde d'IA.
Joy Buolamwini et Cathy O'Neil sont toutes deux fondatrices d'organisations visant à réduire la discrimination algorithmique, connues respectivement sous les noms de The Algorithmic Justice League et ORCAA. ORCAA est une société de conseil qui peut être engagée pour évaluer si l'utilisation d'algorithmes par une organisation est éthique et conforme aux valeurs de l'entreprise. L'objectif d'ORCAA est d'intégrer et de répondre aux préoccupations de toutes les parties prenantes d'un algorithme, et pas seulement de celles qui l'ont construit ou déployé. Il aide également à remédier aux problèmes d'équité, distribue des certifications d'équité (le cas échéant) et contribue à l'éducation en matière d'équité algorithmique.
Il convient également de noter que dans de nombreux cas, tels que l'embauche, il est dans l'intérêt d'une entreprise d'évaluer les candidats de manière équitable. Si ce n'est pas le cas, elle peut facilement passer à côté de candidats susceptibles d'apporter un talent et une expérience exceptionnels à son entreprise. Dans de tels cas, un audit externe est un excellent moyen de vérifier l'équité de l'outil de sélection automatisée des candidatures.
Réglementer l'IA
Il est clair que l'opacité des algorithmes de ML a permis à certaines entreprises de les utiliser au détriment de la société. Dans un avenir plus artificiellement intelligent, nous aurons besoin de définitions publiques de l'équité, qui devront être référencées et confirmées par un tribunal. Les algorithmes devraient être rigoureusement testés avant d'être diffusés, et les entreprises devraient être tenues de prouver qu'elles respectent les lois antidiscriminatoires.
Aux États-Unis, les régulateurs et les législateurs sont déjà en train d'élaborer des normes pour l'audit algorithmique, notamment en traduisant les lois existantes sur l'équité en règles pour les créateurs d'algorithmes.7 Les tests d'équité algorithmique pourraient suivre un processus d'approbation semblable à celui de la FDA, où la charge de la preuve de l'efficacité incombe aux parties qui développent les algorithmes. Les tests d'équité algorithmique pourraient suivre un processus d'approbation semblable à celui de la FDA, où la charge de la preuve de l'efficacité incombe aux parties qui développent les algorithmes. Cela permettrait aux personnes de remettre en question les résultats de l'algorithme et de demander une assistance juridique si nécessaire.
Cependant, il reste encore des questions à résoudre. Par exemple, qui devrait être chargé d'appliquer les lois relatives aux algorithmes d'apprentissage automatique ? Pouvons-nous faire confiance aux entreprises pour qu'elles aient à cœur de défendre nos intérêts et qu'elles soient transparentes quant au fonctionnement interne de leurs algorithmes ? Faisons-nous confiance aux gouvernements pour adopter et appliquer efficacement des réglementations strictes dans ce domaine ? Même si nous nous dirigeons vers un système de réglementation des algorithmes, il reste à voir comment il fonctionnera dans la pratique. Il convient de répondre à ces questions en tenant compte de l'avis du public et des experts en matière d'équité et d'IA.
S'attaquer à la racine du problème
Comme pour la plupart des solutions, l'éducation est également un impératif. Les architectes du choix (ou les programmeurs dans ce cas) portent une lourde responsabilité lorsqu'ils créent des algorithmes capables de changer la société dans laquelle nous vivons. La formation des programmeurs à l'équité algorithmique avec l'aide des sciences du comportement est également une étape cruciale. Il est urgent d'agir sur les questions relatives à l'équité algorithmique, car l'IA continue d'imprégner les différents niveaux de notre société.
Conclusion
Pour reprendre les termes de l'auteur américain William Gibson, "le futur est là, mais il n'est pas réparti de manière égale" - ce qui signifie que le futur est là, mais que tous les groupes ne profitent pas pleinement de ses avantages. L'IA n'en est qu'à ses débuts et, dans de nombreux cas, elle ne fait que reproduire le monde tel qu'il est ou a été, plein de pratiques biaisées et discriminatoires. Les préjugés codés ne se retrouvent pas seulement dans les logiciels de reconnaissance faciale, le recrutement et le maintien de l'ordre, mais aussi dans les processus d'inscription à l'université, l'assurance maladie et l'assurance automobile, les décisions relatives à la solvabilité, et bien plus encore. Ils façonnent déjà la société dans laquelle nous vivons !
N'avons-nous pas appris du krach de Wall Street en 2008 que nous ne devrions pas attendre qu'une catastrophe se produise pour réglementer les instruments financiers modernes ou, dans ce cas, les technologies modernes ? Si ce n'est pas le cas, l'avenir que nous promet l'IA pourrait n'être que le reflet de nos erreurs passées. Qui détient le pouvoir de notre avenir ? Les gouvernements ? Ou bien une poignée d'entreprises qui contrôlent l'IA et dont l'objectif principal est de faire des bénéfices ?
Il nous appartient de nous informer sur les questions d'équité algorithmique. C'est à nous de faire pression pour une meilleure réglementation de l'éthique des algorithmes d'apprentissage automatique. C'est à nous de demander de l'aide juridique lorsque ces algorithmes nous font du tort, afin de créer des précédents juridiques qui profiteront au reste de la société. Nous avons la possibilité de concevoir une société fondée sur l'égalité et l'acceptation en intégrant ces valeurs dans notre technologie. Cet article met en garde contre les dangers auxquels nous sommes confrontés si nous continuons sur notre trajectoire actuelle, les dangers d'un avenir artificiellement "intelligent" non réglementé.
References
- Thaler, R. H., & Sunstein, C. R. Nudge : Améliorer les décisions en matière de santé, de richesse et de bonheur.
- Buolamwini, J. (2016). Comment je lutte contre les préjugés dans les algorithmes. https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language=en#t-170583
- Buolamwini, J., & Gebru, T. (2018). Gender Shades : Disparités intersectionnelles de précision dans la classification commerciale des genres. Proceedings of Machine Learning Research, 81:1-15. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
- Singer, N. (2019, 24 janvier). Amazon pousse la technologie faciale qui, selon une étude, pourrait être biaisée. The New York Times. https://www.nytimes.com/2019/01/24/technology/amazon-facial-technology-study.html
- Givens, A. R., Schellmann, H. et Stoyanovich, J. (2021, 17 mars). We Need Laws to Take On Racism and Sexism in Hiring Technology (Nous avons besoin de lois pour lutter contre le racisme et le sexisme dans les technologies d'embauche). The New York Times. https://www.nytimes.com/2021/03/17/opinion/ai-employment-bias-nyc.html
- Bertrand, M. et Mullainathan, S. (2004). Emily et Greg sont-ils plus employables que Lakisha et Jamal ? A Field Experiment on Labor Market Discrimination. American Economic Review, 94(4), 991-1013. https://www.aeaweb.org/articles?id=10.1257/0002828042002561
- O'Neil, C. (2016). Weapons of Maths Destruction : Comment le big data accroît les inégalités et menace la démocratie. Crown.
- Goldin, C. et Rouse, C. (2000). Orchestrating Impartiality : The Impact of "Blind" Auditions on Female Musicians. American Economic Review, 90(4), 7515-741. https://pubs.aeaweb.org/doi/pdfplus/10.1257/aer.90.4.715
About the Author
Eva McCarthy
Eva est titulaire d'une licence en mathématiques et entreprend actuellement un master en sciences cognitives et décisionnelles à l'University College London. Elle est membre du comité de la Behavioral Innovations Society de l'UCL, une communauté d'étudiants en sciences du comportement qui vise à apporter des changements de comportement positifs et durables au sein de l'UCL et au-delà. Elle travaille également pour Essentia Analytics, un service d'analyse des données comportementales qui aide les gestionnaires d'investissement à prendre de meilleures décisions d'investissement. À l'aube de bouleversements technologiques majeurs, elle estime qu'il est essentiel d'appliquer la recherche en sciences du comportement aux nouvelles avancées technologiques.