Les dangers d'un futur artificiellement intelligent

Les outils automatisés de sélection des candidats à l'emploi sont un autre exemple d'algorithmes d'apprentissage automatique souvent basés sur des ensembles de données biaisées. Ces algorithmes gagnent du terrain en raison des économies de temps et d'argent qu'ils permettent de réaliser. La technologie prétend an^alyser les CV à la recherche de mots à la mode associés à des candidats intéressants.5 Le problème est que ces algorithmes sont formés à partir d'ensembles de données concernant les employés existants et performants de l'entreprise.

Ce n'est pas une nouvelle révélation : le monde de l'entreprise est déjà inondé de discriminations fondées sur le sexe, la race et le handicap, et ce phénomène ne fait que s'accentuer au fur et à mesure que l'on gravit les échelons de l'entreprise. Une étude de référence dans ce domaine, intitulée "Are Emily and Greg More Employable than Lakisha and Jamal ?" (Émilie et Greg sont-ils plus employables que Lakisha et Jamal ?), a ^révélé que les CV contenant des noms afro-américains recevaient 50 % de rappels en moins que les CV identiques contenant des noms à consonance blanche.6 Ce parti pris racial existant dans les pratiques d'embauche est contenu dans les ensembles de données des employés actuels et peut facilement être encodé dans un algorithme de modélisation ML. L'algorithme apprend simplement par l'exemple, et notre société ne donne pas le meilleur exemple.

Prenons l'exemple des préjugés sexistes. Si une femme postule à un emploi dans une entreprise qui utilise un algorithme dans son processus de recrutement, elle a plus de chances d'être rejetée que ses homologues masculins tout aussi qualifiés, parce que l'algorithme a appris (à partir de son ensemble de données biaisées) que les hommes sont plus susceptibles d'être des employés performants. Il en est convaincu parce qu'il y a généralement moins de femmes que d'hommes à des postes de haut niveau dans les entreprises. En fait, c'est précisément ce qui est arrivé à Amazon lorsqu'elle a tenté d'introduire l'IA dans son processus de recrutement ; son algorithme aurait appris (entre autres choses) à pénaliser les candidats dont le curriculum vitae comportait le mot "féminin" (comme dans "club d'échecs féminin") et qui avaient fréquenté des établissements d'enseignement supérieur ou des universités exclusivement féminins. L'IA n'est pas consciente de cette inégalité et ne fera que cristalliser ces préjugés à grande échelle à mesure que la technologie d'embauche prendra le pas sur l'intervention humaine.

L'apprentissage automatique et l'IA sont de plus en plus présentés comme des outils permettant de prédire l'avenir. Mais s'ils ne sont pas utilisés avec précaution, ils risquent en fait de ne faire que créer les conditions nécessaires à la poursuite des mêmes schémas, souvent aux dépens de groupes déjà vulnérables.

Les logiciels de police prédictive tels que PredPol et Compstat, qui se vantent de leur capacité à prévoir les points chauds de la criminalité en fonction de l'heure de la journée, sont un excellent exemple de cet effet. Cela permet aux forces de police de déployer des agents là où ils sont le plus nécessaires, afin d'intervenir plus efficacement lorsqu'un délit est commis. Il s'agit là d'un objectif noble, mais quel est le problème ? Ces algorithmes sont formés à l'aide d'ensembles de données sur le nombre d'arrestations dans des zones données. Comme dans les exemples ci-dessus, cela signifie que l'algorithme devient le reflet de notre environnement sociopolitique actuel - où la police est le plus souvent déployée dans des zones défavorisées habitées par des groupes noirs et minoritaires. Cela crée une boucl^e de rétroaction pernicieuse : les données relatives au maintien de l'ordre sont utilisées pour justifier une présence policière accrue, ce qui conduit à son tour à davantage d'arrestations.7 En raison d'exemples comme celui-ci, la mathématicienne et spécialiste des données Cathy O'Neil a surnommé certains algorithmes d'apprentissage automatique "armes de destruction mathématique" (ADM).

Le problème est qu'il existe un écart considérable entre les données relatives à la criminalité dans les quartiers pauvres et celles relatives à la criminalité dans les quartiers riches et moyens, en raison de l'absence de services de police dans ces derniers. Ces algorithmes utilisent également les arrestations comme indicateur de la criminalité, mais de nombreuses arrestations n'aboutissent pas à une condamnation. Il s'agit là d'un exemple de la loi de Goodhart : lorsqu'une mesure devient une cible, elle cesse d'être une bonne mesure. Si la recherche de la criminalité est le véritable objectif de la police prédictive, alors se concentrer sur le nombre d'arrestations est un mauvais substitut pour les cas où la police a réellement pu réduire ou éviter un préjudice grâce à sa capacité d'intervention rapide.

Il est clair que l'IA et la ML ont la capacité de nuire à l'égalité sociale et à la démocratie, mais pourraient-elles aussi apporter la solution à ce que nous craignons ? Par exemple, si les préjugés actuels sont correctement pris en compte, la technologie d'embauche pourrait-elle réellement servir à améliorer l'égalité sur le lieu de travail ? Très probablement - à condition que les gens prennent des mesures pour s'en assurer.

Rendre les algorithmes plus équitables

Dans une étude célèbre intitulée "Orchestrating Impartiality", des expérimentateurs ont comparé les résultats d'auditions d'orchestres "à l'aveugle", où les juges ne pouvaient pas voir les candidats pendant qu'ils jouaient, avec ceux du ^modèle d'audition face à face existant.8 Depuis l'introduction du modèle d'audition à l'aveugle, le nombre de musiciennes a quintuplé, révélant une dose peu ragoûtante de préjugés sexistes dans les anciens processus de recrutement d'orchestres.

La technologie a la capacité de supprimer les préjugés, mais seulement si nos algorithmes sont entraînés à le faire. Par exemple, les algorithmes de recrutement pourraient être entraînés à tenir compte uniquement de l'expérience pertinente d'un candidat plutôt que de variables susceptibles d'induire des préjugés telles que le nom, la race, le sexe, le code postal ou le fait d'avoir fréquenté ou non une université de l'Ivy League. L'IA pourrait ainsi offrir sa propre version des auditions à l'aveugle. Par exemple, Amazon, à la suite des révélations sur son algorithme d'embauche discriminatoire, a recalibré son IA pour la rendre neutre à l'égard de termes tels que "club d'échecs féminin" (bien que les critiques aient déclaré que ce n'était pas encore suffisant, et Amazon a par la suite supprimé l'outil dans son intégralité).

Cette approche pourrait être appliquée aux processus d'embauche et au-delà pour éliminer les préjugés existants, démontrant ainsi que l'IA a un immense pouvoir d'amélioration et de protection de notre société si elle est utilisée de manière consciencieuse.

Être attentif à l'apprentissage automatique

Comme le dit Eckhart Tolle, "la prise de conscience est le plus grand agent de changement". Une meilleure prise de conscience de la manière dont ces algorithmes sont utilisés, de l'impact qu'ils ont sur nous et de l'endroit où trouver de l'aide est impérative pour avancer dans un monde d'IA.

Joy Buolamwini et Cathy O'Neil sont toutes deux fondatrices d'organisations visant à réduire la discrimination algorithmique, connues respectivement sous les noms de The Algorithmic Justice League et ORCAA. ORCAA est une société de conseil qui peut être engagée pour évaluer si l'utilisation d'algorithmes par une organisation est éthique et conforme aux valeurs de l'entreprise. L'objectif d'ORCAA est d'intégrer et de répondre aux préoccupations de toutes les parties prenantes d'un algorithme, et pas seulement de celles qui l'ont construit ou déployé. Il aide également à remédier aux problèmes d'équité, distribue des certifications d'équité (le cas échéant) et contribue à l'éducation en matière d'équité algorithmique.

Il convient également de noter que dans de nombreux cas, tels que l'embauche, il est dans l'intérêt d'une entreprise d'évaluer les candidats de manière équitable. Si ce n'est pas le cas, elle peut facilement passer à côté de candidats susceptibles d'apporter un talent et une expérience exceptionnels à son entreprise. Dans de tels cas, un audit externe est un excellent moyen de vérifier l'équité de l'outil de sélection automatisée des candidatures.

Réglementer l'IA

Il est clair que l'opacité des algorithmes de ML a permis à certaines entreprises de les utiliser au détriment de la société. Dans un avenir plus artificiellement intelligent, nous aurons besoin de définitions publiques de l'équité, qui devront être référencées et confirmées par un tribunal. Les algorithmes devraient être rigoureusement testés avant d'être diffusés, et les entreprises devraient être tenues de prouver qu'elles respectent les lois antidiscriminatoires.

Aux États-Unis, les régulateurs et les législateurs sont déjà en train d'élaborer des normes pour l'audit algorithmique, notamment en traduisant les lois existantes sur l'équité en règles pour les créateurs d'algorithmes.7 Les tests d'équité algorithmique pourraient suivre un processus d'approbation semblable à celui de la FDA, où la charge de la preuve de l'efficacité incombe aux parties qui développent les algorithmes. Les tests d'équité algorithmique pourraient suivre un processus d'approbation semblable à celui de la FDA, où la charge de la preuve de l'efficacité incombe aux parties qui développent les algorithmes. Cela permettrait aux personnes de remettre en question les résultats de l'algorithme et de demander une assistance juridique si nécessaire.

Cependant, il reste encore des questions à résoudre. Par exemple, qui devrait être chargé d'appliquer les lois relatives aux algorithmes d'apprentissage automatique ? Pouvons-nous faire confiance aux entreprises pour qu'elles aient à cœur de défendre nos intérêts et qu'elles soient transparentes quant au fonctionnement interne de leurs algorithmes ? Faisons-nous confiance aux gouvernements pour adopter et appliquer efficacement des réglementations strictes dans ce domaine ? Même si nous nous dirigeons vers un système de réglementation des algorithmes, il reste à voir comment il fonctionnera dans la pratique. Il convient de répondre à ces questions en tenant compte de l'avis du public et des experts en matière d'équité et d'IA.

S'attaquer à la racine du problème

Comme pour la plupart des solutions, l'éducation est également un impératif. Les architectes du choix (ou les programmeurs dans ce cas) portent une lourde responsabilité lorsqu'ils créent des algorithmes capables de changer la société dans laquelle nous vivons. La formation des programmeurs à l'équité algorithmique avec l'aide des sciences du comportement est également une étape cruciale. Il est urgent d'agir sur les questions relatives à l'équité algorithmique, car l'IA continue d'imprégner les différents niveaux de notre société.

Conclusion

Pour reprendre les termes de l'auteur américain William Gibson, "le futur est là, mais il n'est pas réparti de manière égale" - ce qui signifie que le futur est là, mais que tous les groupes ne profitent pas pleinement de ses avantages. L'IA n'en est qu'à ses débuts et, dans de nombreux cas, elle ne fait que reproduire le monde tel qu'il est ou a été, plein de pratiques biaisées et discriminatoires. Les préjugés codés ne se retrouvent pas seulement dans les logiciels de reconnaissance faciale, le recrutement et le maintien de l'ordre, mais aussi dans les processus d'inscription à l'université, l'assurance maladie et l'assurance automobile, les décisions relatives à la solvabilité, et bien plus encore. Ils façonnent déjà la société dans laquelle nous vivons !

N'avons-nous pas appris du krach de Wall Street en 2008 que nous ne devrions pas attendre qu'une catastrophe se produise pour réglementer les instruments financiers modernes ou, dans ce cas, les technologies modernes ? Si ce n'est pas le cas, l'avenir que nous promet l'IA pourrait n'être que le reflet de nos erreurs passées. Qui détient le pouvoir de notre avenir ? Les gouvernements ? Ou bien une poignée d'entreprises qui contrôlent l'IA et dont l'objectif principal est de faire des bénéfices ?

Il nous appartient de nous informer sur les questions d'équité algorithmique. C'est à nous de faire pression pour une meilleure réglementation de l'éthique des algorithmes d'apprentissage automatique. C'est à nous de demander de l'aide juridique lorsque ces algorithmes nous font du tort, afin de créer des précédents juridiques qui profiteront au reste de la société. Nous avons la possibilité de concevoir une société fondée sur l'égalité et l'acceptation en intégrant ces valeurs dans notre technologie. Cet article met en garde contre les dangers auxquels nous sommes confrontés si nous continuons sur notre trajectoire actuelle, les dangers d'un avenir artificiellement "intelligent" non réglementé.