Preuves et valeurs dans la politique et la recherche

Brooke : Les résultats que nous nous fixons ne sont donc pas fondés sur des données probantes, ni sur des preuves, et ils ne sont pas censés l'être. Les preuves n'interviennent qu'une fois que l'on a un motif. La première couche de problématisation autour de cet idéal est qu'une fois l'objectif fixé, il suffit de regarder les preuves pour savoir comment l'atteindre au mieux. Cette première étape de définition d'un objectif n'est pas une activité liée aux données probantes. Les données probantes peuvent être utilisées pour identifier les moyens instrumentaux d'atteindre un objectif, mais le choix de l'objectif lui-même est une activité intrinsèquement normative, fondée sur des valeurs, que les données probantes ne peuvent tout simplement pas guider.

Nathan : C'est vrai. Et vous pouvez probablement faire appel à des données probantes pour orienter le choix des objectifs. Si l'on s'intéresse à la qualité de vie, il existe certains éléments de preuve ou de recherche qui peuvent éclairer cette évaluation, n'est-ce pas ?

Brooke : Et c'est là que nous commençons à entrer dans une deuxième couche de critique de cet idéal très, très rigoureux et hyper-simplifié d'élaboration de politiques fondées sur des preuves. La deuxième chose, c'est que même lorsque nous façonnons nos valeurs et nos préférences, nous gardons à l'esprit à quel point les choses peuvent être efficaces. Souvent, les récits, non seulement entre les personnes, mais aussi dans la manière dont nous conceptualisons les résultats que nous souhaitons, sont fortement influencés par les indicateurs que nous utilisons.

Brooke : Par exemple, lorsque nous parlons de qualité de vie, la façon dont nous envisageons la qualité de vie est souvent fortement influencée par la façon dont nous l'évaluons. Je pense que tout le monde est à peu près d'accord avec l'idée que la qualité de vie est quelque chose qu'il faut promouvoir. Ce sur quoi ils ne sont pas d'accord, c'est sur ce qui constitue une vie de qualité. Même quelque chose d'aussi simple que la qualité par rapport à la quantité. Une année supplémentaire avec une qualité inférieure de 10 % est-elle intrinsèquement plus souhaitable qu'une année de moins, mais que toutes les années d'ici là soient d'une qualité supérieure de 10 % ? Je pense qu'il y a de grands désaccords à ce sujet.

Nathan : Comment trouver des réponses à ces problèmes sans utiliser de preuves et de recherches ?

Brooke : C'est justement le problème. Je ne pense pas qu'il faille accepter la distinction brutale entre les faits et les valeurs. Nous devrions adopter ce type de relation interactive plus complexe entre les faits et les valeurs, où même la façon dont nous conceptualisons nos valeurs sera influencée par les types de faits, ou de preuves, que nous créons. Et quand je dis créer, je ne veux pas dire fabriquer des données. Ce que je veux dire, c'est que nous devons choisir un protocole de mesure afin de créer des données. Et c'est justement ce que nous faisons en faisant ces choix méthodologiques. Nous avons un rôle actif à jouer dans la manière dont les preuves sont créées.

Nathan : Cela me rappelle ce que j'ai lu de Jürgen Habermas

Brooke : Oh, bien sûr. La théorie critique parle de tout cela, n'est-ce pas ? Il se passe des choses très intéressantes en ce moment dans la théorie critique des données et la théorie féministe des données sur la façon dont la datafication du monde n'est pas une sorte de médium neutre à travers lequel nous voyons le monde de l'expérience. Mais en fait, ces médias eux-mêmes ont une perspective. Ils constituent un prisme spécifique à travers lequel nous voyons le monde dans lequel nous vivons.

Nathan : Je me demande, et TDL vient de publier un article récent qui mentionne cette sorte d'idée néolibérale selon laquelle les entreprises se porteraient mieux si elles pouvaient se débarrasser de tous leurs préjugés et embaucher les meilleurs éléments. Pensez-vous qu'il s'agit là d'une simplification excessive, dans la mesure où vous n'allez pas reconnaître les meilleurs éléments précisément à cause de la structure dans laquelle nous évaluons qui a de la valeur et qui n'en a pas ?

Brooke : Oui. Je pense que la simplification excessive dans ce cas vient du terme "meilleur". Sur quelles dimensions certaines personnes sont-elles les meilleures ? S'il existe un moyen très clair et sans problème de définir cela, alors je suis d'accord pour dire que nous pouvons probablement avancer l'argument selon lequel tout ce qu'il faut faire, c'est éliminer les préjugés dans le processus, et alors nous sommes sauvés. Mais essayer de définir qui sera le meilleur candidat est un processus extrêmement difficile et délicat. En fait, je pense que certaines des choses les plus intéressantes se produisent spécifiquement lorsque nous entrons dans des arguments productifs et des désaccords productifs sur ce que signifie "être le meilleur" en termes d'embauche, en termes d'adéquation, ce genre de choses.

Nathan : Pensez-vous que les preuves ont un lien avec la manière dont nous déterminons ce qui est le mieux ou s'agit-il de quelque chose de normatif et que les preuves servent à sélectionner quelqu'un une fois que nous avons décidé quels sont nos objectifs ? Comment l'interaction entre les preuves et les valeurs se déroule-t-elle dans ce type de contexte spécifique ?

Brooke : Je pense qu'il s'agit là d'une bonne occasion d'ouvrir cette complexité, cette interactivité entre les normes et les preuves. Nous pourrions dire : "D'accord, je veux définir le "meilleur" selon cinq dimensions, A, B, C, D et E." Je ne peux le faire qu'en puisant dans cette sorte de lexique des éléments mesurables qui existent. Ce lexique, cet arsenal d'outils, que nous pouvons utiliser pour élaborer notre définition normative, est le lieu où se trouvent les preuves qui informent les valeurs, les valeurs étant intimement liées à nos façons d'élaborer des preuves. Peut-être que ce ne sont pas les preuves qui construisent nos valeurs normatives. Ce sont les méthodologies.

Nathan : C'est donc la façon dont nous avons recueilli nos données qui compte.

Brooke : C'est exact. Les méthodologies sont intimement liées aux valeurs, car nous avons besoin d'un moyen de concrétiser nos valeurs, et à nos preuves, car nous avons besoin d'un moyen de collecter nos preuves. En l'absence de méthodologie, nous aurons vraiment du mal à définir nos valeurs ou à les concrétiser, et nous ne saurons absolument pas comment collecter les informations pour essayer d'identifier qui correspond le mieux à ces descriptions normatives, comme qui est le meilleur candidat pour ce poste.

Nathan : Allons un peu plus loin. D'où viennent nos méthodologies ? Je sais que vous avez parlé de valeurs. Mais concrètement, si l'on veut mener une enquête, une grande partie de ces éléments provient de l'expérience passée, n'est-ce pas ? Pour utiliser le langage de votre document, quels sont les points d'incision, ou points de contact, où l'on peut réellement intervenir et changer le processus ?

Brooke : L'une des interventions les plus précieuses en termes d'identification des données probantes pertinentes pour un problème, d'aide à la collecte de ces données, d'aide au traitement de ces données à la fois d'une manière très technique de type science des données, mais aussi d'une manière beaucoup plus douce, de type processus institutionnel de prise de décision. L'une des choses les plus importantes dans ce travail est de garder une visibilité sur cette sorte de cascade ou de flux à partir du type de résultat que vous souhaitez, qui guide le type d'éléments probants que vous identifiez comme étant pertinents et, à son tour, influence le type de méthodologie que vous sélectionnez pour collecter des éléments probants. Enfin, l'analyse des éléments recueillis conduit au processus de prise de décision qui s'appuie sur cette analyse.

Brooke : Pour moi, je pense que le point d'incision consiste à maintenir la visibilité sur l'ensemble de la filière. C'est quelque chose qui, dans de nombreux contextes, se brise. Les fonctions dont je viens de parler dans cette cascade sont souvent divisées en écosystèmes très cloisonnés au sein d'une organisation. La personne responsable de la création des données n'a probablement pas une grande visibilité sur le processus institutionnel qui sera informé par ces données plus tard. Je pense que, d'une certaine manière, les scientifiques des données sont dans une position privilégiée pour le faire. En particulier parce que pendant un certain nombre d'années, les scientifiques des données ont en quelque sorte échappé à des descriptions très concrètes de leur rôle. Ils étaient plus ou moins étiquetés comme des licornes ou des magiciens qui faisaient tout ce qui touchait aux données au sein d'une institution ou d'une organisation.

Brooke : Et à cet égard, parce qu'ils échappaient à ce type de description, parce qu'ils échappaient à cette catégorisation, ils avaient aussi la liberté de franchir les frontières qui limitaient la plupart des gens dans une organisation. En ayant un rôle qui était autorisé à se promener librement à travers toutes ces frontières, nous avons créé ce type d'interconnexion entre les silos qui a permis une meilleure prise de décision. À cet égard, les bons data scientists étaient de bons data scientists et permettaient vraiment aux organisations de prendre de meilleures décisions, non seulement grâce à leur maîtrise technique, mais aussi grâce au rôle unique que les institutions leur permettaient d'occuper et qu'elles n'autorisaient normalement à personne d'autre, comme une coupe transversale à travers l'organisation.

Nathan : Je vais à l'encontre de la spécification traditionnelle du travail d'Adam Smith.

Brooke : Exactement.

Nathan : Pensez-vous que le succès des data scientists est une critique de l'idée de spécification du travail ? Pensez-vous qu'il faille revoir cette idée lorsque nous examinons le comportement organisationnel et que nous avons un PDG qui est vraiment déconnecté de la collecte de données de base ? S'agit-il d'un problème dans ce type de cadre ?

Brooke : Oui, je pense que c'est le cas. Je pense que cela devient un problème lorsque nos méthodologies commencent à évoluer très rapidement. Fondamentalement, tant que vos méthodologies évoluent très, très lentement, vous ne rencontrez pas ces difficultés lorsqu'un PDG, par exemple, se retrouve avec une sorte de rapport de données sur son bureau, qui pourrait n'être qu'un résumé exécutif d'une page des idées. On ne se retrouve pas dans une situation où un PDG peut recevoir ce type de produit sur son bureau et où l'ensemble du processus menant à ce produit est opaque.

Brooke : Si les méthodologies sont les mêmes que celles que nous utilisons depuis 50 ans, la spécialisation du travail devient moins problématique. En effet, lorsque le PDG se retrouve dans son rôle, il n'y a peut-être pas une grande différence entre la façon dont le processus se déroulait lorsqu'il avait les mains dans le cambouis et la façon dont le processus se déroule maintenant qu'il est plus à l'aise dans l'exécution au jour le jour.

Brooke : Lorsque les méthodologies commencent à évoluer plus rapidement, ce type de système s'effondre parce que les personnes qui ont pris du recul et qui ont une vision stratégique plus large de ce qui se passe cessent d'avoir une bonne visibilité transparente de ce à quoi ressemblent les opérations quotidiennes au niveau du terrain.

Nathan : L'un de mes collègues en informatique en a parlé dans le contexte de son domaine. En gros, si vous ne passez pas du statut de codeur à celui d'employé dans les 5 ou 10 ans qui suivent l'obtention de votre diplôme, vos compétences sont obsolètes, et vous devez donc passer à la gestion avant de cesser d'être utile à l'entreprise. Je pense qu'il s'agit là d'un exemple flagrant de la déconnexion entre les personnes qui dirigent et les personnes sur le terrain qui utilisent les nouveaux outils que leurs supérieurs ne savent pas utiliser.