Pruebas y valores en la política y la investigación

Brooke: Así que los resultados que nos fijamos no se basan en pruebas, ni están basados en pruebas, ni nada por el estilo, y se supone que no deberían estarlo. La evidencia sólo entra una vez que tienes un motivo. La primera capa de problematización en torno a ese ideal es que una vez que tienes un objetivo establecido, todo lo que necesitas hacer es mirar a la evidencia y te dirá la mejor manera de llegar allí. Ese primer paso de fijar un objetivo no es una actividad relevante para las pruebas. Las pruebas pueden utilizarse para identificar los medios instrumentales para alcanzar un objetivo, pero la selección del objetivo en sí es algo intrínsecamente normativo y basado en valores que las pruebas no determinan.

Nathan: Correcto. Y probablemente puedas aportar pruebas para dar forma a la selección de objetivos. Si nos fijamos en la calidad de vida, hay ciertas pruebas o investigaciones que pueden informar esa evaluación, ¿verdad?

Brooke: Y aquí es donde empezamos a entrar en una segunda capa de crítica de ese ideal muy, muy estricto, hiper-simplificado basado en la evidencia de la formulación de políticas. Esa segunda cosa es que incluso cuando damos forma a nuestros valores y nuestras preferencias, tenemos en cuenta lo eficaces que pueden ser las cosas. A menudo, las narrativas, no sólo entre las personas, sino incluso en la forma en que conceptualizamos los resultados que queremos, están fuertemente informadas por los indicadores que utilizamos.

Brooke: Así, por ejemplo, cuando hablamos de calidad de vida, a menudo, la forma en que pensamos sobre la calidad de vida estará fuertemente informada por la forma en que la evaluamos. Creo que todo el mundo está bastante de acuerdo con la idea de que la calidad de vida es algo que debe promoverse. En lo que no están de acuerdo es en lo que constituye una vida de alta calidad. Incluso algo tan simple como calidad frente a cantidad. ¿Es un año más con un 10% menos de calidad intrínsecamente más deseable que un año menos, pero que todos los años entre ahora y entonces sean de un 10% más de calidad? Creo que hay grandes desacuerdos al respecto.

Nathan: ¿Cómo encontrar respuestas a esos problemas sin recurrir a pruebas e investigación?

Brooke: Esa es la cuestión. No creo que debamos aceptar la dura distinción entre hechos y valores. Deberíamos adoptar este tipo de relación interactiva más compleja entre hechos y valores, en la que incluso la forma en que conceptualizamos nuestros valores se vea influida por los tipos de hechos, o pruebas, que estamos creando. Y cuando digo crear, no me refiero a fabricar datos. Lo que quiero decir es que debemos elegir un protocolo de medición para crear datos. Y al hacer esas elecciones metodológicas, estamos haciendo precisamente eso. Tenemos un papel activo en la creación de pruebas.

Nathan: Eso me recuerda lo que he leído de Jürgen Habermas

Brooke: Oh, por supuesto. La teoría crítica trata de todo esto, ¿verdad? Hay algunas cosas realmente interesantes en curso en este momento en la teoría crítica de datos y la teoría feminista de datos acerca de cómo la datafication del mundo no es una especie de medio neutral a través del cual vemos el mundo de la experiencia. En realidad, estos medios tienen una perspectiva. Son un prisma específico a través del cual vemos el mundo en el que vivimos.

Nathan: Me pregunto, y TDL acaba de publicar un artículo reciente que menciona esta especie de idea neoliberal de que las empresas estarían mejor si pudieran dejar de lado todos sus prejuicios y contratar a los mejores. ¿Crees que se trata de una simplificación excesiva en la que no se va a reconocer a los mejores precisamente por el tipo de estructura en la que hacemos esas evaluaciones sobre quién es valioso y quién no?

Brooke: Sí. Creo que la simplificación excesiva en ese caso proviene del término "mejor". ¿En qué aspectos son mejores determinadas personas? Si hay una forma muy clara y no problemática de definirlo, entonces estoy de acuerdo en que probablemente podamos sacar adelante este argumento de que todo lo que tenemos que hacer es desprejuiciar el proceso y ya está. Pero intentar definir quién es el mejor candidato es un proceso extremadamente difícil y tenso. Y de hecho, creo que algunas de las cosas más interesantes suceden específicamente cuando entramos en discusiones productivas y desacuerdos productivos sobre lo que significa "ser el mejor" en términos de contratación, en términos de ajuste, este tipo de cosas.

Nathan: ¿Crees que la evidencia tiene que ver con cómo determinamos lo mejor o es algo totalmente normativo y la evidencia es seleccionar a alguien una vez que hemos decidido cuáles son nuestros objetivos? ¿Cómo se desarrolla la interacción entre las pruebas y los valores en ese tipo de contexto específico?

Brooke: Creo que esta es una buena oportunidad para abrir esa complejidad, esa interactividad entre normas y pruebas. Podríamos decir: "Bueno, bueno, quiero definir 'mejor' a lo largo de cinco dimensiones, A, B, C, D y E." Sólo puedo hacerlo recurriendo a este tipo de léxico de cosas medibles que hay ahí fuera. Por lo tanto, ese léxico, ese arsenal de herramientas, que podemos utilizar para construir nuestra definición normativa, es donde están las pruebas que informan los valores, que los valores están íntimamente conectados con nuestras formas de construir pruebas. Quizá no sean las pruebas las que construyen nuestros valores normativos. Son las metodologías.

Nathan: Así que es la forma en que recogimos nuestros datos lo que importa.

Brooke: Así es. Por lo tanto, las metodologías son tal vez un lugar que debemos centrar más en este debate, que las metodologías están íntimamente conectados a ambos valores porque necesitamos alguna manera de concretar nuestros valores y nuestra evidencia porque necesitamos alguna manera de recoger nuestras pruebas. En ausencia de metodología, nos costará mucho definir nuestros valores o concretarlos, y no sabremos cómo recopilar la información para tratar de identificar quién se ajusta mejor a estas descripciones normativas, como quién es el mejor candidato para este puesto de trabajo.

Nathan: Por lo tanto, vamos a ir un nivel más profundo. ¿De dónde determinamos nuestras metodologías? Quiero decir, sé que has dicho valores. Pero en un sentido concreto, si vas a realizar una encuesta, mucho de esto viene de la experiencia pasada, ¿verdad? Utilizando el lenguaje de tu ponencia, ¿cuáles son los puntos de incisión, o de contacto, en los que se puede intervenir y cambiar el proceso?

Brooke: Una de las intervenciones más valiosas en términos de identificar qué pruebas serán relevantes para un problema, ayudándoles a recopilar esas pruebas, ayudándoles a procesarlas tanto de una manera muy técnica tipo ciencia de datos como también de una manera mucho más suave, tipo proceso institucional de toma de decisiones. Una de las cosas más importantes en ese trabajo es mantener la visibilidad de todo este tipo de cascada o flujo desde el tipo de resultado que se desea, que guía el tipo de pruebas que se identifican como relevantes y, a su vez, influye en el tipo de metodología que se selecciona para recopilar pruebas. Por último, el análisis de lo recopilado conduce al proceso de toma de decisiones basado en dicho análisis.

Brooke: Para mí, creo que el punto de incisión consiste realmente en mantener la visibilidad de todo ese proceso. Eso es algo que en muchos contextos se rompe. Así que las funciones que acabo de hablar en toda esa cascada, institucionalmente se dividen a menudo en ecosistemas muy aislados dentro de una organización. La persona responsable de la creación de los datos probablemente no tiene una gran visibilidad sobre el proceso institucional que va a ser informado por los datos más adelante en la línea. Creo que, en cierto modo, los científicos de datos han estado en una posición privilegiada para hacerlo. Específicamente porque durante varios años los científicos de datos escaparon o eludieron descripciones muy concretas de lo que era su papel. Eran más o menos etiquetados como estos unicornios o magos que simplemente hacían todo lo relacionado con los datos dentro de una institución u organización.

Brooke: Y en ese sentido, porque eludían ese tipo de descripción, porque eludían ese encasillamiento, también se les permitía tener la libertad de caminar por todos los límites que limitaban a la mayoría de la gente en una organización. Al tener un papel que les permitía vagar libremente a través de todos estos límites, creamos ese tipo de interconexión entre los silos que permitió una mejor toma de decisiones. En ese sentido, los buenos científicos de datos eran buenos científicos de datos y realmente permitían a las organizaciones tomar mejores decisiones, no sólo por su dominio técnico, sino también por el papel único que las instituciones les permitían ocupar y que normalmente no permiten que nadie más ocupe, como un corte transversal a través de la organización.

Nathan: Sólo tipo de ir en contra de ese tipo de Adam Smith tradicional tipo de especificación de la mano de obra cosa.

Exactamente.

Nathan: ¿Crees que el éxito de los científicos de datos es una crítica a la idea de la especificación del trabajo? ¿Crees que es algo que necesita ser revisado justo cuando nos fijamos en el comportamiento organizacional y tienes este CEO que está realmente desconectado del tipo de recolección de datos de tipo nitty-gritty? ¿Es eso un problema dado este tipo de marco?

Brooke: Sí, creo que sí. Creo que se convierte en un problema cuando nuestras metodologías empiezan a evolucionar muy rápidamente. Básicamente, mientras las metodologías evolucionen muy, muy despacio, no nos encontraremos con estos problemas en los que un director general, por ejemplo, acabe con un informe de datos en su mesa que podría ser solo un resumen ejecutivo de una página. No se llega a una situación en la que un director general puede tener ese tipo de producto en su escritorio y todo el proceso que conduce a ese producto será opaco.

Brooke: Si las metodologías son las mismas que venimos utilizando desde hace 50 años, la especialización del trabajo resulta menos problemática. Porque cuando el director general termina en su papel, no puede haber tanta diferencia entre la forma en que el proceso estaba sucediendo cuando tenían sus manos tipo de profundidad en el estiércol y la forma en que el proceso está sucediendo ahora que son más manos fuera en ese tipo de ejecución del día a día.

Brooke: A medida que las metodologías empiezan a evolucionar más rápidamente, ese tipo de sistema se rompe porque las personas que han dado este paso atrás y están adoptando una perspectiva estratégica más amplia sobre lo que está ocurriendo dejan de tener una buena visibilidad transparente sobre cómo es el funcionamiento cotidiano sobre el terreno.

Nathan: Uno de mis colegas en informática habló de esto en el contexto de su campo. Básicamente, si no pasas de ser un programador en los 5 o 10 años siguientes a la obtención de tu título, tus habilidades se quedan obsoletas, por lo que tienes que pasar a la gestión antes de que dejes de ser útil para la empresa. Creo que es un ejemplo total de la desconexión entre las personas que dirigen el espectáculo y las personas sobre el terreno que utilizan nuevas herramientas que los superiores no saben cómo utilizar.