No cabe duda de que hemos entrado en el último periodo revolucionario de la historia de la humanidad: la Revolución Tecnológica. Esta nueva era promete eficacia, comodidad, comunicación, igualdad de acceso a la información y una prosperidad sin igual, pero ¿a qué precio?
Es fácil dejarse deslumbrar por las proezas tecnológicas de los smartphones modernos, los coches autoconducidos o los juegos de realidad virtual, y olvidar que estas máquinas fueron construidas por humanos, en toda su gloria irracional e ilógica. Los programadores se convierten en arquitectos de la elección: tienen el poder de dar forma a los contextos en los que las personas toman decisiones y, por tanto, a esas mismas decisiones.1 Sin embargo, los diseñadores de estas tecnologías son susceptibles a los mismos sesgos y prejuicios inconscientes que el resto de nosotros, y las tecnologías resultantes -la inteligencia artificial y los algoritmos de aprendizaje automático, en particular- amenazan con exacerbar las desigualdades sociales al codificar nuestros sesgos humanos y proliferarlos a gran escala.
El aprendizaje automático, explicado
Los algoritmos de aprendizaje automático pueden no ser los grandes predictores que creemos. Se limitan a reproducir la sociedad tal y como es y era, en lugar de predecir lo que podría ser o, lo que es más importante, lo que nos gustaría que fuera.
Los algoritmos parecen bastante complejos, y en algunos casos lo son, pero difícilmente escapan a la comprensión humana. De hecho, utilizamos algoritmos predictivos en nuestras cabezas cientos de veces al día. ¿Qué debo cenar hoy? Quizá pueda pasarme por el supermercado al volver del trabajo y comprar verduras para acompañar las sobras de salmón de ayer. Esa sería la opción más rentable en tiempo y dinero, y esa es la solución a un algoritmo predictivo que has calculado en tu cabeza.
Cuando realizamos estos cálculos mentalmente, nos basamos en nuestra experiencia y en nuestro historial de aprendizaje para tomar decisiones. Los algoritmos de aprendizaje automático, por su parte, toman decisiones basándose en lo que han aprendido de los conjuntos de datos que les proporcionan sus desarrolladores. Si navegas habitualmente por Internet, conocerás el reCAPTCHA, un elemento de seguridad que pide a los usuarios (por ejemplo) que seleccionen todas las imágenes que contengan semáforos. Se trata de un algoritmo básico de aprendizaje automático de procesamiento de imágenes: Google utiliza tus respuestas para entrenar a su IA y mejorarla en el reconocimiento de imágenes.
Los conjuntos de datos utilizados para programar algoritmos de aprendizaje automático más avanzados incluyen colecciones de rostros humanos para software de reconocimiento facial, información sobre empleados seleccionados para software de selección de solicitudes y ubicaciones de detenciones policiales para software de predicción policial. ¿Hasta qué punto es inteligente nuestro futuro artificialmente "inteligente"?
Cómo los algoritmos aprenden nuestros prejuicios
Joy Buolamwini, investigadora licenciada del MIT, llamó la atención sobre el problema de la discriminación algorítmica cuando desveló un descubrimiento que había hecho mientras trabajaba con software de reconocimiento facial. En su charla TED de 2016 "How I'm fighting bias in algorithms" (Cómo lucho contra los prejuicios en los algoritmos), que cuenta con más de 1,2 millones de visitas en el momento de escribir estas líneas,2 Buolamwini describe un proyecto universitario que emprendió titulado "Aspire Mirror" (Espejo aspirante), en el que intentó proyectar máscaras digitales sobre su reflejo. Tuvo problemas cuando el software de reconocimiento facial que utilizaba no reconoció su rostro, hasta que se puso una máscara blanca.
Los sistemas de reconocimiento facial son algoritmos de ML entrenados mediante grandes conjuntos de datos. El algoritmo identifica, recopila y evalúa características faciales y las compara con imágenes existentes en la base de datos. Si alguna vez, como yo, has intentado aplicar uno de los filtros faciales de TikTok o Instagram a una de tus mascotas y no lo has conseguido, se debe a que el conjunto de datos utilizado para entrenar el software de reconocimiento facial solo contiene rostros humanos y desconoce las características faciales de los animales.
El problema es que los algoritmos de reconocimiento facial se entrenan de forma abrumadora utilizando conjuntos de datos contaminados por sesgos de muestreo. En un estudio de 2018 titulado "Gender Shades", se descubrió que dos puntos de referencia de análisis facial estaban compuestos de forma abrumadora por individuos de piel clara (79,6 % para IJB-A y 86,2 % para Adience).3 El estudio también reveló que las mujeres de piel oscura son el grupo más mal clasificado, con tasas de error de hasta el 34,7 % (en comparación con el 0,8 % de los hombres blancos). Se han encontrado resultados similares para el software de reconocimiento facial Rekognition de Amazon.4
No es de extrañar, por tanto, que el software de reconocimiento facial fallara en el caso de Joy, una mujer negra. El algoritmo no reconocía el rostro de Joy porque contenía muy pocos ejemplos de rostros como el suyo, un problema al que están acostumbradas las minorías étnicas, especialmente las mujeres de color. A medida que el protagonismo de los algoritmos de aprendizaje automático se introduce sigilosamente en todos los aspectos de nuestras vidas, es imperativo que iluminemos las caras ocultas de nuestros conjuntos de datos para eliminar los prejuicios existentes.
Sesgo algorítmico y contratación
Las herramientas automatizadas para seleccionar candidatos a un puesto de trabajo son otro ejemplo de algoritmos de aprendizaje automático que suelen basarse en conjuntos de datos sesgados. Estos algoritmos están ganando adeptos porque ahorran tiempo y dinero. La tecnología afirma que escanea los currículos en busca de palabras de moda que se asocian a candidatos deseables.5 El problema es que estos algoritmos se entrenan con conjuntos de datos de empleados de la empresa que ya han tenido éxito.
No es ninguna revelación nueva que el mundo empresarial ya está inundado de discriminación de género, racial y por discapacidad, y esto no hace sino aumentar a medida que se asciende en la escala corporativa. Un estudio histórico en este ámbito, titulado "¿Son Emily y Greg más empleables que Lakisha y Jamal?", descubrió que los currículos con nombres afroamericanos recibían un 50% menos de respuestas que los currículos idénticos con nombres blancos.6 Este sesgo racial existente en las prácticas de contratación está contenido en los conjuntos de datos de los empleados actuales y puede codificarse fácilmente en un algoritmo de inteligencia artificial. El algoritmo simplemente aprende con el ejemplo, y nuestra sociedad no da el mejor ejemplo.
Por ejemplo, el sesgo de género. Si una mujer solicita un puesto de trabajo en una empresa que utiliza un algoritmo en su proceso de contratación, es más probable que sea rechazada que sus homólogos masculinos igualmente cualificados, porque el algoritmo ha aprendido (a partir de su conjunto de datos sesgados) que los hombres tienen más probabilidades de ser empleados de éxito. Lo cree así porque suele haber menos mujeres que hombres en puestos corporativos de alto nivel. De hecho, esto es precisamente lo que ocurrió en Amazon cuando intentaron introducir la IA en su proceso de contratación; su algoritmo aprendió (entre otras cosas) a penalizar a los candidatos cuyos currículos incluían la palabra "femenino" (como en "club de ajedrez femenino") y que habían asistido a colegios o universidades exclusivamente femeninos. La IA es ajena a esta desigualdad, y sólo servirá para cristalizar estos prejuicios existentes a gran escala a medida que la tecnología de contratación se imponga a la intervención humana.
Cómo los algoritmos crean la realidad
El aprendizaje automático y la IA se presentan cada vez más como herramientas para predecir el futuro. Pero si no se utilizan con cuidado, existe el peligro de que en realidad acaben creando las condiciones para que continúen los mismos patrones, a menudo a expensas de grupos que ya son vulnerables.
Un buen ejemplo de este efecto son los programas informáticos de predicción policial, como PredPol y Compstat, que presumen de su capacidad para predecir los focos de delincuencia en función de la hora del día. Esto permite a las fuerzas policiales desplegar a los agentes allí donde más se les necesita, para intervenir con mayor eficacia cuando se produce un delito. Parece una buena idea, pero ¿cuál es el truco? Pues bien, estos algoritmos se entrenan utilizando conjuntos de datos sobre el número de detenciones en determinadas zonas. Como en los ejemplos anteriores, esto significa que el algoritmo se convierte en un reflejo de nuestro entorno sociopolítico actual, en el que la policía se despliega con mayor frecuencia en zonas desfavorecidas habitadas por grupos negros y minoritarios. Esto crea un pernicioso bucle de retroalimentación: los datos de la vigilancia policial se utilizan para justificar una mayor presencia policial, lo que a su vez conduce a más detenciones.7 Debido a ejemplos como estos, la matemática y científica de datos Cathy O'Neil ha apodado a ciertos algoritmos de aprendizaje automático "armas de destrucción matemática" (ADM).
El problema es que existe una enorme brecha de datos entre la delincuencia en las zonas pobres y en las de clase media y acomodada, debido a la falta de vigilancia policial en estas últimas. Estos algoritmos también utilizan las detenciones como indicador de la delincuencia, pero muchas de ellas no acaban en condena. Este es un ejemplo de la Ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. Si el verdadero objetivo de la vigilancia policial predictiva es descubrir la delincuencia, centrarse en el número de detenciones no es un buen sustituto de los casos en los que la policía ha podido reducir o evitar daños gracias a su capacidad de intervención rápida.
Un futuro mejor con la IA
Está claro que la IA y el ML tienen la capacidad de dañar la igualdad social y la democracia, pero ¿podrían también proporcionar la solución a lo que tememos? Por ejemplo, si se tiene en cuenta correctamente el sesgo actual, ¿podría la tecnología de contratación servir realmente para mejorar la igualdad en el lugar de trabajo? Es muy probable, siempre y cuando las personas tomen medidas para garantizarlo.
Algoritmos más equitativos
En un famoso estudio titulado "Orchestrating Impartiality" (Orquestando la imparcialidad), unos experimentadores compararon los resultados de audiciones de orquesta "a ciegas", en las que los jueces no podían ver a los aspirantes mientras actuaban, con los del modelo de audiciones presenciales existente.8 Desde que se introdujo el modelo de audiciones a ciegas, el número de mujeres músicas se ha quintuplicado, lo que revela una desagradable dosis de sesgo de género en los antiguos procesos de contratación de orquestas.
La tecnología tiene la capacidad de eliminar los sesgos, pero sólo si nuestros algoritmos están entrenados para ello. Por ejemplo, los algoritmos de contratación podrían entrenarse para fijarse únicamente en la experiencia relevante de un candidato, en lugar de en variables potencialmente inductoras de prejuicios como el nombre, la raza, el sexo, el código postal o si fue o no a una universidad de la Ivy League. De este modo, la IA podría ofrecer su propia versión de las audiciones a ciegas. Por ejemplo, Amazon, tras las revelaciones sobre su algoritmo de contratación discriminatorio, recalibró su IA para que fuera neutral ante términos como "club de ajedrez de mujeres" (aunque los críticos dijeron que seguía sin ser suficiente, y más tarde Amazon desechó la herramienta por completo).
Este planteamiento podría aplicarse en los procesos de contratación y en otros ámbitos para eliminar los prejuicios existentes, demostrando que la IA tiene un inmenso poder para elevar y proteger nuestra sociedad si se utiliza a conciencia.
Ser consciente del aprendizaje automático
En palabras de Eckhart Tolle, "La conciencia es el mayor agente de cambio". Una mayor concienciación respecto a cómo se utilizan estos algoritmos, cómo nos afectan y dónde acudir en busca de ayuda es imprescindible para avanzar en un mundo de IA.
Joy Buolamwini y Cathy O'Neil son fundadoras de organizaciones que tratan de reducir la discriminación algorítmica, conocidas respectivamente como The Algorithmic Justice League y ORCAA. ORCAA es una consultora que puede contratarse para evaluar si el uso de algoritmos por parte de una organización es ético y acorde con los valores de la empresa. El objetivo de ORCAA es incorporar y abordar las preocupaciones de todas las partes interesadas en un algoritmo, no sólo las de quienes lo construyeron o desplegaron. También ayudan a solucionar los problemas de imparcialidad, distribuyen certificaciones de imparcialidad (cuando procede) y contribuyen a la educación en materia de imparcialidad algorítmica.
También vale la pena señalar que en muchos casos, como en la contratación, lo mejor para una empresa es evaluar a los candidatos de forma justa. De lo contrario, pueden perderse fácilmente a los candidatos que podrían aportar un talento y una experiencia excepcionales a su empresa. En casos como éste, una auditoría externa es una forma excelente de verificar la equidad de su herramienta automatizada de selección de candidatos.
Regulación de la IA
Está claro que la opacidad de los algoritmos de ML ha permitido a algunas empresas utilizarlos en detrimento de la sociedad. En un futuro con más inteligencia artificial, necesitaremos definiciones de imparcialidad que sean de conocimiento público y que estén referenciadas y defendidas por un tribunal de justicia. Los algoritmos deberían someterse a pruebas rigurosas antes de su publicación, y las empresas deberían tener que demostrar que cumplen las leyes contra la discriminación.
Los reguladores y legisladores de EE.UU. ya están elaborando normas para la auditoría algorítmica, incluida la traducción de las leyes de imparcialidad existentes en normas para los creadores de algoritmos7. Las pruebas de imparcialidad algorítmica podrían seguir un proceso de aprobación similar al de la FDA, en el que la carga de la prueba de la eficacia recaiga en las partes que desarrollan los algoritmos. También debería revelarse cuándo se utilizan estos algoritmos para evaluar a una persona y cuál es el resultado deseado del algoritmo. Esto permitiría a las personas cuestionar sus resultados y solicitar asistencia jurídica si fuera necesario.
Sin embargo, esto sigue dejando algunos interrogantes. Por ejemplo, ¿quién debería ser el encargado de hacer cumplir las leyes relativas a los algoritmos de aprendizaje automático? ¿Podemos confiar en que las empresas velen por nuestros intereses y sean transparentes sobre el funcionamiento interno de sus algoritmos? ¿Confiamos en que los gobiernos aprueben y apliquen eficazmente normativas estrictas en este ámbito? Aunque avancemos hacia un sistema de regulación de los algoritmos, aún está por ver cómo funcionará en la práctica. Estas preguntas deben responderse con las aportaciones del público y de expertos en equidad e IA.
Llegar a la raíz del problema
Como ocurre con la mayoría de las soluciones, la educación también es un imperativo en este caso. Los arquitectos de la elección (o programadores, en este caso) tienen una gran responsabilidad al crear algoritmos capaces de cambiar la sociedad en la que vivimos. Formar a los programadores en la equidad algorítmica con la ayuda de la ciencia del comportamiento es también un siguiente paso crucial. Necesitamos actuar urgentemente en cuestiones relacionadas con la equidad algorítmica a medida que la IA sigue impregnando los distintos niveles de nuestra sociedad.
Conclusión
En palabras del escritor estadounidense William Gibson, "El futuro está aquí, sólo que no está distribuido equitativamente", es decir, el futuro está aquí, pero no todos los grupos se benefician plenamente de él. La IA está aún en pañales y, en muchos casos, se limita a reproducir el mundo tal como es o ha sido, repleto de prácticas sesgadas y discriminatorias. El sesgo codificado no sólo aparece en el software de reconocimiento facial, la contratación y la vigilancia policial, sino también en los procesos de solicitud de admisión a la universidad, los seguros médicos y de automóvil, las decisiones sobre la solvencia crediticia y mucho más. Ya está dando forma a la sociedad en la que vivimos.
¿No hemos aprendido del crack de Wall Street de 2008 que no debemos esperar a que se produzca un desastre para regular los instrumentos financieros modernos o, en este caso, las tecnologías modernas? De lo contrario, el futuro que nos promete la inteligencia artificial podría ser un mero reflejo de nuestros errores pasados. ¿Quién ejerce el poder de nuestro futuro? ¿Los gobiernos? ¿O son un puñado de empresas que controlan la IA y cuyo principal objetivo actual es su cuenta de resultados?
Depende de nosotros educarnos en cuestiones de equidad algorítmica. Depende de nosotros presionar para que se regule mejor la ética de los algoritmos de aprendizaje automático. Depende de nosotros buscar ayuda legal cuando seamos perjudicados por estos algoritmos para sentar precedentes legales que beneficien al resto de la sociedad. Tenemos la oportunidad de diseñar una sociedad basada en la igualdad y la aceptación tejiendo estos valores en nuestra tecnología. Este artículo advierte de los peligros a los que nos enfrentamos si seguimos en nuestra trayectoria actual, los peligros de un futuro artificialmente "inteligente" sin regulación.
References
- Thaler, R. H., y Sunstein, C. R. Nudge: Mejorar las decisiones sobre salud, riqueza y felicidad.
- Buolamwini, J. (2016). Cómo lucho contra los prejuicios en los algoritmos. https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language=en#t-170583
- Buolamwini, J., y Gebru, T. (2018). Matices de género: Disparidades interseccionales de precisión en la clasificación comercial de género. Proceedings of Machine Learning Research, 81:1-15. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
- Singer, N. (2019, 24 de enero). Amazon está impulsando una tecnología facial que, según un estudio, podría estar sesgada. The New York Times. https://www.nytimes.com/2019/01/24/technology/amazon-facial-technology-study.html
- Givens, A. R., Schellmann, H., & Stoyanovich, J. (2021, 17 de marzo). Necesitamos leyes contra el racismo y el sexismo en la contratación de tecnología. The New York Times. https://www.nytimes.com/2021/03/17/opinion/ai-employment-bias-nyc.html
- Bertrand, M., y Mullainathan, S. (2004). ¿Son Emily y Greg más empleables que Lakisha y Jamal? A Field Experiment on Labor Market Discrimination. American Economic Review, 94(4), 991-1013. https://www.aeaweb.org/articles?id=10.1257/0002828042002561
- O'Neil, C. (2016). Armas de destrucción matemática: Cómo el big data aumenta la desigualdad y amenaza la democracia. Crown.
- Goldin, C., y Rouse, C. (2000). Orchestrating Impartiality: The Impact of "Blind" Auditions on Female Musicians. American Economic Review, 90(4), 7515-741. https://pubs.aeaweb.org/doi/pdfplus/10.1257/aer.90.4.715
