No cabe duda de que hemos entrado en el último periodo revolucionario de la historia de la humanidad: la Revolución Tecnológica. Esta nueva era promete eficacia, comodidad, comunicación, igualdad de acceso a la información y una prosperidad sin igual, pero ¿a qué precio?
Es fácil dejarse deslumbrar por las proezas tecnológicas de los smartphones modernos, los coches autoconducidos o los juegos de realidad virtual, y olvidar que estas máquinas fueron construidas por humanos, en toda su gloria irracional e ilógica. Los programadores se convierten en arquitectos de la elección: tienen el poder de dar forma a los contextos en los que las personas toman decisiones y, por tanto, a esas mismas decisiones.1 Sin embargo, los diseñadores de estas tecnologías son susceptibles a los mismos sesgos y prejuicios inconscientes que el resto de nosotros, y las tecnologías resultantes -la inteligencia artificial y los algoritmos de aprendizaje automático, en particular- amenazan con exacerbar las desigualdades sociales al codificar nuestros sesgos humanos y proliferarlos a gran escala.
El aprendizaje automático, explicado
Los algoritmos de aprendizaje automático pueden no ser los grandes predictores que creemos. Se limitan a reproducir la sociedad tal y como es y era, en lugar de predecir lo que podría ser o, lo que es más importante, lo que nos gustaría que fuera.
Los algoritmos parecen bastante complejos, y en algunos casos lo son, pero difícilmente escapan a la comprensión humana. De hecho, utilizamos algoritmos predictivos en nuestras cabezas cientos de veces al día. ¿Qué debo cenar hoy? Quizá pueda pasarme por el supermercado al volver del trabajo y comprar verduras para acompañar las sobras de salmón de ayer. Esa sería la opción más rentable en tiempo y dinero, y esa es la solución a un algoritmo predictivo que has calculado en tu cabeza.
Cuando realizamos estos cálculos mentalmente, nos basamos en nuestra experiencia y en nuestro historial de aprendizaje para tomar decisiones. Los algoritmos de aprendizaje automático, por su parte, toman decisiones basándose en lo que han aprendido de los conjuntos de datos que les proporcionan sus desarrolladores. Si navegas habitualmente por Internet, conocerás el reCAPTCHA, un elemento de seguridad que pide a los usuarios (por ejemplo) que seleccionen todas las imágenes que contengan semáforos. Se trata de un algoritmo básico de aprendizaje automático de procesamiento de imágenes: Google utiliza tus respuestas para entrenar a su IA y mejorarla en el reconocimiento de imágenes.
Los conjuntos de datos utilizados para programar algoritmos de aprendizaje automático más avanzados incluyen colecciones de rostros humanos para software de reconocimiento facial, información sobre empleados seleccionados para software de selección de solicitudes y ubicaciones de detenciones policiales para software de predicción policial. ¿Hasta qué punto es inteligente nuestro futuro artificialmente "inteligente"?
Cómo los algoritmos aprenden nuestros prejuicios
Joy Buolamwini, investigadora licenciada del MIT, llamó la atención sobre el problema de la discriminación algorítmica cuando desveló un descubrimiento que había hecho mientras trabajaba con software de reconocimiento facial. En su charla TED de 2016 "How I'm fighting bias in algorithms" (Cómo lucho contra los prejuicios en los algoritmos), que cuenta con más de 1,2 millones de visitas en el momento de escribir estas líneas,2 Buolamwini describe un proyecto universitario que emprendió titulado "Aspire Mirror" (Espejo aspirante), en el que intentó proyectar máscaras digitales sobre su reflejo. Tuvo problemas cuando el software de reconocimiento facial que utilizaba no reconoció su rostro, hasta que se puso una máscara blanca.
Los sistemas de reconocimiento facial son algoritmos de ML entrenados mediante grandes conjuntos de datos. El algoritmo identifica, recopila y evalúa características faciales y las compara con imágenes existentes en la base de datos. Si alguna vez, como yo, has intentado aplicar uno de los filtros faciales de TikTok o Instagram a una de tus mascotas y no lo has conseguido, se debe a que el conjunto de datos utilizado para entrenar el software de reconocimiento facial solo contiene rostros humanos y desconoce las características faciales de los animales.
El problema es que los algoritmos de reconocimiento facial se entrenan de forma abrumadora utilizando conjuntos de datos contaminados por sesgos de muestreo. En un estudio de 2018 titulado "Gender Shades", se descubrió que dos puntos de referencia de análisis facial estaban compuestos de forma abrumadora por individuos de piel clara (79,6 % para IJB-A y 86,2 % para Adience).3 El estudio también reveló que las mujeres de piel oscura son el grupo más mal clasificado, con tasas de error de hasta el 34,7 % (en comparación con el 0,8 % de los hombres blancos). Se han encontrado resultados similares para el software de reconocimiento facial Rekognition de Amazon.4
No es de extrañar, por tanto, que el software de reconocimiento facial fallara en el caso de Joy, una mujer negra. El algoritmo no reconocía el rostro de Joy porque contenía muy pocos ejemplos de rostros como el suyo, un problema al que están acostumbradas las minorías étnicas, especialmente las mujeres de color. A medida que el protagonismo de los algoritmos de aprendizaje automático se introduce sigilosamente en todos los aspectos de nuestras vidas, es imperativo que iluminemos las caras ocultas de nuestros conjuntos de datos para eliminar los prejuicios existentes.
References
- Thaler, R. H., y Sunstein, C. R. Nudge: Mejorar las decisiones sobre salud, riqueza y felicidad.
- Buolamwini, J. (2016). Cómo lucho contra los prejuicios en los algoritmos. https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language=en#t-170583
- Buolamwini, J., y Gebru, T. (2018). Matices de género: Disparidades interseccionales de precisión en la clasificación comercial de género. Proceedings of Machine Learning Research, 81:1-15. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
- Singer, N. (2019, 24 de enero). Amazon está impulsando una tecnología facial que, según un estudio, podría estar sesgada. The New York Times. https://www.nytimes.com/2019/01/24/technology/amazon-facial-technology-study.html
- Givens, A. R., Schellmann, H., & Stoyanovich, J. (2021, 17 de marzo). Necesitamos leyes contra el racismo y el sexismo en la contratación de tecnología. The New York Times. https://www.nytimes.com/2021/03/17/opinion/ai-employment-bias-nyc.html
- Bertrand, M., y Mullainathan, S. (2004). ¿Son Emily y Greg más empleables que Lakisha y Jamal? A Field Experiment on Labor Market Discrimination. American Economic Review, 94(4), 991-1013. https://www.aeaweb.org/articles?id=10.1257/0002828042002561
- O'Neil, C. (2016). Armas de destrucción matemática: Cómo el big data aumenta la desigualdad y amenaza la democracia. Crown.
- Goldin, C., y Rouse, C. (2000). Orchestrating Impartiality: The Impact of "Blind" Auditions on Female Musicians. American Economic Review, 90(4), 7515-741. https://pubs.aeaweb.org/doi/pdfplus/10.1257/aer.90.4.715
