Como licenciada del Instituto Tecnológico de Massachusetts (MIT), parece interesada en ver las viejas portadas de MIT Technology Review colgadas en nuestra oficina de Londres (Reino Unido). Entre ellas, una edición de la revista de 1961 plantea la pregunta: "¿Entrará su hijo en la universidad?".
nBuolamwini encuentra la portada divertida y le hace una foto. Los tiempos han cambiado mucho desde 1961. En sus nuevas memorias, Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Buolamwini comparte la historia de su vida. En muchos sentidos, representa lo lejos que ha llegado la tecnología desde entonces y lo mucho que le queda por recorrer.
nBuolamwini es conocida sobre todo por un artículo pionero que escribió junto con la investigadora de IA Timnit Gebru en 2018, titulado "Gender Shades" (Sombras de género). Este trabajo exponía cómo los sistemas comerciales de reconocimiento facial a menudo no reconocían los rostros de las personas negras y morenas, en especial las mujeres negras. Su investigación y activismo llevaron a empresas como Google, IBM y Microsoft a mejorar su software para que fuera menos sesgado y a dejar de vender su tecnología a las fuerzas de seguridad.
nAhora, Buolamwini tiene un nuevo objetivo a la vista. Pide un replanteamiento radical de cómo se construyen los sistemas de IA. Buolamwini explica a MIT Technology Review que, en medio del actual auge de la IA, ve un riesgo muy real de dejar que las empresas tecnológicas dicten las normas que se las rigen , repitiendo el mismo error que, según argumenta, ha permitido que las tecnologías sesgadas y opresivas prosperen..
n"Lo que me preocupa es que estemos dando carta blanca a muchas empresas, o que aplaudamos la innovación mientras giramos la cabeza [para no ver los daños]", afirma Buolamwini.
nSegún la activistai, es especialmente preocupante la base sobre la que estamos construyendo los modelos de IA actuales , los llamados modelos básicos. Los tecnólogos prevén que estos modelos multifuncionales sirvan de trampolín para muchas otras aplicaciones de IA, desde los chatbots hasta la creación automática de películas. Se construyen extrayendo grandes cantidades de datos de internet, incluidos contenidos protegidos por derechos de autor e información personal. Muchas empresas de IA han sido demandadas por artistas, discográficas y escritores que alegan que su propiedad intelectual ha sido sustraída sin su consentimiento.
nEl modus operandi actual de las empresas de IA no es ético: una forma de "colonialismo de datos con un total desprecio por el consentimiento", afirma Buolamwini.
n"Si no hay leyes, se saquea lo que está ahí fuera", señala. Como autora, Buolamwini espera que su libro, sus poemas, su voz y sus artículos de opinión ― incluso su tesis doctoral ― se conviertan en modelos de IA. "Si descubro que alguno de mis trabajos se ha utilizado en estos sistemas, no dudaré en denunciarlo. Eso es lo que hacemos", enfatiza.
nBuolamwini sostiene que una verdadera innovación de la que valdría la pena presumir serían modelos que las empresas pudieran demostrar que tienen un impacto climático positivo y datos de origen legítimo, por ejemplo.
n"Veo una oportunidad de aprender de tantos errores del pasado cuando se trata de sistemas opresivos que impulsan tecnologías avanzadas. Espero que vayamos en una dirección diferente", afirma.
nCuando le pregunto sobre qué aspecto de los sistemas de IA auditaría hoy si pudiera repetir el éxito de "Gender Shades", , Buolamwini responde de inmediato que, en lugar de una única auditoría, le gustaría que la IA tuviera una cultura de auditoría, en la que los sistemas se probaran de forma rigurosa antes de implementarse en el mundo real. Le gustaría que los desarrolladores de IA se plantearan preguntas esenciales sobre cualquier sistema que ideen, como: ¿Cómo hace lo que hace y si deberíamos utilizarlo?
n"Ahora mismo estamos en una situación de conejillo de indias, en la que los sistemas no se han probado del todo... Eso es irresponsable, sobre todo cuando se utilizan de formas que afectan las experiencias y las oportunidades de las personas", afirma.
nUn activista por accidente
nBuolamwini lleva casi una década a la vanguardia de la sensibilización sobre los daños de la IA. Sin embargo, su camino hasta convertirse en una investigadora destacada y activista dista mucho de ser el típico.
nEn sus memorias cuenta cómo pasó de ser una joven estudiante de informática que no quería lidiar con "las consecuencias y los humanos", como ella misma describe, a alguien que no podía mirar hacia otro lado cuando se enfrentaba a una tecnología defectuosa que no había sido creada para gente como ella.
nEn un momento sorprendente del libro, Buolamwini describe cómo descubrió que un programa de reconocimiento facial común reconocía una máscara blanca de Halloween, pero no su propia cara. Aunque estaba inquieta, la reacción inicial de Buolamwini fue que otra persona, quizá un investigador de IA más experimentado, se ocuparía del problema. Sin embargo, cuantos más ejemplos de sesgo algorítmico veía, más difícil le resultaba no hacer algo por sí misma.
nCuando aún era una investigadora de doctorado, impulsada por los hallazgos de su investigación sobre el reconocimiento facial, Buolamwini fundó la Liga de Justicia Algorítmica (AJL, por sus siglas en inglés), una organización sin ánimo de lucro que lucha contra los sesgos algorítmicos y la injusticia. Además, se convirtió en una voz destacada entre los que advierten sobre el daño de los sistemas de IA sesgados. En 2019, dio un par de testimonios de expertos ante el Congreso sobre la tecnología de reconocimiento facial y su efecto en los derechos y libertades civiles.
nAunque la historia de Buolamwini es inspiradora, también es una advertencia. La presión de concienciar sobre los daños de la IA y de alzar la voz contra algunas de las empresas más poderosas del mundo le pasó factura. En una parte del libro especialmente triste y conmovedora, Buolamwini cuenta que se internó en urgencias la noche antes de un examen, agotada por el estrés de testificar ante el Congreso una y otra vez, además de los numerosos viajes y actividades de promoción.
nDespués de años de trabajo intenso creando la AJL y asesorando a gobiernos sobre IA mientras realizaba su doctorado, su "agotamiento" era tan abrumador que en 2021 escribió una carta a sus profesores en la que les decía que podría dejarlo. Les pidió que justificaran los beneficios reales de un doctorado en el MIT, que sería su cuarto título universitario.
nDejó de escribir su tesis durante un mes para descansar y se dedicó al monopatín. "Quizá no era demasiado tarde para convertirse en patinadora profesional y representar a Ghana en las próximas Olimpiadas", escribe Buolamwini con un poco de ironía.
nAl final, decidió terminar su doctorado y graduarse en 2022. Se decidió a hacerlo, escribe, tras darse cuenta de que, para ella, como mujer de color, a diferencia de sus colegas blancos, abandonar un programa de estudios sería visto como un fracaso.
nGran riesgo, gran recompensa
nBuolamwini también describe un episodio en el que se enfrentó a un "Goliat" de la tecnología, Amazon. Su investigación doctoral sobre la auditoría de sistemas de reconocimiento facial provocó ataques públicos de altos ejecutivos de la empresa, que en ese momento ―en 2019― competía con Microsoft por un contrato de 10.000 millones de dólares (alrededor de 9.300 millones de euros) para proporcionar servicios de IA al Pentágono. Después de que la investigación de Buolamwini e Inioluwa Deborah Raji, otra investigadora de IA, mostrara que la tecnología de reconocimiento facial de Amazon estaba sesgada, Matt Wood, un vicepresidente de Amazon, afirmó que su artículo y la cobertura de prensa al respecto eran "engañosos" y sacaban "conclusiones falsas."
nAmazon fue la única empresa tecnológica que se mostró combativa con la investigación de Buolamwini. Le preocupaba poner en peligro a Raji, que en aquel momento era aún estudiante: "Los futuros departamentos de informática podrían considerarla demasiado arriesgada. Los futuros empleadores del sector tecnológico podrían ponerla en una lista negra", escribe Buolamwini.
n"Me preocupaba que si otros investigadores veían lo que Amazon nos estaba haciendo y ningún académico salía en su defensa, otros investigadores percibirían que el riesgo profesional de este tipo de investigación era demasiado alto", añade Buolamwini.
nMuchas personas acudieron a luchar a su lado. La American Civil Liberties Union de Massachusetts (ACLU, por sus siglas en inglés) y el Georgetown Law Center on Privacy and Technology la apoyaron públicamente en Twitter (ahora X). En la comunidad investigadora, Margaret Mitchell y Gebru, que en aquel momento dirigían el trabajo ético sobre IA de Google, organizaron una carta abierta en apoyo del trabajo de Buolamwini. Setenta y cinco investigadores, entre ellos Yoshua Bengio, ganador del Premio Turing, la firmaron.
nDecepcionantemente, cuenta, la mayor parte del apoyo público que recibió procedía de fuera del MIT. En su libro, escribe que sintió que había sido "abandonada en gran medida por la mayoría de los dirigentes del MIT en ese momento".
n"Supuse que el Media Lab, que exhibía mi trabajo para atraer estudiantes y cobertura periodística, me defendería. Fue decepcionante sentir que tenía que suplicar protección y recibir muy poca", escribe Buolamwini. (Nos hemos puesto en contacto con el MIT Media Lab para recabar comentarios sobre esta acusación, y actualizaremos este artículo si responden).
n¿Su consejo para los jóvenes del mundo de la tecnología que quieren hablar de los problemas que ven? "No os metáis en lo más hondo sin saber que lo es", afirma Buolamwini. Quiere que haya más gente capaz de denunciar las injusticias.
nSin embargo, al mismo tiempo, les aconseja que se rodeen de personas que puedan ofrecerles apoyo y protección. "Su voz es importante", señala.
nCorrección: En una versión anterior de este artículo se indicaba incorrectamente el año de publicación de "Sombras de género". Ahora se ha corregido. Disculpen las molestias.
n