Mientras ocupaba este puesto en 2020, Gebru contactó a la profesora de lingüística de la Universidad de Washington (EE. UU.) Emily Bender, y las dos decidieron colaborar en la investigación sobre la preocupante dirección de la inteligencia artificial (IA). Gebru quería identificar los riesgos que planteaban los grandes modelos de lenguaje, uno de los últimos avances más sorprendentes en la investigación de la IA. Estos modelos son algoritmos entrenados en asombrosas cantidades de texto. En las condiciones adecuadas, pueden componer lo que parecen convincentes párrafos de prosa.
nDurante algunos años, las empresas tecnológicas han estado compitiendo para crear versiones más grandes de estos modelos e integrarlas en los productos de consumo. Google, que inventó esta técnica, ya usaba una para mejorar la relevancia de los resultados de búsqueda. OpenAI anunció en junio de 2020 el modelo más grande, denominado GPT-3, y unos meses después dio el derecho de uso exclusivo sobre GPT-3 a Microsoft.
nA Gebru le preocupaba la rapidez con la que se implementaba la tecnología. En el artículo que acabó escribiendo con Bender y otras cinco personas, Gebru detalló los posibles peligros: la creación de los modelos fue enormemente costosa, tanto desde el punto de vista medioambiental (requieren enormes cantidades de potencia computacional) como económicamente; a menudo se entrenaban con el lenguaje tóxico y abusivo de inte et; y llegarían a dominar la investigación en IA del lenguaje, lo que desplazaría otras alte ativas prometedoras.
nAl igual que otras técnicas existentes de IA, en realidad los modelos no entienden el lenguaje. Pero como pueden manipularlo para recuperar la información basada en texto para los usuarios o generar una conversación natural, se pueden empaquetar en productos y servicios que hacen que las empresas tecnológicas ganen mucho dinero.
nEse noviembre, Gebru presentó el artículo a una conferencia. Poco después, los directivos de Google le pidieron que se retractara y, cuando ella se negó, la despidieron. Dos meses después, también cesaron a su coautora Margaret Mitchell, la otra líder del equipo de Ética para la IA.
nEl desmantelamiento de ese equipo provocó una de las mayores controversias dentro del mundo de la IA en la historia reciente. Los defensores de Google argumentaron que la empresa tenía derecho a supervisar a sus propios investigadores. Pero, para muchos otros, ese hecho ha consolidado los temores sobre el nivel de control que los gigantes tecnológicos tienen sobre el campo en la actualidad. Las grandes tecnológicas son el principal empleador y financiador de los investigadores de IA, incluidos, irónicamente, muchos de los que evalúan sus impactos sociales.
nLas empresas más ricas y poderosas del mundo (Google, Facebook, Amazon, Microsoft y Apple) han hecho de la IA una parte fundamental de su negocio. Los avances de la última década, especialmente en la técnica de IA denominada aprendizaje profundo, les han permitido monitorear el comportamiento de los usuarios; recomendarles noticias, información y productos; y, sobre todo, bombardearlos con anuncios. El año pasado, el mecanismo de publicidad de Google generó más de 140.000 millones de dólares (115.450 millones de euros) en ingresos. Facebook ganó 84.000 millones de dólares (69.270 millones de euros).
nLas empresas han invertido mucho en la tecnología que les ha aportado esa riqueza tan enorme. La empresa matriz de Google, Alphabet, adquirió en 2014 el laboratorio de inteligencia artificial londinense DeepMind por 600 millones de dólares (495 millones de euros) y gasta cientos de millones al año para respaldar su investigación. Microsoft firmó en 2019 un acuerdo de 1.000 millones de dólares (825 millones de euros) con OpenAI por los derechos de comercialización de sus algoritmos.
nAl mismo tiempo, los gigantes tecnológicos se han convertido en grandes inversores en la investigación de IA de las universidades, lo que influye en gran medida en sus prioridades científicas. A lo largo de los años, cada vez más científicos ambiciosos han pasado a trabajar para los gigantes tecnológicos a tiempo completo o han adoptado la afiliación dual. De 2018 a 2019, el 58 % de los artículos más citados en las dos principales conferencias de IA tenían al menos a un autor afiliado a un gigante tecnológico, en comparación con solo el 11 % una década antes, según un estudio de los investigadores del grupo Radical AI Network, que intenta desafiar las dinámicas de poder en la IA.
nEl problema consiste en que la agenda corporativa para la IA se ha centrado en técnicas con potencial comercial y ha ignorado en gran medida la investigación que podría ayudar a abordar los desafíos como la desigualdad económica y el cambio climático. De hecho, ha empeorado estos problemas. El deseo para automatizar tareas ha costado puestos de trabajos y ha provocado el aumento de labores tediosas como la limpieza de datos y la moderación de contenido. El impulso para crear modelos cada vez más grandes ha provocado que se dispare el consumo de energía de la IA. El aprendizaje profundo también ha creado una cultura en la que nuestros datos se extraen constantemente, a menudo sin consentimiento, para entrenar distintos productos como los sistemas de reconocimiento facial. Y los algoritmos de recomendación han incrementado la polarización política, mientras que los grandes modelos de lenguaje no han logrado eliminar la desinformación.
nGebru y un creciente movimiento de expertos de ideas afines quieren cambiar esta situación. Durante los últimos cinco años, han intentado cambiar las prioridades del más allá de solo enriquecer a las empresas tecnológicas, ampliando quién puede participar en el desarrollo de la tecnología. Su objetivo no es solo mitigar los daños causados por los sistemas existentes, sino crear una nueva IA, más equitativa y democrática.
n"Hola de Timnit"
nEn diciembre de 2015, Gebru se sentó a escribir una carta abierta. A mitad de su doctorado en la Universidad de Stanford (EE. UU.), asistió a la conferencia de Sistemas de Procesamiento de Información Neuronal (NeurIPS), la mayor reunión anual de investigación de IA. De los más de 3.700 investigadores allí, Gebru contó solo un puñado de asistentes negros.
nCuando antes era una pequeña reunión sobre un tema académico muy específico, NeurIPS se convirtió rápidamente en el mayor éxito anual de trabajos de IA. Las empresas más ricas del mundo acudían a realizar sus demostraciones, organizar fiestas extravagantes y emitir cheques considerables para las personas más raras de Silicon Valley: hábiles investigadores de IA.
nEse año apareció Elon Musk para presentar la empresa sin ánimo de lucro OpenAI. Él, el entonces presidente de Y Combinator, Sam Altman, y el cofundador de PayPal, Peter Thiel, habían aportado 1.000 millones de dólares (825 millones de euros) para resolver lo que creían que era un problema existencial: la idea de que una superinteligencia pudiera algún día apoderarse del mundo. Su solución: construir una superinteligencia aún mejor. De los 14 asesores o miembros designados del equipo técnico, 11 eran hombres blancos.
n
Créditos: Ricardo Santos / Foto de cortesía
nMientras se alababa a Musk, Gebru se enfrentaba a la humillación y el acoso. En una fiesta de la conferencia, un grupo de chicos borrachos con camisetas de Google Research la rodearon y de forma no consentida la abrazaron, le dieron un beso en la mejilla y la fotografiaron.
nGebru escribió una crítica mordaz de lo que había observado: el espectáculo, la adoración de culto a las celebridades de la IA y, sobre todo, la abrumadora homogeneidad. La cultura de este club de chicos, escribió, ya había expulsado a las mujeres talentosas del campo. También estaba llevando a toda la comunidad hacia una idea peligrosamente estrecha de la IA y de su impacto en el mundo.
nGoogle ya había implementado un algoritmo de visión artificial que clasificaba a los negros como gorilas, señaló Gebru. Y la creciente sofisticación de los drones no tripulados estaba poniendo al ejército estadounidense en el camino hacia las armas autónomas letales. Pero estos problemas no se mencionaban en el gran plan de Musk para evitar que la IA se apodere del mundo en algún escenario teórico del futuro. "No tenemos que proyecta os hacia el futuro para ver los posibles efectos adversos de la IA", escribió Gebru. "Eso ya está pasando".
nGebru nunca publicó esas observaciones. Pero se dio cuenta de que algo tenía que cambiar. El 28 de enero de 2016, envió un correo electrónico con el asunto "Hola de Timnit" a otros cinco investigadores negros de IA. Escribió: "Siempre me ha entristecido la falta de personas de color en la IA, pero he visto a 5 de ustedes :) y pensé que sería genial si creáramos un grupo de negros en IA o al menos conoce os".
nEl correo electrónico provocó una discusión. ¿Acaso el hecho de ser negro importaba para su investigación? Para Gebru, su trabajo era en gran medida un producto de su identidad; pero para otros, no. Después de conocerse se pusieron de acuerdo: si la IA iba a tener un papel más importante en la sociedad, necesitaban a más investigadores negros. De lo contrario, el campo produciría una ciencia más débil y sus consecuencias adversas podrían empeorar bastante.
nUna agenda impulsada por las ganancias
nMientras Black in AI empezaba a formarse, la IA incrementaba su ritmo comercial. Ese año, 2016, los gigantes tecnológicos gastaron un estimado de 20.000 a 30.000 millones de dólares (16.493 a 24.739 millones de euros) en el desarrollo de la tecnología, según el McKinsey Global Institute.
nCon tanta inversión corporativa, el campo se deformó. Miles de investigadores más comenzaron a estudiar la IA, pero la mayoría quería trabajar en los algoritmos de aprendizaje profundo, como los que están detrás de los grandes modelos de lenguaje. El profesor de ciencias de la computación que actualmente trabaja en la Oficina de Políticas Científicas y Tecnológicas de la Casa Blanca Suresh Venkatasubramanian afirma que "los jóvenes estudiantes de doctorado que quieren conseguir un trabajo en una empresa tecnológica se han dado cuenta de que las empresas de tecnología se centran en el aprendizaje profundo, así que dedican toda su investigación al aprendizaje profundo. Luego, el siguiente estudiante de doctorado mira a su alrededor y piensa: 'Todos trabajan en aprendizaje profundo. Probablemente yo también debería hacerlo'".
nPero el aprendizaje profundo no es la única técnica en el campo. Antes de su auge, existía un enfoque diferente de IA conocido como el razonamiento simbólico. Mientras que el aprendizaje profundo utiliza enormes cantidades de datos para enseñar a los algoritmos sobre las relaciones significativas en la información, el razonamiento simbólico se centra en codificar explícitamente el conocimiento y la lógica basados en la experiencia humana.
nAlgunos investigadores creen que esas técnicas deberían combinarse. El enfoque híbrido haría que la IA fuera más eficiente en el uso de datos y energía, y le daría el conocimiento y las habilidades de razonamiento de un experto, así como la capacidad de actualizarse con nueva información. Pero las empresas tienen pocos incentivos para explorar los enfoques alte ativos cuando la forma más segura de maximizar sus ganancias es construir modelos cada vez más grandes.
nEn su artículo, Gebru y Bender aludieron a un coste fundamental de esta tendencia a quedarse en el aprendizaje profundo: los sistemas de IA más avanzados que necesitamos no se están desarrollando y se siguen repitiendo algunos problemas similares. Facebook, por ejemplo, confía en gran medida en los grandes modelos de lenguaje para la moderación de contenido automatizada. Pero, sin comprender realmente el significado del texto, esos modelos se equivocan a menudo. Regularmente eliminan publicaciones inocuas mientras dejan pasar el discurso de odio y la desinformación.
nLos sistemas de reconocimiento facial basados en IA sufren el mismo problema. Están entrenados en enormes cantidades de datos, pero solo ven patrones de píxeles; no tienen una comprensión de los conceptos visuales como los ojos, la boca y la nariz. Eso puede confundir estos sistemas cuando se usan en personas con un tono de piel diferente al de las personas que se les mostraban durante el entrenamiento. Sin embargo, Amazon y otras empresas han vendido estos sistemas a las fuerzas del orden y, en el último año en Estados Unidos, han causado tres casos conocidos de policías que encarcelaron a la persona equivocada; todos hombres negros.
nDurante años, muchos miembros de la comunidad de IA aceptaron en gran medida el papel de las Big Tech en el desarrollo y el impacto de estas tecnologías. Si bien algunos expresaron su malestar con la toma del poder corporativa, muchos más dieron la bienvenida a la gran fuente de financiación de la industria.
nPero, a medida que las deficiencias de la IA actual se han vuelto más evidentes (tanto su fracaso para resolver los problemas sociales como los crecientes ejemplos de que puede intensificarlos), la fe en las grandes tecnológicas se ha debilitado. El despido de Gebru y Mitchell por parte de Google ha avivado aún más la discusión al revelar cuánto priorizan las empresas las ganancias sobre la autorregulación.
nInmediatamente después del cese, más de 2600 empleados de Google y otras 4300 personas firmaron una petición en la que denunciaban el despido de Gebru como "censura de investigación sin precedentes". Medio año después, los grupos de investigación siguen rechazando la financiación de esta empresa, los investigadores se niegan a participar en los talleres de la conferencia y los empleados se marchan como protesta.
nA diferencia de hace cinco años, cuando Gebru comenzó a plantear estas preguntas, en la actualidad existe un movimiento bien establecido que cuestiona qué debería ser la IA y a quién debería servir. No es una coincidencia. Es en gran medida un producto de la propia iniciativa de Gebru, que empezó con la simple acción de invitar a más investigadores negros al terreno.
nUna conferencia necesaria
nEn diciembre de 2017, el nuevo grupo Black in AI organizó su primer taller en NeurIPS. En la organización, Gebru contó con la investigadora del MIT Media Lab Joy Buolamwini, que estaba estudiando los sistemas comerciales de reconocimiento facial en busca de posibles sesgos. Buolamwini había empezado a probar estos sistemas después de que uno de ellos no pudo detectar su propio rostro a menos que se pusiera una máscara blanca. Buolamwini presentó sus resultados preliminares en el taller.
nLa entonces investigadora estudiante de grado Deborah Raji fue otra de las primeras participantes. Raji estaba horrorizada por la cultura que había observado en NeurIPS. Ese taller se convirtió en su alivio. "Pasar de cuatro o cinco días de eso a un día completo de personas que se me parecen hablando de cómo tener éxito en este campo fue un estímulo muy importante para mí", reconoce Raji.
nBuolamwini, Gebru y Raji trabajaron juntas en un par de estudios innovadores sobre los sistemas discriminatorios de la visión artificial. Las dos primeras fueron coautoras de Gender Shades, que mostró que los sistemas de reconocimiento facial vendidos por Microsoft, IBM y el gigante tecnológico chino Megvii tenían tasas de error notablemente más altas en mujeres negras a pesar de un rendimiento casi perfecto en hombres blancos. Raji y Buolamwini colaboraron luego en un estudio de seguimiento titulado Actionable Auditing, que descubrió lo mismo para Rekognition de Amazon. En 2020, Amazon decidió aplicar una moratoria de un año sobre las ventas policiales de su producto, en parte debido a ese trabajo.
nNo obstante, en el primer taller de Black in AI, estos éxitos eran posibilidades lejanas. No había otra agenda que la de construir una comunidad y crear investigación basada en sus perspectivas muy escasas. Muchos no entendían por qué tenía que existir un grupo así. Gebru recuerda algunos comentarios despectivos de algunos miembros de la comunidad de IA. Pero, para otros, Black in AI ha señalado un nuevo camino que seguir.
nEste fue el caso para dos hombres queer que realizaban investigaciones en ciencias de la computación, William Agnew y Raphael Gontijo Lopes, que se dieron cuenta de que podían formar un grupo de Queer in AI (otros grupos son Latinx in AI, {Dis}Ability in AI y Muslim in ML). Para Agnew, en particular, tener una comunidad así le pareció una necesidad urgente. "Era difícil siquiera imaginarme a mí mismo teniendo una vida feliz", confiesa, reflexionando sobre la falta de modelos queer en el terreno. "Estaba Turing, pero se suicidó. Es deprimente. Y su parte queer se ignora".
nNo todos los miembros del grupo de afinidad ven una conexión entre su identidad y su investigación. Aun así, cada grupo ha establecido una especialización particular. Black in AI se ha convertido en el centro intelectual para exponer la discriminación algorítmica, criticar la vigilancia y desarrollar técnicas de IA eficientes en el uso de datos. Queer in AI se ha vuelto un centro para cuestionar las formas en las que los algoritmos infringen la privacidad de las personas y las clasifican en categorías limitadas de forma predeterminada.
nVenkatasubramanian y Gebru también ayudaron a crear la conferencia Equidad, Responsabilidad y Transparencia (FAccT por sus siglas en inglés para Fai ess, Accountability, and Transparency) con la que lograr un foro de investigación sobre las consecuencias sociales y políticas de la IA. Las ideas y los borradores de artículos discutidos en los talleres de este grupo de afinidad en NeurIPS a menudo se convierten en la base de los artículos publicados en FAccT, que luego muestran esa investigación a un público más amplio.
nPor ejemplo, después de que Buolamwini se presentara en el primer taller de Black in AI, FAccT publicó Gender Shades. Junto con Actionable Auditing, impulsó varias campañas de educación y activismo para limitar el uso del reconocimiento facial por parte del Gobie o estadounidense. Cuando Amazon intentó socavar la legitimidad de la investigación de Buolamwini y Raji, decenas de investigadores de IA y organizaciones de la sociedad civil se unieron para defenderlas, presagiando lo que harían más tarde por Gebru. Esos esfuerzos finalmente contribuyeron a la moratoria de Amazon, y la compañía anunció en mayo de este año que esa moratoria se prolongaría de forma indefinida.
nLa investigación también desencadenó una cascada de regulación. Más de una docena de ciudades han prohibido el uso del reconocimiento facial por parte de la policía, y Massachusetts (EE. UU.) ahora requiere que la policía obtenga el permiso de un juez para usarlo. Tanto Estados Unidos como la Comisión Europea han propuesto una regulación adicional.
n"Primero teníamos que estar ahí", señala Gebru. "Y en algún momento, lo que dice Black in AI ha empezado a ser importante. Y lo que todos estos grupos dicen juntos se vuelve importante. Hay que escucha os ahora".
nSeguir el dinero
nDespués del despido de Gebru y Mitchell, el campo está lidiando de nuevo con una pregunta antigua: ¿es posible cambiar el status quo mientras se trabaja desde dentro? Gebru todavía cree que trabajar con los gigantes tecnológicos es la mejor manera de identificar los problemas, pero también opina que los investigadores corporativos necesitan protecciones legales más fuertes. Si notan algunas prácticas de riesgo, deberían poder compartir públicamente sus observaciones sin poner en peligro sus carreras.
nLuego está la cuestión de la financiación. Muchos investigadores piden más inversión del Gobie o de EE. UU. para respaldar el trabajo tan crítico para el desarrollo comercial de la IA que fomentaría el bienestar público. El año pasado se destinaron unos miserables 1.000 millones de dólares (825 millones de euros) para la investigación de IA no relacionada con la defensa. La administración de Biden está pidiendo al Congreso de EE. UU. que invierta 180.000 millones de dólares (148.435 millones de euros) adicionales en las tecnologías emergentes, con la IA como máxima prioridad.
nDicha financiación podría ayudar a las personas como la profesora asistente de ciencias de la computación en la Universidad de Califo ia en Berkeley (EE. UU.) Rediet Abebe. Abebe, que también cofundó Black in AI, llegó a la IA con la idea de usarla para fomentar la igualdad social. Pero, cuando comenzó su doctorado en la Universidad de Co ell (EE.UU.), nadie se dedicaba a ese tipo de investigación.
nEn el otoño de 2016, como estudiante de doctorado, creó un pequeño grupo de lectura de Co ell con un compañero estudiante de posgrado para estudiar diferentes temas como la inestabilidad de la vivienda, el acceso a la atención médica y la desigualdad. Luego se embarcó en un nuevo proyecto para ver si sus habilidades computacionales podrían ayudar a los esfuerzos para aliviar la pobreza.
nFinalmente, encontró el estudio Poverty Tracker, un conjunto de datos detallados sobre los shocks financieros (gastos inesperados como facturas médicas o multas de estacionamiento) que sufrían más de 2.000 familias de Nueva York (EE. UU.). Después de muchas conversaciones con los autores del estudio, los trabajadores sociales y las organizaciones sin ánimo de lucro que sirven a las comunidades marginadas, aprendió sobre sus necesidades y les indicó cómo podía ayudar. Abebe luego desarrolló un modelo que mostraba cómo la frecuencia y el tipo de shocks afectaban al estado económico de una familia.
nCinco años después, el proyecto sigue en marcha. Abebe colabora actualmente con las organizaciones sin ánimo de lucro para mejorar su modelo y trabaja con los legisladores a través del Laboratorio de Políticas de Califo ia para usarlo como una herramienta para prevenir la falta de vivienda. Desde entonces, su grupo de lectura también se ha convertido en una comunidad de 2.000 personas y celebrará su conferencia inaugural a finales de este año.
nAbebe lo ve como una forma de incentivar a más investigadores a cambiar las normas de la IA. Mientras que las conferencias tradicionales de ciencias de la computación enfatizan el avance de las técnicas computacionales por el simple hecho de hacerlo, la nueva conferencia publicará los trabajos que primero busquen comprender profundamente un problema social. Su trabajo no es menos técnico y sienta las bases para que surja una IA con más significado social.
n"Estos cambios por los que estamos luchando no son solo para los grupos marginados", concluye. "En realidad, son para todos".
n