.

Nhung Le

Ética

"Fue terrible y despiadado", los últimos días de Timnit Gebru en Google

1

La que fuera su codirectora de Ética para la IA fue despedida fulminantemente y sin posibilidad de réplica por intentar destapar y arreglar los problemas de la inteligencia artificial. En lugar de dejarla trabajar, los directivos pretendieron silenciarla y finalmente se deshicieron de ella

  • por Karen Hao | traducido por Ana Milutinovic
  • 27 Octubre, 2021

A estas alturas, todos hemos escuchado alguna versión de esta historia. El 2 de diciembre del año pasado, después de un largo desacuerdo sobre un artículo de investigación, Google despidió a su entonces codirectora de Ética para la IA, Timnit Gebru. El artículo trataba sobre los riesgos de los grandes modelos de lenguaje de inteligencia artificial (IA) entrenados en cantidades asombrosas de datos de texto, que son una línea de investigación fundamental para el negocio de Google. Gebru, como líder en el campo de la ética para la IA, era una de las pocas mujeres negras en Google Research.

Desde entonces, el suceso ha provocado un debate sobre la creciente influencia corporativa en la IA, la histórica falta de diversidad en el campo y lo que significa realizar una investigación importante sobre la ética para la IA. El 15 de diciembre, más de 2.600 empleados de Google y 4.300 personas más del mundo académico, de la industria y de la sociedad civil firmaron una petición criticando el despido de Gebru, calificándolo de "censura de investigación sin precedentes" y "acto de represalia".

Gebru es conocida por su trabajo estratégico para revelar la discriminación de la IA, desarrollar métodos para documentar y auditar los modelos de IA y defender una mayor diversidad en la investigación. En 2016, cofundó la organización sin ánimo de lucro Black in AI (negros en IA), que se ha convertido en un recurso central para los activistas de derechos civiles, organizadores laborales e investigadores de ética para la inteligencia artificial, cultivando y destacando el talento de los investigadores negros de la inteligencia artificial.

Perder su trabajo en Google no la frenó. La semana siguiente, participó en varios talleres en NeurIPS, la mayor conferencia anual de investigación de IA, a la que asistieron más de 20.000 personas en 2020. Fue "terapéutico" ver cómo la comunidad que ella había ayudado a construir se reunía y se apoyaba mutuamente, confiesa Gebru. Ahora, Gebru intentaba recuperarse y darle sentido a todo.

Poco después de su despido, Gebru charló conmigo por Zoom para contarme lo que había pasado durante su época en Google, reflexionó sobre lo que significaba para el campo y para la investigación de la ética para la inteligencia artificial, y dio consejos quienes quieran seguir pidiendo rendición de cuentas a las empresas de tecnología. (Google rechazó la solicitud de comentarios sobre el contenido de esta entrevista).

En primer lugar, me gustaría preguntarle cómo se encuentra.

Creo que no he tenido el tiempo para procesar emocionalmente todo lo que pasó y sus consecuencias. Sigo haciendo cosas sin parar. Probablemente me desmoronaré en algún momento cuando haya un poco de calma. Pero actualmente estoy muy preocupada por mi equipo y por las personas que me apoyan, y por los riesgos que están tomando, y trato de asegurarme de que no se tomen represalias contra ellas.

Se ha hablado mucho de lo que sucedió. Pero me gustaría empezar desde un punto bastante anterior. ¿Qué le hizo decidirse por Google para trabajar y cómo era Google en aquel entonces?

Creo que Samy [Bengio, el director de Google AI] y Jeff [Dean, el vicepresidente sénior de Google Research] estuvieron en el taller de Black in AI [en NeurIPS en 2017]. Me preguntaron qué hacía yo y me dijeron: "Oh, sí, deberías venir a trabajar en Google". Yo no lo tenía previsto. En ese tiempo yo hacía el posdoctorado en Microsoft Research [MSR]. No había decidido qué iba a hacer después. Pero sabía que quería volver al Área de la Bahía (EE. UU.) y ellos estaban preparando una oficina en Accra, Ghana. Pensé que me vendría bien ayudar en eso.

Pero tenía muchas reservas. Trabajaba en MSR en Nueva York (EE. UU.), y allí había muchas mujeres fuertes: Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Aunque no había tantas de color. Las únicas mujeres negras que conozco de Microsoft Research son Danielle Bellgrave en Reino Unido y Shawndra Hill en Nueva York. Pero, aun así, incluso los hombres mostraban un gran apoyo. Yo tenía muchas dudas sobre pasar a un entorno en el que sabía que Google Research no tenía buena fama en cuanto a su defensa de las mujeres. Había una serie de problemas que había oído a través de mis contactos. De hecho, cuando anuncié que iba a incorporarme a Google Research, varias personas hablaron conmigo sobre eso. Ya me daba algo de miedo, y pensé: "Oh, ¿en qué me estoy metiendo?"

Definitivamente fui la primera mujer negra como científica investigadora en Google. Después de mí, vinieron dos más. De tantos científicos de investigación. Cientos y cientos. Tres, de Dios sabe cuántos.

No me desilusionaron, pero fue una lucha constante. Yo intentaba abordarlo hablando con la gente, tratando de educarlos, de hacerlos ver cierto punto de vista. Seguía pensando que podrían mejorar, ¿sabe? Samy se ha convertido en un gran defensor. La gente se quejaba de que Google Research sólo contrataba a un 14 % de mujeres. Samy, mi jefe, contrató al 39 % de mujeres. No tuvo ningún incentivo para hacerlo en absoluto. Él era la única razón por la que creo que esto no me había pasado antes. Probablemente porque nos estaba protegiendo. Y al protegernos, él mismo se metía en problemas. Si otros líderes vigilan nuestro tono y somos demasiado ruidosos, alborotadores (todos sabemos que eso es lo que les sucede a las personas como yo) entonces, si alguien nos defiende, obviamente también se convierte en un problema para otros directivos.

Así fueron mis dos años en Google. De hecho, pensé que estábamos progresando hasta el último incidente, porque nuestro equipo creció. Pasó de casi desintegrarse (dos meses después de entrar yo en Google, la codirectora, Meg Mitchell, iba a renunciar), hasta la posterior expansión de nuestro equipo, y antes de mi despido éramos 12 personas. Así que pensé que estábamos avanzando poco a poco.

Se hablaba mucho sobre la diversidad e inclusión, pero había mucha hipocresía. Soy una del 1,6 % de mujeres negras en Google. En [Google] Research, no somos 1,6 %, sino mucho menos. Definitivamente fui la primera mujer negra como científica investigadora en Google. Después de mí, vinieron dos mujeres negras más. De tantos científicos de investigación. Cientos y cientos. Tres, de Dios sabe cuántos.

Así que en algún momento pensé: "Ni siquiera quiero hablar de diversidad. Es simplemente agotador. Quieren tener reuniones conmigo, pero no me escuchan y luego quieren tener reuniones de nuevo". He escrito un millón de artículos sobre un millón de cosas relacionadas con la diversidad: sobre alfabetización racial y aprendizaje automático [AA], sobre iniciativas para la equidad en AA, sobre la retención de mujeres y otros problemas. Tantos artículos y tantos correos electrónicos.

Así que fue una cosa tras otra. No pude disfrutar de ningunas vacaciones en Google sin tener que estar en medio de algún problema. Nunca fue tranquilo. Como si alguien me disparara con una pistola y yo gritara. Y en vez de intentar detener a la persona que me había disparado, ellos intentaban que dejara de gritar. Eso es lo que sentía. Era muy doloroso estar en esa posición una y otra vez.

Usted creó uno de los equipos más diversos de la industria de la inteligencia artificial. ¿Qué se necesitó para lograrlo?

Tuvimos que luchar contra todo tipo de cosas. Yo tenía que ser gerente, y luego la gente no quería que fuera gerente. Y yo pensé: "A ver, he creado una organización sin ánimo de lucro muy conocida. ¿Por qué tienen 'preocupaciones' acerca de que yo sea gerente?" Samy no me lo dijo, pero tuvo que darme el mensaje: "¿Ella sabe que la pueden despedir por algunas cosas? ¿Sabe que si se convierte en gerente tendrá que ser representante de Google?" Luego, expresaron su preocupación por el hecho de que pareciera infeliz en Google. No fue: "Oh, hay una cultura tóxica que está haciendo infelices a las personas como ella. Arreglemos esa cultura". No, no fue así, sino: "Parece que no está contenta, así que no la convirtamos en gerente". 

Yo estaba furiosa entonces, muy enfadada. Le preguntaba a todas las demás personas que se convirtieron en gerentes de mi nivel cuál había sido su experiencia. Pensé: "Esta persona se convirtió en gerente y nadie le preguntó si sabía que iba a ser despedida por X, Y o Z. Esta otra persona se convirtió en gerente. Nadie tuvo que hablar con ellas. No hubo discusión alguna". En mi caso, no fue así.

Fue como si alguien me disparara con una pistola y yo gritara. Y en vez de intentar detener a la persona que me ha disparado con un arma, ellos intentaban que dejara de gritar.

Otra cosa: queríamos contratar a científicos sociales. Muchas veces los investigadores simplemente contratan a sus amigos, y no queríamos hacer eso. Abrimos una convocatoria. Recibimos 300 solicitudes. Las revisamos manualmente porque queríamos asegurarnos de que los reclutadores no filtraran a ciertos grupos de personas. Hablamos con más de 20, entrevistamos a 10 y finalmente contratamos a dos de ellas.

La razón por la que pensé que estábamos progresando fue porque habíamos logrado recursos para contratar a estas personas. Por eso pensé que tal vez Jeff empezaba a apoyar a nuestro equipo y el tipo de cosas que estábamos haciendo. Nunca me imaginé, y no sé exactamente cómo sucedió, pero simplemente no pude ni imaginar que él lo aprobaría [mi despido]. No puedo imaginarlo iniciándolo, pero incluso que él lo firmara me sorprendió muchísimo.

Durante el tiempo que estuvo formando el equipo, ¿pudo establecer relaciones con otros equipos en Google? ¿Sintió que algunas partes de la organización se estaban volviendo más receptivas a los problemas de la ética para la IA?

La mayoría de las personas de nuestro equipo están inundadas de solicitudes de otros equipos o personas. Y uno de nuestros desafíos era no estar siempre en medio de un problema, queríamos prevenirlos. Queríamos dar forma al futuro en lugar de limitarnos a reaccionar.

El mayor desequilibrio que veo es que hay mucha gente que nos respeta, pero luego hay personas en la cima, como los vicepresidentes, que tal vez no nos soportan o simplemente no respetan nuestra autoridad o experiencia en absoluto. Lo he visto varias veces. Pero las personas de Google Cloud, o específicamente de Cloud AI, algunos de los directivos fueron de gran apoyo. Me parecía que realmente respetaban nuestro liderazgo y que iban a intentar introducirnos a muchas cosas. Por otro lado, este último fiasco no vino de ellos. Tengo mis sospechas sobre de qué vicepresidente provino, y está claro que no respetaron nuestra experiencia ni autoridad.

¿Podría hablar un poco más sobre eso?

Bueno, incluso si solo ve el correo electrónico de Jeff, creo que él no lo escribió. Supongo que alguien lo escribió y él lo envió; habla de cómo nuestra investigación [el artículo sobre los grandes modelos de lenguaje] tenía lagunas, le faltaba literatura. [El correo electrónico no] suena como si estuvieran hablando con personas expertas en su área. No era una revisión por pares. No era el revisor 2 diciendo: "Oiga, falta esta cita". Era un grupo de personas, que no conocemos, que ocupan los puestos más altos porque llevan mucho tiempo en Google, a quienes, por alguna razón desconocida y con un proceso que nunca había visto antes, se les dio el poder de suspender esta investigación.

Tuvimos 128 citas [en ese artículo] y habíamos enviado nuestro artículo a muchas de estas personas citadas. Fuimos muy minuciosos. Quise dividir en cuatro grupos a las personas a las que íbamos a pedir comentarios. Uno era de la gente que había desarrollado grandes modelos de lenguaje, para ver su punto de vista. Otro era de las personas que trabajaban en el área de comprender y mitigar el sesgo en estos modelos. Otro grupo estaba formado por la gente que podría estar en desacuerdo con nuestro punto de vista. Y el último grupo era el de personas que utilizaban estos grandes modelos de lenguaje para varias finalidades. Tendríamos un trabajo completo con todo este feedback que se suponía que debíamos revisar para abordarlo.

Pero la forma en la que ellos [los directivos de Google] nos hablaban, no era como si estuvieran hablando con expertos y lingüistas de renombre mundial. Emily Bender [profesora de la Universidad de Washington (EE. UU.) y coautora del artículo] no es una persona cualquiera que simplemente puso su nombre por casualidad. Todo me parecía una gran falta de respeto.

Antes de este artículo en particular, ¿hubo otros casos en los que le pareció que Google restringía o limitaba la capacidad de su equipo para realizar investigaciones?

Me parecía que hubo casos en los que reducían bastante los resultados de la investigación. Algunas personas hablaban con los de relaciones públicas y los de políticas o con quien fuera, y discrepaban en ciertas palabras o detalles. Eso es lo que pensé que podrían intentar hacer con este artículo. Así que lo escribí yo misma y no paraba de preguntarles: "¿Cuáles son exactamente sus comentarios? ¿Habrá que añadir algo? ¿Eliminar? ¿Qué significa esto? ¿Qué es lo que nos piden?"

Así fue literalmente mi correo electrónico del viernes después del Día de Acción de Gracias [el 27 de noviembre de 2020, cinco días antes del despido de Gebru] porque el mismo día de Acción de Gracias me había pasado todo el tiempo escribiendo esto en vez de pasar un buen rato con mi familia. Al día siguiente, el viernes, que es cuando se suponía que debía retractarme de este artículo, escribí: "Bien, he escrito estas seis páginas dirigiéndome a niveles altos y bajos pidiendo cualquier comentario. Y espero que al menos haya una puerta abierta para más conversaciones en lugar de solo más órdenes". Escribí ese correo electrónico. Así. ¿Cómo ha respondido Megan [Kacholia, vicepresidenta de ingeniería de Google Research] a este correo electrónico? El lunes, ella responde preguntando: "¿Puede confirmar que se ha retractado del artículo o que ha eliminado los nombres de los autores de este artículo? Gracias. ¿Y puede confirmarlo después de haberlo hecho? Enviéme un correo electrónico confirmándolo". Como si yo no tuviera ninguna autoridad de control.

Eso no es lo que les hacen a las personas que han cometido una falta grave. Les dan 69 millones de euros y una pequeña salida. No hacen lo que me hicieron a mí.

Luego escribí que esto había sido extremadamente irrespetuoso hacia el equipo de Ethical AI, y que era necesario mantener una conversación, no solo con Jeff y nuestro equipo, y Megan y nuestro equipo, sino con todo el departamento de Research sobre el respeto hacia los investigadores y sobre cómo tener este tipo de discusiones. Pero no. No hubo ninguna interacción en absoluto.

Lloré, por cierto. Cuando tuve esa primera reunión, que fue el jueves previo al Día de Acción de Gracias, un día antes de irme de vacaciones, cuando Megan nos dijo que teníamos que retirar el artículo, empecé a llorar. Estaba muy molesta porque estaba cansada de pelear constantemente. Pensé que si simplemente ignoraba toda esta hipocresía de DEI [diversidad, equidad e inclusión] y otras cosas, y me centraba en mi trabajo, al menos podría terminarlo. Pero ahora iban a por mi trabajo. Entonces, literalmente, comencé a llorar.

¿Qué cree que había en este artículo en particular para provocar tal reacción? ¿Cree se trataba del artículo o había otros factores en juego?

No lo sé. Samy estaba horrorizado por todo. Dijo que no era así como tratábamos a los investigadores. Quiero decir, en general no se trata así a la gente. Algunas personas dicen que, si esto le ocurre a alguien tan experto, qué harán a las demás personas, especialmente a las de los grupos vulnerables.

Probablemente pensaron que yo me quedaría callada. No lo sé. No creo que el resultado final haya sido solo por este artículo. Tal vez se sorprendieron de que les llevara la contraria. Todavía estoy tratando de averiguar qué pasó.

Dados los acontecimientos y tensiones anteriores, ¿alguna vez sospechó que terminaría de esta manera? ¿Esperaba esta respuesta de la comunidad?

Pensé que podrían hacer que me sintiera lo suficientemente miserable para irme, o algo así. Pensé que serían más inteligentes que hacerlo de esta manera concreta, porque es una confluencia de muchos problemas con los que están tratando: la censura en la investigación, la ética para la IA, los derechos laborales, DEI, todas las cosas a las que se han enfrentado antes con muchas críticas. Así que no esperaba que fuera de esa manera, eliminando mi cuenta corporativa por completo. Fue muy desconsiderado. Eso no es lo que les hacen a las personas que han cometido una falta grave. Les dan 69 millones de euros y una pequeña salida, o tal vez no los ascienden de forma pasivo-agresiva, o lo que sea. A las personas que de verdad crean un entorno laboral hostil no les hacen lo que me hicieron a mí.

Me enteré por mis subordinados directos, ¿sabe? Fue muy triste. Estaban traumatizados. Creo que mi equipo se quedó despierto hasta las 4 o 5 de la mañana, tratando de darle sentido a lo que había ocurrido. Y pasar por encima de Samy, fue terrible y despiadado.

Pensé que, si me centraba en mi trabajo, al menos podría terminarlo. Y ahora iban a por mi trabajo. Entonces, literalmente, comencé a llorar.

Esperaba cierto apoyo, pero definitivamente no la avalancha que recibí. Fue increíble. Nunca, jamás había experimentado algo así. Quiero decir, mis familiares de repente me enviaban mensajes de texto: "Vi esto en las noticias". Desde luego no es algo que esperaba. Pero la gente corrió muchos riesgos. Y eso me preocupaba, porque quería que estuvieran a salvo.

Ha mencionado que esto no tiene que ver solo con usted; no se trata solo de Google. Es una confluencia de muchos problemas diferentes. ¿Qué dice esta experiencia en particular sobre la influencia de las empresas de tecnología en la IA en general y su capacidad para realizar un trabajo significativo en la ética para la IA?

Sabe que hubo varias personas que compararon las Big Tech con las Big Tobacco sobre cómo censuraban la investigación a pesar de que conocían los problemas. Rechazo la dicotomía de la academia versus la tecnología, porque ambas tienen el mismo tipo de paradigma racista y sexista. El paradigma que se aprende y se lleva a Google o donde sea empieza en el mundo académico. Y la gente se mueve. Va al sector privado y luego vuelve a la academia, o viceversa. Todos son amigos; todos van a las mismas conferencias.

No creo que la lección sea que no debería haber investigación sobre la ética para la IA en las empresas de tecnología, pero considero que la lección es que a) debe haber mucha más investigación independiente. Deberíamos tener más opciones que solo DARPA [la Agencia de Proyectos de Investigación Avanzada de Defensa] versus corporaciones. Y b) es necesario que haya supervisión de las empresas de tecnología, obviamente. A estas alturas, simplemente no entiendo cómo podemos seguir pensando que van a autorregularse en DEI o en la ética o en lo que sea. No han estado haciendo lo correcto y no van a hacerlo.

Creo que las instituciones académicas y las conferencias deben reconsiderar sus relaciones con las grandes empresas y la cantidad de dinero que reciben de ellas. Algunas personas incluso se preguntan, por ejemplo, si algunas de estas conferencias deberían tener un código de conducta de "no censura" o algo así. Por eso creo que hay mucho que estas conferencias e instituciones académicas pueden hacer. Hay demasiado desequilibrio de poder en la actualidad.

¿Qué papel cree que pueden tener los investigadores de ética en las empresas? Específicamente, si su antiguo equipo permanece en Google, ¿qué tipo de camino ve para ellos en cuanto su capacidad de crear un trabajo significativo e influyente?

Creo que es necesario que haya algún tipo de protección para estos investigadores. Actualmente, resulta evidente que es muy difícil imaginar cómo alguien puede hacer una investigación real dentro de estas corporaciones. Pero si hubiera protección laboral o de denunciantes, más supervisión, podría ser más fácil para las personas estar protegidas mientras realizan este tipo de trabajo. Es muy peligroso que este tipo de investigadores hagan lo que mi codirectora llamaba trabajo de "hoja de parra" (encubrimiento). No cambian nada, solo ponen una hoja de parra sobre el trabajo. Si alguien está en un entorno donde las personas que tienen el poder no invierten en cambiar nada de verdad, porque no tienen ningún incentivo, obviamente tener este tipo de investigadores integrados no ayudará en absoluto. Pero creo que si podemos crear mecanismos de rendición de cuentas y supervisión, de protección, espero que podamos permitir que los investigadores de este tipo sigan en las corporaciones. Pero muchas cosas deberían cambiar para que eso suceda.

Además de que las conferencias y la regulación cambien las estructuras de incentivos, ¿existen otros mecanismos o cosas que podría ver como parte de este marco de supervisión externa? ¿Cree que la sociedad podría tener algún papel en la rendición de cuentas de las empresas tecnológicas?

Tengo que pensar más en esto. Creo que la sociedad debe estar más informada sobre el papel que las empresas de tecnología y la IA tienen en nuestra vida diaria. Mucha gente ha hecho muy buen trabajo sobre eso. Han escrito libros: Weapons of Math Destruction me pareció muy bueno. Está Coded Bias, el documental. También me alegra ver que hay universidades que ofrecen algunas de estas asignaturas en informática. Creo que deberían ser obligatorias. Nicki Washington da una asignatura en la Universidad de Duke (EE. UU.) a la que me hubiera gustado asistir. Ruha [Benjamin] da otra [en la Universidad de Princeton (EE. UU.)]. Creo que debe cambiar nuestra idea de cómo se desarrolla la ciencia y la ingeniería. La sociedad tiene que comprender la naturaleza política de este trabajo. Los sistemas de educación superior, en mi opinión, están muy atrasados en este sentido. Les queda mucho trabajo por hacer.

En cuanto a la sociedad, me parece que hace tres o cuatro años había mucha menos conciencia. Actualmente algunas entidades como la ACLU [la Unión Estadounidense de Libertades Civiles] están muy involucradas; está la Liga de la Justicia Algorítmica (Algorithmic Justice League), Data for Black Lives, que trabajan mucho en este campo. Por eso creo que la sociedad puede aprender más. Pero considero que tiene que ver más con los políticos, porque tenemos mecanismos para involucrar a la sociedad en varias cosas. Pero los políticos no le están ofreciendo a la sociedad una forma de involucrarse. Por ejemplo, [la empresa de análisis de datos] Palantir se utilizaba en Nueva Orleans (EE. UU.) para la vigilancia policial predictiva y nadie lo sabía. No se opinaba. No hubo factura. No hubo discusión al respecto. Por lo tanto, nuestro Gobierno debe brindar activamente a la sociedad la oportunidad de opinar sobre este tipo de temas.

¿Qué significa hacer un trabajo de peso en la ética para la IA?

Creo que tal vez signifique poder cuestionar las premisas fundamentales y los problemas fundamentales de la IA. No hay que encubrir las cosas y no hay que ser reaccionario. Se puede tener una previsión sobre el futuro y empezar temprano mientras se piensa en los productos y se desarrollan, y no solo hacer las cosas después de los hechos. Eso es lo primero en lo que pienso. Y que las personas más afectadas por la tecnología deberían poder opinar de la misma y bastante, desde el principio.

Ha mencionado antes cómo la ética en las empresas de tecnología a menudo proviene desde arriba hacia abajo, de las personas que no necesariamente son las que se ven afectadas por la tecnología. ¿Cuál es el equilibrio ideal de tener voces marginadas que dirijan la conversación, y al mismo tiempo contar con la participación de los altos directivos?

Si las personas marginadas no tienen poder, entonces no hay ningún incentivo para que se las escuche o formen parte de la discusión. Así que creo que las personas en la cima deben fomentar un entorno en el que las personas marginadas sean las que den forma a los debates sobre estas cosas, sobre la ética para la IA, sobre la diversidad y la inclusión.

Cuando estudiamos ciencia con "objetividad", se nos enseña algo que se llama "punto de vista neutro", como si se sobreentendiera que no deberíamos aportar nuestro punto de vista. Creo que la gente debería hacer exactamente lo contrario.

Eso no es lo que ocurre actualmente. En Google solo se ven a personas de alto nivel dedicadas a la ética para la IA; ni siquiera hay personas de grupos subrepresentados para nada. Esa era la conversación que teníamos cuando yo estaba allí, y muchos de nosotros estábamos muy frustrados por eso. Teníamos estos principios de "Nada sobre nosotros sin nosotros", y lo primero que se nos ocurrió fue la seguridad psicológica. ¿Puede imaginarlo? Eso significa que no me castiguen por hablar, que es exactamente lo que hicieron. Por eso, hay que buscar el input, pero, de nuevo, no de manera depredadora. Antes de siquiera pensar en los productos que se construyen o en la investigación, hay que comenzar a pensar: ¿cómo se puede trabajar con las personas marginadas para dar forma a esta tecnología?

¿De alguna manera se ve a sí misma como mártir?

No intentaba serlo, y no creo que sea mártir en estos momentos. Espero ser más un agente del cambio. Pero sí, Google me convirtió en un tipo de mártir, más de lo que hubiera sido si no me hubieran hecho esto.

¿Cómo ve su futuro?

A ver. No he tenido tiempo para pensar en eso. En estos momentos, literalmente, trato de asegurarme de que mi equipo esté a salvo, de que lo que se cuenta sobre lo que pasa conmigo sea cierto y de tomarme un pequeño respiro. Con suerte, beber un poco de vino, comer algo, tomar un poco de chocolate, pasar el tiempo con la familia. Y tal vez lo averigüe más tarde. Pero mi mayor prioridad es no estar en el tipo de entorno en el que me encontraba. Esa es mi mayor prioridad.

¿Qué consejo daría a otras personas que quieran basarse en el trabajo que ha realizado usted?

Mi consejo es que lean algunos de los trabajos que mencioné, especialmente de Ruha [Benjamin]Meredith [Broussard]Safiya [Noble]Simone Browne y varias otras personas. Y que traigan la experiencia vivida. No intentar sacarse a uno mismo de este trabajo porque tiene mucho que ver con uno mismo. Y es que el ángulo y la fuerza dependerán de cuál sea la experiencia vivida. Di una charla La jerarquía del conocimiento y el aprendizaje automático, y trataba de eso: cuando estudiamos ciencia con "objetividad", se nos enseña algo que se llama "punto de vista neutro", como si se sobreentendiera que no deberíamos aportar nuestro punto de vista. Creo que la gente debería hacer exactamente lo contrario.

Ética

  1. Los militares empiezan a preocuparse por la ética y los peligros de la IA

    Tras el escándalo de Google en el Proyecto Maven del Departamento de Defensa de EE. UU., el organismo ha creado unas pautas éticas que sus colaboradores privados deberán seguir. Aunque suponen un gran paso adelante, su falta de detalle podría reducir su impacto

  2. Caso práctico: probamos por qué un algoritmo judicial justo es imposible

    COMPAS reveló tener sesgos hacia los acusados negros, así que hemos intentado rediseñarlo para que sus resultados sean más justos. Pero, al estar entrenado con datos históricos injustos resulta imposible que ofrezca las mismas tasas de acierto y error mientras trata a todos los colectivos de la misma manera

  3. "La ciencia de datos puede mitigar el odio generado en la 'machosfera'"

    Aunque sabe que todavía queda mucho trabajo por hacer, la pionera científica de datos Jennifer Chayes defiende el poder del campo para mejorar los sesgos y los abusos que dominan internet, y critica que el uso que las empresas hacen de los datos presenta innumerables problemas