Este comité, cuyo objetivo sería el de orientar a la compañía en el desarrollo ético de nuevas tecnologías como la inteligencia artificial (IA), incluía entre sus miembros a la presidenta de la Fundación Heritage, Kay Coles James. Poco después de que se anunciara su nombre, casi 2.500 empleados de Google y otros expertos del sector firmaron una carta en la que pedían su cese del ATEAC por las opiniones negacionistas, anti-LGBTQ y antiinmigración de Coles James. Pero en lugar de limitarse a deshacerse de ella, el gigante ha optado por rechazar del todo la iniciativa del comité.
n¿Cómo es posible que todo haya ido tan mal? ¿Podrá Google arreglarlo? Para responder a estas preguntas, hemos consultado a una docena de expertos en inteligencia artificial, tecnología y ética. Si estas ellos hubieran estado en el ATEAC desde el principio, todo hubiera tenido un resultado diferente.
n"Ser transparente y concreto sobre el papel y la responsabilidad que tiene un comité de ética". La directora de investigación de políticas en el Instituto AI Now, Rashida Richardson
nEn teoría, los consejos de ética podrían ser una gran ayuda para garantizar que los productos de IA sean seguros y no discriminatorios. Pero para que los comités de ética tengan un impacto significativo, deben asumir la obligación de rendir cuentas y de convertirse en una autoridad de supervisión real.
nn"No sabemos si los comités de ética son una brújula moral real o simplemente están para dar su visto bueno". Rashida Richardson
n
Eso significa que las empresas tecnológicas deberían estar dispuestas a divulgar qué criterios utilizan para seleccionar a los miembros de estos consejos de ética. También deben ser transparentes y concretos sobre el papel y la responsabilidad de su comité de ética para que la gente pueda evaluar su eficacia. De lo contrario, es imposible saber si los comités de ética son una brújula moral real o simplemente están para dar su visto bueno. Dada la influencia global y la responsabilidad de las grandes empresas de inteligencia artificial, este nivel de transparencia y responsabilidad resulta esencial.
n"Pensar en lo que realmente significa dirigir la tecnología de manera efectiva y justa". El investigador de ética tecnológica en Data & Society Jake Metcalf
nEl alboroto sobre ATEAC demuestra lo tensa y polémica que probablemente será esta nueva era de la ética tecnológica. Está claro que Google malinterpretó el ambiente. Las poblaciones políticamente marginadas sujetas a los caprichos clasificatorios de la IA y el aprendizaje profundo serán los que sufran los mayores peores perjuicios éticos a causa de la automatización de la toma de decisiones. La decisión de Google de elegir a Coles James por la "diversidad de puntos de vista", teniendo en cuenta su odio abierto hacia las personas transgénero, demuestra que la empresa no ha pensado correctamente en lo que realmente significa dirigir la tecnología de manera efectiva y justa.
nn"La ética significa dos cosas diferentes que pueden ser contradictorias en la práctica. Las empresas son susceptibles de lo primero y están aterrorizadas por lo segundo" Jake Metcalf
n
Es una situación complicada para las empresas porque la ética implica dos cosas diferentes que pueden ser contradictorias en la práctica: es el trabajo diario de comprender y mitigar las consecuencias (como usar una herramienta de detección de sesgos u organizar una reunión de oratoria deliberativa), pero también es el juicio sobre cómo la sociedad se podría ordenar de manera más justa (por ejemplo, si los perjuicios dispares sobre las comunidades marginadas significan que una línea de productos debe ser enriquecida).
nLas corporaciones son susceptibles a la primera y están aterrorizadas ante la segunda. Pero si la ética de IA no trata de prevenir el abuso automatizado, bloquear la transferencia de tecnologías peligrosas de los gobiernos autocráticos y prohibir la automatización de la violencia, es difícil no pensar que las empresas tecnológicas se están limitando a hacer gestos vacíos. Debajo de una nueva y estupenda herramienta de ética yace la preocupación genuina de que hay vidas en peligro. Mantener a todos a salvo a la vez es un desafío administrativo para las empresas y también para los expertos en ética.
n"Google acabó con el ATEAC sin haber reconocido primero al elefante que había la habitación: los principios de inteligencia artificial". El profesor de filosofía en el Instituto de Tecnología de Rochester Evan Selinger
nGoogle acabó con el ATEAC sin haber reconocido primero al elefante que había la habitación: los principios de inteligencia artificial que el CEO Sundar Pichai redactó el pasado verano. Los principales expertos, personas de la sociedad civil y los empleados de alto nivel en las empresas tecnológicas me han dicho que, aunque los principios parecen buenos sobre el papel, son lo suficientemente flexibles como para interpretarse de una forma que evite que Google tenga que poner en riesgo cualquier estrategia de crecimiento a largo plazo. Sobre todo, porque los mecanismos para violar los principios no están bien definidos y, al final, toda la empresa sigue siendo un proyecto de autorregulación.
nDicho esto, sería de gran ayuda hacer que el liderazgo del comité de ética sea más responsable. Pero para ello, el grupo debería (a) constituirse correctamente; (b) tener poderes institucionales claros y sólidos (en vez de estar allí simplemente para ofrecer asesoramiento); y (c) someterse a estándares de responsabilidad transparentes para garantizar que no se convierta en una parte del engranaje de una máquina racionalizadora de lavado de ética.
n"Cambiar a las personas encargadas de crear estos grupos". La fundadora de Project Include, Ellen Pao
nEste intento fallido demuestra por qué Google necesita mejores asesores. Pero quizás también necesite sustituir a los encargados de crear estos grupos, y quizás sus equipos internos también deberían estar haciendo este trabajo. Como hemos visto, el resultado fue problemático, pero también lo fue el proceso. No comunicar a todos los miembros del ATEAC quiénes iban a ser sus compañeros es un grandísimo error. El proceso de reunir a las personas que más reflexionan acerca de cómo es el mundo en el que vivimos debía haber ocurrido primero internamente para poder formar después un comité de ética externo-
nAdemás, antes de comprometerse, los miembros deben estudiar los grupos a los que se unen, las conferencias en las que hablan y a sus equipos para saber a qué se están apuntando. Es sorprendente cuánto se puede influir en ellos y cómo es posible cambiar la composición de un grupo con solo preguntar.
n"Hay que potenciar el antagonismo, no estas amistosas asociaciones internas y redes de apoyo". La profesora asistente de Comunicación, Cultura y Tecnología en la Universidad de Georgetown Meg Leta Jones
nLos comités de ética no son el trabajo diario de nadie, y solo ofrecen la posibilidad de conversaciones de alto nivel pero poco frecuentes que, en el mejor de los casos, proporcionan conocimiento y, en el peor, refugio. Si queremos establecer confianza en las instituciones incluyendo las tecnologías, las empresas tecnológicas, los medios de comunicación y el Gobierno, nuestra cultura política actual exige antagonismo, no estas amistosas asociaciones internas y redes de apoyo. Empoderar a los antagonistas y apoyar el antagonismo puede cumplir de manera más apropiada y efectiva los objetivos de una "IA ética".
nn"Los comités de ética proporcionan en el mejor de los casos conocimiento y, en el peor, refugio" Meg Leta Jones
n
"Mirar hacia dentro y empoderar a los empleados que se solidarizan con los grupos vulnerables". La profesora asistente de los Estudios de la Información de la Universidad de Washington (EE.UU.) Anna Lauren Hoffmann
nEl fracaso del comité del ATEAC de Google deja claro que la "ética de la IA" no consiste solo en cómo concebimos, desarrollamos e implementamos las tecnologías de IA, sino también en cómo "hacemos" la ética. Las vulnerabilidades vividas, el reparto de poder e influencia, y de quiénes son las voces dominantes, son cuestiones esenciales cuando se busca la ética en el mundo real. Por eso, la debacle del ATEAC y otros proyectos polémicos de Google (por ejemplo, contra el Proyecto Maven, Dragonfly y las políticas de acoso sexual) dejan claro que la empresa ya cuenta con un recurso ético tremendo en muchos de sus propios empleados. Aunque también necesitamos una regulación significativa y supervisión externa, la compañía debe mirar hacia dentro y empoderar a los empleados marginados que están dispuestos a organizarse y a solidarizarse con los grupos vulnerables para abordar los problemas generalizados de la transfobia, el racismo, la xenofobia y el odio.
n"Una junta no puede ser simplemente 'algunas personas importantes que conocemos'. Necesitas éticos reales". El director del Ethics + Emerging Sciences Group en Cal Poly, Patrick Lin
nEn palabras de Aaliyah, creo que el siguiente paso de Google consiste en limpiarse y volver a intentarlo. Pero debe pensar más en quiénes deben integrar el comité, no puede limitarse a ser una lista de "algunas personas importantes que conocemos", como parecía la versión 1.0 del Consejo. Primero, si hay un interés sincero en obtener una orientación ética, entonces hacen falta real es expertos en ética, con cualificaciones profesionales en ética teórica y aplicada. De lo contrario, sería rechazar el valor de la experiencia.
nn"Imagínese que una empresa quiere crear un consejo de abogados de IA pero solo incluye a n un abogado". Patrick Lin
n
Imagínese que una empresa quiere crear un consejo de abogados de IA pero solo incluye a n un abogado (al igual que solo había un filósofo en el consejo de ética de IA v1.0). Eso crearía señales de alerta. Que alguien trabaje en asuntos de importancia jurídica no es suficiente: muchas personas lo hacen, incluido yo, y pueden complementar la opinión de los expertos juristas y abogados. Pero para que ese consejo sea verdaderamente efectivo, los expertos deben dominar el grupo.
n"Las últimas semanas han demostrado que la organización directa funciona". El estudiante de doctorado en el Laboratorio de Ecología de Datos en la Universidad de Washington Os Keyes
nPara ser honesto, no tengo ningún consejo para Google. La empresa está haciendo justo lo que se supone que deben hacer las corporaciones de nuestra sociedad: trabajar para obtener una ventaja política (y, por lo tanto, regulatoria y, por lo tanto, financiera) sin dejar que un rastro de moralidad recorte sus resultados trimestrales o el plan estratégico. Mi consejo es para todos menos para Google. Para las personas fuera de Google: llamen a sus representantes. Pregunten qué están haciendo en torno a la regulación de la IA. Pregunten si están controlando a los grupos de presión. Pregunten qué están haciendo con respecto a la regulación corporativa. A las personas del mundo académico les digo: llamen a sus instructores. Pregúnteles qué medidas están tomando para enseñar a los estudiantes de ética que la ética solo es importante si se aplica y si se experimenta. A las personas de Google les diría: llamen a las personas que están fuera y pregúnteles qué necesitan. Los acontecimientos de las últimas semanas demuestran que la organización directa funciona; la solidaridad funciona.
n"Es poco probable que cuatro reuniones al año tengan un gran impacto. Necesitamos aportaciones de ética ágiles". La directora del programa de ética de internet en la Universidad de Santa Clara Irina Raicu
nCreo que esta fue una gran oportunidad perdida. Me pregunto quién, dentro de Google, estaba involucrado en la toma de decisiones sobre los miembros del comité. (Esa decisión, en sí misma, requirió diversas aportaciones). Pero esto revela que el problema es más amplio: el hecho de que Google informara sobre la creación del comité sin dar ninguna explicación sobre sus criterios para seleccionar a los participantes. Tampoco hubo mucha discusión sobre sus razones para crearlo, cuál esperaban que fuera el impacto del comité, etcétera. Si hubieran proporcionado más contexto, la discusión posterior tal vez hubiera sido diferente.
nTambién hay otras cuestiones; dada la rapidez con la que la IA se está desarrollando y aplicando, es probable que cuatro reuniones (incluso con un grupo diverso de asesores de ética de IA) en el transcurso de un año, no tengan un impacto significativo, es decir, que realmente cambien la trayectoria de la investigación o el desarrollo del producto. Mientras el modelo sea un desarrollo ágil, necesitamos una aportación de ética ágil también.
n"El grupo debe tener autoridad para decir no a proyectos". El director de programa en Witness, Sam Gregory
nSi Google desea verdaderamente fomentar el respeto por la ética o por los derechos humanos en las iniciativas de IA, primero deben reconocer que un consejo asesor, o incluso un consejo directivo, es solo una parte de un enfoque más amplio. Deben explicar claramente desde el principio que el grupo realmente tiene autoridad para decir no a los proyectos y ser escuchado. Luego, deben ser explícitos en el marco (recomendaríamos que se basen en las normas y leyes internacionales de derechos humanos establecidas) y, por lo tanto, un individuo o grupo que tenga antecedentes de ser discriminatorio o abusivo no debería formar parte de él.
n"Evitar tratar la ética como un juego de relaciones públicas o como un problema técnico". La investigadora del Laboratorio de Ética y Política de Salud del Instituto Federal de Tecnología de Suiza Anna Jobin
nSi Google se toma en serio la ética de la IA, debe evitar tratar el tema como un juego de relaciones públicas o como un problema técnico. Debe integrarla en sus prácticas y procesos comerciales. Es posible que tenga que rediseñar sus estructuras directivas para crear una mejor representación y responsabilidad, tanto para su fuerza laboral interna como para la sociedad en general. En concreto, debe priorizar el bienestar de las minorías y de las comunidades vulnerables en todo el mundo, especialmente de las personas que están o pueden verse afectadas negativamente por su tecnología.
n"No solo debemos buscar la experiencia tradicional, sino también las ideas de las personas expertas en sus propias experiencias". La fundadora de la Liga de Justicia Algorítmica, Joy Buolamwini
nAl pensar en la gobernanza de la inteligencia artificial, no solo debemos buscar la experiencia tradicional, sino también las ideas de las personas expertas en sus propias experiencias. ¿Cómo podemos involucrar a las voces marginadas en la configuración de la IA? ¿Cómo sería una IA participativa que centra las opiniones de quienes tienen mayor riesgo de sufrir los impactos adversos de la IA?
nAprendiendo de la experiencia del ATEAC, Google debería incorporar procesos de revisión por parte de la comunidad en el desarrollo de sus productos y servicios. Esto requerirá una gran transparencia y una supervisión continua. Y Google y otras tecnológicas deben reservar una parte de sus beneficios para proporcionar fondos para la investigación sobre la ética y la responsabilidad de la IA, sin centrarse únicamente en la investigación de la imparcialidad de la IA que solo eleva las perspectivas técnicas.
n"Tal vez sea lo mejor que la hoja de parra del 'desarrollo ético' haya sido eliminada". El autor de 'Radical Technologies', Adam Greenfield
nTodo lo que hemos escuchado sobre este Consejo ha sido vergonzoso, desde el instinto inicial de invitar a Cole James a la decisión de acabar con él en lugar de dedicarle algo de energía a lidiar con las consecuencias de esa elección. Pero dado que mis sentimientos acerca de la IA son más o menos los de la Jihad Butleriana, tal vez sea lo mejor que se haya eliminado la hoja de parra del "desarrollo ético". Al final, no puedo imaginar ninguna recomendación de un panel asesor de este tipo, sin importar cómo se haya construido, que se interponga en las demandas del mercado demanda y/o la necesidad percibida de competir con otros actores involucrados en el desarrollo de la IA.
nn"No me puedo imaginar ninguna recomendación de un panel asesor de este tipo que se interponga a las demandas del mercado". Adam Greenfield
n
"Es alentador ver el poder del activismo de los empleados". La CEO de AI4ALL, Tess Posner
nEs fantástico ver a las empresas, organizaciones e investigadores trabajando para crear marcos éticos para la IA. La industria de la tecnología está experimentando dolores de crecimiento en esta área: descubrir cómo hacerlo correctamente es un desafío y llevará tiempo e iteración. Creemos que es una oportunidad para seguir preguntándonos qué voces deben incluirse y asegurarnos de que sean diversas, y analizar quiénes pueden verse directamente afectados por los resultados de las decisiones tomadas. Es alentador ver que el poder del activismo de los empleados es capaz de generar un cambio en este y en otros problemas tecnológicos.
n