Y ese sesgo ha provocado que el Departamento de Vivienda y Desarrollo Urbano de EE. UU. haya demandado al gigante tecnológico por permitir a los anunciantes dirigir sus anuncios en función de la raza, el género y la religión, precisamente el tipo de cosas que la ley de EE. UU. prohíbe hacer. La compañía ha respondido anunciando que dejará de permitirlo.
nPero hay nuevas pruebas de que el algoritmo de Facebook, que decide automáticamente a quién muestra un anuncio, hace la misma discriminación con los anuncios que muestra a sus más de 2.000 millones de usuarios en función de su información demográfica.
nUn equipo de la Universidad Northeaste (EE. UU.) liderado por los investigadores Muhammad Ali y Piotr Sapiezynski emitió una serie de anuncios idénticos con ligeras variaciones en el presupuesto disponible, el título, el texto o la imagen. Descubrieron que esos sutiles ajustes tenían un impacto importante en la audiencia a la que llegaba cada anuncio, especialmente cuando se trataba de anuncios de empleo o bienes inmuebles.
nLos anuncios de búsqueda de profesionales de educación infantil y secretaría, por ejemplo, se mostraron principalmente a mujeres, mientras que las publicaciones para empleo de conserje y taxista se mostraron en mayor proporción a personas de grupos minoritarios. Los anuncios sobre la venta de las viviendas también aparecieron más a usuarios blancos, mientras que los anuncios de alquileres fueron mostrados más a las minorías.
Como respuesta a los resultados, un portavoz de la empresa ha dicho lo siguiente en un comunicado: "Hemos hecho cambios importantes en nuestras herramientas de segmentación de publicidad y sabemos que esto es solo un primer paso. Hemos estado analizando nuestro sistema de publicación de anuncios y hemos involucrado en este mismo tema a líderes de la industria, profesores y expertos en derechos civiles, y estamos explorando más cambios".
nEn cierto modo, la noticia no debería sorprendernos: el sesgo algorítmico de recomendación es un problema que se conoce desde hace muchos años. En 2013, por ejemplo, la profesora de Ciencias Políticas y Tecnología de la Universidad de Harvard (EE. UU.) Latanya Sweeney publicó un artículo que mostraba la discriminación racial implícita del algoritmo de publicación de anuncios de Google. El problema se remonta a la base del funcionamiento de estos algoritmos. Todos ellos se basan en el aprendizaje automático, una técnica especializada en encontrar patrones en cantidades masivas de datos y aplicarlos para tomar decisiones. Hay muchas formas de introducir sesgos en este proceso, pero las dos más evidentes en el caso de Facebook están relacionadas con la definición del problema y la recogida de los datos.
n
El sesgo se produce durante la definición del problema cuando el objetivo de un modelo de aprendizaje automático no está alineado con la necesidad de evitar la discriminación. La herramienta de publicidad de Facebook permite a los anunciantes elegir entre tres objetivos de optimización: la cantidad de visitas que obtiene un anuncio, la cantidad de clics y de interacción generada, y la cantidad de ventas obtenidas. Pero esos objetivos comerciales no tienen nada que ver con, por ejemplo, mantener un acceso igualitario a la vivienda. Como resultado, si el algoritmo descubre que puede generar más interacciones al mostrar casas a la venta a un número superior de usuarios blancos, terminá discriminando a los usuarios negros.
n
El sesgo durante la recogida de los datos se produce cuando los datos de entrenamiento replican los prejuicios existentes. La herramienta de publicidad de Facebook basa sus decisiones de optimización en las preferencias históricas de las personas. Si una proporción mayor de personas de grupos minoritarios ha demostrado tener un interés mayor en casas de alquiler en el pasado, el modelo de aprendizaje automático habría identificado ese patrón y lo aplicaría hasta el fin de los días. Una vez más, el sistema avanzará ciegamente por el camino del empleo y la discriminación en la vivienda, sin que nadie le haya dado esa orden explícitamente.
nAunque estos comportamientos del aprendizaje automático se llevan estudiando desde hace bastante tiempo, el nuevo estudio ofrece una visión más directa del alcance de su impacto en el acceso a la vivienda y las oportunidades de empleo. "¡Estos hallazgos son muy polémicos!", alertó el director del Centro de Ética, Sociedad e Informática de la Universidad de Michigan (EE.UU.), Christian Sandvig, en declaraciones a The Economist. El experto añadió: "El artículo nos asegura que si el [...] big data se usa de esta manera, nunca nos dará un mundo mejor. De hecho, es probable que lo estén empeorando al acelerar los problemas globales que hacen que las cosas sean injustas".
nLa buena noticia es que hay formas de abordar este problema, pero no será fácil. Muchos investigadores de IA ya están buscando soluciones técnicas para el sesgo del aprendizaje automático para crear modelos más justos de publicidad online. Un artículo reciente de la Universidad de Yale (EE. UU.) y el Instituto Indio de Tecnología, por ejemplo, sugiere que podría ser posible restringir los algoritmos para minimizar el comportamiento discriminatorio, aunque a un pequeño coste para los ingresos por publicidad. Los responsables políticos deberán meterse en este barro si las plataformas empiecen a invertir en esas soluciones, especialmente si esto consigue mejorar sus resultados finales.
n