El revuelo sobre los artículos recomendados de Facebook y su posible sesgo liberal fue tal que el Senado de Estados Unidos hizo un llamamiento para que la empresa ofreciera una explicación oficial. Esta semana la COO, Sheryl Sandberg, anunció que la empresa empezará a entrenar a sus empleados para identificar y controlar sus inclinaciones políticas.
Este es tan sólo un resultado de una tendencia más amplia que el antiguo director de Datos de Kickstarter Fred Benenson califica de "mathwashing" [NdT: término anglosajón acuñado recientemente basado en el término maths (matemáticas) y brainwashing (lavado de cerebro)]. El neologismo se refiere a la propensión a idealizar que programas como el de Facebook son totalmente objetivos porque se basan en las matemáticas.
Sin embargo, uno de los sesgos más probables nace de que una proporción muy grande de programadores, especialmente los expertos en aprendizaje de máquinas, son hombres. En un reciente artículo de Bloomberg, se cita a la investigadora de Microsoft Margaret Mitchell, que se lamentaba de los peligros de que "un mar de tíos" plantee las preguntas centrales a la creación de estos programas.
La inquietud por estos sesgos es cada vez mayor, pues cada vez más estudios demuestran falta de objetividad en la publicidad digital, las acciones de captación y los descuentos de los productos. Y todos estos sesgos parecen estar impulsados por algoritmos se que suponen neutros.
En un estudio, la profesora de la Universidad de Harvard (EEUU) Latanya Sweeny analizó los anuncios de Google AdSense que se visualizaron durante búsquedas de nombres asociados con bebés blancos (Geoffrey, Jill, Emma) y búsquedas de nombres asociados con bebés afroamericanos (DeShawn, Da ell, Jermaine). Encontró que los anuncios que contenían la palabra "detención" fueron mostrados al lado de casi el 80% de las búsquedas de nombres "negros" pero al lado de menos del 30% de las búsquedas de nombres "blancos".
A Sweeny le preocupa que la tecnología publicitaria de Google perpetua los sesgos raciales y por tanto pueda socavar las posibilidades de un participante negro en una competición, sea por un premio, una cita o un empleo.
Áreas como los préstamos y créditos que tradicionalmente han padecido de una bien conocida discriminación han de tener un cuidado especial.
ZestFinance, una empresa de préstamos en línea fundada sobre la idea de que los programas de aprendizaje de máquinas pueden aumentar el número de personas consideradas solventes al examinar decenas de miles de puntos de datos, afirma estar bien preparada para evitar las prácticas discriminatorias en la obtención de préstamos. Para evitarlo, ZestFinance ha desarrollado herramientas para poner a prueba sus propios resultados.
Pero los sesgos no detectados pueden hacer que cualquier programa sea discriminatorio sin saberlo, no sólo durante la programación de una algoritmo sino incluso en los datos entrantes. Para los consumidores que no son capaces de analizar las complejidades de estos programas, resultará difícil saber si han recibido un trato justo.
"Los algoritmos y productos impulsados por datos siempre reflejarán las decisiones de diseño de los humanos que los han desarrollado", explicó Benenson en una reciente sesión de preguntas y respuestas con Technical.ly Brooklyn, "y es irresponsable pensar de otra manera", añadió.
(Para saber más: Wall Street Jou al, Technical.ly Brooklyn, Bloomberg, “AI Takes Off”[PDF])