Por ello, en muchos casos, la tecnología acaba incorporando los propios sesgos humanos, los cuales podrían causar un gran impacto en la vida de las personas (ver El día que los algoritmos empezaron a discriminar a la gente sin querer).
nEn un nuevo artículo publicado enarXiv, unos investigadores afirman que han descubierto una forma de mitigar el problema sobre algoritmos cuyos procesos internos resultan difíciles de analizar, los llamados sistemas de "caja negra" (ver El secreto más oscuro de la inteligencia artificial: ¿por qué hace lo que hace?).
nUn área donde los algoritmos sesgados serían especialmente peligrosos es la de los modelos de evaluación de riesgos, que sirven para decidir, por ejemplo, las posibilidades de una persona de ser puesto en libertad bajo fianza o de obtener un préstamo (ver Confiamos ciegamente en algoritmos sesgados por sus propios desarrolladores). Normalmente es ilegal considerar factores como la raza en tales escenarios, pero los algoritmos pueden aprender a reconocer y explotar el hecho de que el nivel de educación o el domicilio de una persona pueden estar correlacionados con otra información demográfica, que de hecho puede impregnarlos de sesgos raciales y de otro tipo.
nLo que hace que este problema resulte aún más complicado es que muchas de las inteligencias artificiales utilizadas para hacer esas elecciones son cajas negras. Esto quiere decir que su funcionamiento es demasiado complicado para comprenderlo fácilmente o que se trata de algoritmos privados propiedad de empresas que se niegan a explicar cómo funcionan. Los investigadores han estado trabajando en el desarrollo de herramientas que permitan observar lo que sucede debajo del capó (ver Se acabó la confianza ciega, la inteligencia artificial debe explicar cómo funciona), pero se trata de un problema muy extendido y que, además, va en aumento (ver Los algoritmos sesgados están por todas partes, y parece que a nadie le importa).
nEn el trabajo publicado, Sarah Tan (que actualmente trabajaba para Microsoft) aplicó su método en dos modelos de evaluación de riesgo de caja negra: uno de la compañía LendingClub para analizar riesgos de préstamos y tasas de incumplimiento , y el otro, propiedad de Northpointe, una empresa que ofrece servicios basados en algoritmos a tribunales de todo el país para predecir el riesgo de reincidencia de los acusados.
nLos investigadores utilizaron un enfoque doble para intentar averiguar cómo funcionan ambos algoritmos, potencialmente sesgados. En primer lugar, crearon un modelo que imita cada algoritmo que querían examinar para generar una puntuación de riesgo basada en un conjunto inicial de datos, tal y como lo harían LendingClub y Northpointe. Después, desarrollaron un segundo modelo que entrenaron con resultados del mundo real, y lo utilizaron para determinar qué variables del conjunto de datos inicial eran las que más influían en los resultados finales.
nEn el caso de LendingClub, los investigadores analizaron datos sobre varios préstamos vencidos entre 2007 y 2011. La base de datos de LendingClub contenía numerosos campos diferentes, pero los investigadores descubrieron que el modelo de préstamo de la compañía probablemente ignoraba tanto los ingresos anuales del solicitante como el propósito del préstamo. Es posible que tenga sentido ignorar los ingresos, ya que es un dato autoinformado y fácilmente falsificable. Pero el propósito del préstamo está altamente correlacionado con los riesgos: los préstamos para pequeñas empresas son mucho más arriesgados que los que se piden para pagar bodas, por ejemplo. Por tanto, LendingClub parecía estar ignorando una variable importante.
nPor su parte, Northpointe afirma que su algoritmo COMPAS no considera la raza del acusado como variable para hacer recomendaciones sobre su sentencia. Sin embargo, en una investigación de ProPublica, sus periodistas recopilaron información racial sobre los acusados que fueron sentenciados con la ayuda de COMPAS y encontraron pruebas de prejuicios raciales. En su modelo de imitiación, los investigadores de Microsoft utilizaron los datos recopilados por ProPublica, así como información sobre la edad, el sexo, el grado de gravedad de los cargos, el número de condenas anteriores y la duración de cualquier sentencia de prisión anterior. Los resultados de este análisis coinciden con los que destapó ProPublica, lo que sugiere que COMPAS probablemente contenía sesgos para algunos grupos raciales y de edad.
nQuien quiera criticar los resultados de Microsoft podría alegar que las copias de sus algoritmos no son réplicas exactas de los originales. Cierto es que los investigadores se vieron obligados a hacer muchas suposiciones. Pero si la compañía responsable de un algoritmo no está dispuesta a revelar información sobre cómo funciona su sistema, los modelos de aproximación como estos son una forma razonable de hacerse una idea. Al menos eso es lo que opina el profesor adjunto de la Universidad de Massachusetts en Amherst (EEUU) Brendan O'Connor, quien ya hizo su propia investigación sobre los sesgos en el procesamiento del lenguaje natural (ver La inteligencia artificial está aprendiendo a excluir las voces afroamericanas).
nEl investigador concluye: "Tenemos que ser conscientes de que esto está pasando en lugar de cerrar los ojos ante esto y actuar como si no estuviera sucediendo".
n