Hace falta un rediseño: el Ministerio del Interior niega que su sistema tenga sesgo racial y el juicio todavía sigue en curso. Aun así, el organismo acordó dejar de usar el algoritmo y planea lanzar una versión rediseñada a finales de este año, después de llevar a cabo una revisión completa que buscará sesgos involuntarios. Mientras tanto, Reino Unido adoptará un sistema temporal que no utiliza la nacionalidad para clasificar las solicitudes.
nSistema de semáforo: Reino Unido lleva desde 2015 filtrando las solicitudes de visado mediante un sistema de semáforo que asigna a cada solicitante un nivel de riesgo rojo, ámbar o verde. Las personas a las que se asignaba un nivel de riesgo rojo tenían más probabilidades de ser rechazadas.
nTendencia más amplia: se sabe que los algoritmos consolidan los sesgos institucionales, especialmente los racistas. A pesar de ello, cada vez se utilizan más para ayudar a tomar decisiones importantes, desde verificaciones de crédito hasta solicitudes de visado, audiencias previas y vigilancia policial. Los críticos advierten de que el sistema de inmigración de Estados Unidos también tiene sesgos raciales. Pero en la mayoría de los casos, resulta difícil analizar exactamente cómo funcionan estos algoritmos y exponer evidencias que demuestren sus sesgos porque muchos son propiedad privada y su uso no está abierto a supervisión pública.
nPero las críticas van en aumento. En Estados Unidos, algunos departamentos de policía están eliminando sus controvertidos algoritmos predictivos y las empresas tecnológicas han dejado de suministrar la tecnología de reconocimiento facial sesgada. En febrero, un tribunal holandés dictaminó que era ilegal un sistema que predecía la probabilidad de que una persona cometiera fraude fiscal o de seguridad social porque se centraba injustamente en las minorías. La decisión del Ministerio del Interior de Reino Unido de revisar su sistema sin esperar una resolución judicial podría ser un hito.
n