Crédito: Sophia Foster-Dimino
Todo lo que sabemos sobre los sistemas de reconocimiento facial que emplean el FBI y los departamentos de policía de Estados Unidos sugiere que el software incorpora un sesgo racial inherente. No se ha hecho así a propósito sino que es consecuencia cómo se diseñan los sistemas y los datos con los que entrenan. Pero sí resulta problemático. Las agencias de seguridad dependen cada vez más de tales herramientas para las investigaciones criminales, aumentando el riesgo de que algo salga mal.
Las agencias de seguridad no han proporcionado muchos detalles acerca de cómo emplean los sistemas de reconocimiento facial, pero en junio la Oficina de Rendición de Cuentas de Estados Unidos publicó un informe que afirma que el FBI no ha probado adecuadamente la precisión de su sistema de reconocimiento facial, ni la de las masivas redes a nivel estatal de bases de datos de imágenes faciales a las que tiene acceso.
Y mientras que los sistemas más mode os de reconocimiento facial pueden alcanzar una precisión del 95% en fotos de ficha policial, esas fotos son sacadas bajo condiciones controladas generalmente con sujetos que cooperan. Las imágenes sacadas en condiciones menos que ideales, como la mala iluminación, o que capten poses y expresiones poco comunes pueden dar paso a errores.
El sesgo de los algoritmos también puede deberse a la manera en la que son entrenados, según el director del grupo de investigaciones de biométricas de la Universidad Estatal de Michigan (EEUU), Anil Jain. Para que funcione, el software de reconocimiento facial primero ha de aprender a reconocer las caras mediante datos de entrenamiento, un conjunto de imágenes que proporciona informaciones al software sobre cómo varían las caras. Si un género, grupo de edad o raza está menos representado que el resto en los datos de entrenamiento, lo reflejará el rendimiento del algoritmo, apunta Jain.
En 2012, Jain y varios compañeros emplearon un conjunto de fotos de fichas policiales de un departamento de policía para examinar el rendimiento de varios sistemas comercialmente disponibles de reconocimiento facial, incluidos algunos de proveedores que dan servicio a las agencias de seguridad. Los algoritmos tuvieron un rendimiento sistemáticamente peor en mujeres, afroamericanos y personas jóvenes. Parece ser que fueron entrenados con datos que no representaban lo suficiente a esos grupos, según Jain.
"Si tu conjunto de [datos de] entrenamiento está fuertemente sesgado hacia una raza en particular, tu algoritmo rendirá mejor a la hora de reconocer caras de esa raza", explica la directora del laboratorio de investigaciones de percepción facial de la Universidad de Tejas en Dallas (EEUU), Alice O´Toole. Junto con varios compañeros, O´Toole descubrió en 2011 que un algoritmo desarrollado en países occidentales rendía mejor a la hora de reconocer caras causásicas que asiáticas. Igualmente, los algoritmos de Asia rindieron mejor con caras asiáticas que con las caucásicas.
Desde entonces, la precisión de los algoritmos comerciales ha mejorado en muchas áreas, y Jain dice que las diferencias de rendimiento entre diferentes géneros y razas puede que se haya ido reduciendo. Pero la falta de datos de prueba disponibles hace que resulta difícil saberlo. Nuevos enfoques para el reconocimiento facial, como los sistemas de aprendizaje profundo que han desarrollado Google y Facebook, pueden cometer el mismo tipo de errores si los datos de entrenamiento no están bien equilibrados, señala.
El ingeniero electrónico del Instituto Nacional de Éstandares y Tecnología de Estados Unidos Jonathon Phillips realiza pruebas de algoritmos comerciales. Afirma que es posible diseñar una prueba para medir el sesgo racial de cada uno de los sistemas de reconocimiento de caras. De hecho, los expertos en privacidad han pedido que tales pruebas sean un requisito obligatorio.
El FBI y MorphoTrust, el proveedor que proporciona el software de reconocimiento facial de la agencia, no contestaron a las preguntas planteadas por MIT Technology Review por correo sobre la ejecución de pruebas del rendimiento de sus algoritmos en cuestiones de raza, género o edad.
Los acuerdos entre proveedores y las muchas agencias de seguridad estatales que emplean el reconocimiento facial tampoco están claros. Pero el responsable del análisis digital e identificación de la Policía Estatal de Michigan (EEUU), Pete Langenfeld, afirma que su organización no realiza pruebas para analizar la precisión para determinados grupos. Dijo que no sabe si el proveedor que proporciona el software realizan tales pruebas tampoco, pero añadió que la empresa no tiene obligación de revelar esa información.