El aprendizaje automático y la inteligencia artificial se utilizan cada vez más en la aplicación de la ley para tomar decisiones sobre qué acusados obtienen libertad bajo fianza, en la atención sanitaria para determinar tratamientos médicos y en las instituciones financieras para dar préstamos. Pero tomar estas decisiones de forma automática puede causar problemas: el software puede pasar por alto algunos matices que una persona sería capaz de detectar en un historial criminal, médico o crediticio. Pero a las personas también se les pueden escapar los matices y es posible que tengan sus propios prejuicios, especialmente cuando están bajo presión por falta de tiempo y deben tomar decisiones de importancia vital.
El sistema de Lakkaraju no se basa únicamente en las elecciones humanas o en las del aprendizaje automático, sino que combina las dos. La mayor parte de su trabajo se centra en conjuntos de datos en los que puede ver los resultados esperados tanto por parte de la IA como de las personas responsables de la toma de decisiones. A través de ellos, el sistema es capaz de detectar dónde puede ocurrir el sesgo.
Las escuelas del condado de Montgomery (EE. UU.) ya utilizan su sistema para identificar a los estudiantes en riesgo y predecir la probabilidad de que un niño necesite atención adicional o tutoría. Lakkaraju concluye: "Los distritos escolares suelen tener recursos limitados, así que saber esta probabilidad ayudará a que decidan las actuaciones apropiadas para aquellos estudiantes que tienen más probabilidades de beneficiarse".