nnThe @AppleCard is such a fucking sexist program. My wife and I filed joint tax retu s, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
n— DHH (@dhh) 7 de noviembre de 2019
Como respuesta, Goldman Sachs publicó una declaración afirmando que no se tenía en cuenta el género para determinar la solvencia crediticia. La lógica era probablemente que su defensa uera: ¿cómo es posible discriminar a las mujeres cuando el algoritmo ni siquiera conoce el género? Pero precisamente no tener en cuenta el género es el problema. La investigación sobre justicia algorítmica ha demostrado previamente que tener en cuenta el género en realidad ayuda a mitigar el sesgo de género. Pero, irónicamente, en Estados Unidos es ilegal hacerlo.
nAhora, los resultados preliminares de un estudio en curso financiado por la Fundación de Naciones Unidas y el Banco Mundial suponen un nuevo reto una vez más sobre la ecuanimidad de la diferencia de género en los créditos. El estudio descubrió que la creación de modelos completamente separados de solvencia crediticia para hombres y mujeres concedía más crédito a las mujeres.
nAsí que, ¿se deberían actualizar las leyes?
nEl sexismo de omitir el género
nSi no se quiere discriminar por género, ¿por qué no se elimina simplemente el género de la ecuación? Esta fue la premisa de la Ley de Igualdad de Oportunidades de Crédito (ECOA, por sus siglas en inglés), creada en Estados Unidos en 1974, en un tiempo en el que a las mujeres se les negaba el crédito constantemente. Fijaba que era ilegal que cualquier acreedor discriminara por razón de sexo o que tuviera en cuenta el sexo al evaluar la solvencia. (En 1976, se actualizó esta ley para prohibir la discriminación por raza, por origen nacional y por otras características protegidas por el Gobie o federal de EE. UU.).
nPero en aprendizaje automático, la ceguera en cuanto a género puede ser un problema. Incluso cuando no se especifica el género, es posible deducirlo fácilmente de otras variables que se correlacionan con él. Debido a ello, los modelos entrenados con datos históricos sin distinción de género aún amplifican las desigualdades del pasado. Lo mismo se aplica a la raza y a otras características. Esto es probablemente lo que ocurrió en el caso de la tarjeta Apple Card: debido a que históricamente a las mujeres se les otorgaba menos crédito, el algoritmo aprendió a perpetuar ese patrón.
nEn un estudio de 2018, una colaboración entre informáticos y economistas descubrió que la mejor manera de mitigar estos problemas era, de hecho, volver a introducir las características como el sexo y la raza en los modelos para tener un mayor control a la hora de medir y revertir cualquier sesgo manifestado, lo que da como resultado una mayor igualdad en general.
n¿Préstamos y créditos diferenciados para hombres y mujeres?
nEl último estudio está probando una nueva hipótesis: ¿los modelos separados para hombres y mujeres reducirían aún más el sesgo de género? En un evento organizado recientemente por la Fundación de Naciones Unidas, el profesor asistente de la Universidad Northweste (EE. UU.) e investigador del estudio Sean Higgins presentó hallazgos preliminares que sugieren que sí lo lograrían.
nEn colaboración con un banco comercial de la República Dominicana, los investigadores realizaron dos análisis separados de 20.000 personas de bajos ingresos, la mitad de ellas mujeres. En el primer análisis, los investigadores utilizaron los historiales de devolución de préstamos y el género de las personas para entrenar un único modelo de aprendizaje automático orientado a predecir la solvencia crediticia.
nEn el segundo análisis, los investigadores entrenaron un modelo solo con los datos de devolución de préstamos de las mujeres. Descubrieron que el 93 % de las mujeres obtuvieron más crédito con este segundo modelo que en el que los hombres y las mujeres estaban juntos.
nEsto ocurre, según Higgins, porque las mujeres y los hombres tienen diferentes historiales de crédito y diferentes comportamientos de devolución de préstamos, ya sea por razones históricas, culturales u otras. Las mujeres, por ejemplo, tienen más probabilidades de devolver sus préstamos, asegura. Pero esas diferencias no se tienen en cuenta en el modelo combinado, que aprende a predecir la solvencia crediticia en función de los promedios entre las mujeres y los hombres. Por ello, dichos modelos subestiman la probabilidad de que las mujeres devuelvan sus préstamos y terminan otorgándoles menos crédito del que se merecen.
nAunque Higgins y sus colaboradores probaron esta hipótesis específicamente en mujeres de bajos ingresos en la República Dominicana, los resultados cualitativos deberían ser acertados independientemente del contexto. Además, deberían aplicarse a características distintas al género y en otros campos además del de finanzas.
n¿Hay que cambiar la ley?
nEl problema consiste en que este tipo de modelo para un único género es ilegal. Por ello, la pregunta es si los formuladores de políticas deberían actualizar la ECOA.
nHiggins está a favor de hacerlo "La reciente investigación sobre justicia algorítmica ha llegado a una conclusión bastante clara de que deberíamos usar la raza y el género en los algoritmos", sostiene. "Si los bancos no tienen acceso a esas variables y ni siquiera pueden realizar las comprobaciones de seguridad para asegurarse de que sus algoritmos no están sesgados, la única forma en la que descubriremos estos sesgos es cuando la gente tuitea sobre las desigualdades que aparecen por ahí".
nPero el profesor asistente de derecho en la Universidad de Califo ia en Los Ángeles (UCLA, EE. UU.) y especialista en la intersección entre inteligencia artificial y derecho, Andrew Selbst, muestra prudencia sobre la posibilidad de hacer cambios demasiado rápido. "Reescribir la ley de esa manera abre las posibilidades para que actores con malas intenciones empiecen a incluir variables de raza y género y discriminen salvajemente de una manera que sea muy difícil de controlar", concluye. También le preocupa que esta solución no tenga en cuenta a las personas de género no binario o transexuales y les cause daños de forma inconsciente.
n