Todo empezó con una tarjeta de crédito. En ese momento, era la única tarjeta que Miriam tenía. Nick la usaba hasta el límite de 5.000 dólares (4.140 euros) en compras de su empresa y lo devolvía el dinero de inmediato al día siguiente. Miriam, quien me pidió que no use su nombre real para no interferir en su proceso de divorcio en curso, descubrió que esto mejoraba su calificación crediticia. Después de crecer con un padre soltero en un hogar de bajos recusos, confiaba en los conocimientos de Nick más que en los suyos propios. Nick pronto alentó esa dinámica, diciéndole que ella no entendía las finanzas. Miriam solicitó más tarjetas de crédito a su nombre para él.
nEl problema comenzó tres años después. Nick le pidió que dejara su trabajo para ayudarle con su negocio. Miriam lo hizo. Él le dijo que fuera a la escuela de posgrado y que no se preocupara por el aumento de la deuda estudiantil que todavía mantenía. Ella le hizo caso. Nick prometió ocuparse de todo y Miriam le creyó. Poco después, Nick dejó de liquidar los saldos de las tarjetas de crédito de Miriam y su calificación crediticia empezó a desmoronarse.
nAun así, Miriam se quedó con Nick. Se casaron. Tuvieron tres hijos. Luego, un día, el FBI apareció en su casa y arrestó a Nick. En un tribunal federal, el juez lo condenó a pagar más de 200.000 euros por fraude electrónico. Miriam descubrió que la deuda que él había acumulado en su nombre ascendía a decenas de miles de dólares. Y recuerda: "El día que se lo llevaron a la cárcel, yo tenía 200 euros en efectivo, una casa en ejecución hipotecaria, un coche en proceso de embargo y tres hijos. En un mes, pasé de tener niñera y vivir en una casa bonita a una situación de pobreza extrema".
nMiriam es una superviviente de lo que se conoce como "deuda forzada", una forma de abuso generalmente perpetrado por una pareja sentimental o un miembro de la familia. La abogada de Texas RioGrande Legal Aid Carla Sanchez-Adams explica que, a pesar de que el abuso económico es un problema desde hace tiempo, la banca digital ha facilitado la apertura de cuentas y la obtención de préstamos a nombre de las víctimas. En la era de los algoritmos automatizados de calificación crediticia, las repercusiones también pueden ser mucho más devastadoras.
nLas calificaciones crediticias se han utilizado durante décadas para evaluar la solvencia crediticia del consumidor, pero en la actualidad su alcance es mucho mayor, ya que funcionan mediante algoritmos: no solo cuentan con muchos más datos, tanto en volumen como en tipo, sino que influyen cada vez más en la posibilidad de comprar un coche, alquilar un piso o conseguir un trabajo a tiempo completo. Su poder integral significa que, si la calificación se reduce, podría resultar casi imposible recuperarla.
nY lo que es peor, los algoritmos pertenecen a empresas privadas que no divulgan cómo toman sus decisiones. Las víctimas pueden acabar en una espiral descendente que a veces termina en la pérdida de la vivienda o en el regreso a su abusador.
nLos algoritmos de calificación crediticia no son los únicos que interfieren en el bienestar económico de las personas y en su acceso a servicios básicos. En EE. UU., los algoritmos ya son responsables de decidir qué niños pueden entrar en el programa de familias de acogida, qué pacientes reciben atención médica y qué familias tienen acceso a una vivienda estable. Los que tenemos medios podemos pasar toda la vida sin darnos cuenta de nada. Pero para las personas de bajos ingresos, el rápido crecimiento y la adopción de sistemas automatizados de toma de decisiones ha creado una red oculta de trampas entrelazadas.
nAfortunadamente, un grupo cada vez mayor de abogados especializados en derecho civil ha empezado a organizarse en torno a este tema. Intentan entender bien estos sistemas, construir una comunidad y desarrollar estrategias de litigio, tomando como ejemplo la lucha del mundo de la defensa penal contra los algoritmos de evaluación de riesgos.
nLa profesora de Derecho en la Universidad de Baltimore (EE. UU.) Michele Gilman afirma: "Básicamente, todos los abogados especializados en derecho civil estamos empezando a lidiar con estos problemas, porque, de una forma u otra, todos nuestros clientes están siendo afectados por estos algoritmos. Tenemos que despertar y formarnos. Si queremos ser realmente buenos abogados holísticos, debemos ser conscientes de eso".
n"¿Tendré que interrogar un algoritmo?"
nGilman lleva 20 años ejerciendo la abogacía. En su trabajo como abogada civil y de personas sin hogar, sus casos siempre consisten en representar a personas que han perdido el acceso a sus necesidades básicas, como la vivienda, alimentación, educación, trabajo o atención médica. A veces eso significa enfrentarse a un organismo gubernamental. Otras, va contra una agencia de informes crediticios o contra un propietario de vivienda. Cada vez más, la batalla por los derechos de un cliente implica algún tipo de algoritmo.
nLa abogada detalla: "Esto les pasa a nuestros clientes en todos los ámbitos. Están enredados en tantos algoritmos diferentes que los excluyen de los servicios básicos. Y es posible que ni si quiera den cuenta, porque muchos de estos sistemas son invisibles".
n
Foto: En el caso de las personas de bajos ingresos, una desgracia económica temporal puede provocar un círculo vicioso que a veces termina en la bancarrota o se quedan sin vivienda. Créditos: Jon Tyson / Unsplash
nGilman no recuerda exactamente cuándo descubrió que había algoritmos tomando algunas decisiones de elegibilidad. Pero al principio, esa transición no era tan obvia. Comparte un caso en el que representaba a una persona mayor y discapacitada que inexplicablemente perdió el acceso a su asistencia médica domiciliaria financiada por el sistema público. La abogada recuerda: "No conseguíamos averiguar el motivo. La mujer estaba cada vez más enferma, y normalmente cuando el estado de alguien se agrava, recibe más horas de atención, no menos".
nEn la sala de juicios, una testigo que representaba al estado reveló que el Gobierno acababa de adoptar un nuevo algoritmo. La mujer, que era enfermera, no pudo explicar nada al respecto. Gilman opina: "Por supuesto que no, el algoritmo había sido comprado sin más. Ella era enfermera, no científica informática. No pudo responder qué factores incluía el sistema. ¿Cómo medía? ¿Cuáles eran los resultados que buscaba? Así que ahí estaba yo con mi abogado en prácticas, que trabajaba conmigo en el caso, y pensamos: 'Oh, ¿tendremos que interrogar un algoritmo?'"
nPara el abogado de Legal Aid of Arkansas Kevin De Liban, el cambio fue igualmente perverso. En 2014, su estado también había implementado un nuevo sistema para distribuir la asistencia médica domiciliaria financiada por Medicaid, el cual expulsó del servicio a una gran cantidad de personas que antes se beneficiaban de él. En ese momento, sus colegas y él no lograban identificar la raíz del problema. Solo sabían que había algo diferente. De Liban recuerda: "Descubrimos que había un cambio en los sistemas de evaluación de un cuestionario impreso de 20 preguntas a otro electrónico de 283 preguntas".
nDos años después, cuando un error en el algoritmo volvió a poner el sistema bajo análisis jurídico, De Liban finalmente llegó al fondo del problema. Se dio cuenta de que las enfermeras decían a los pacientes: "Bueno, fue el ordenador, no yo". Y añade: "Eso fue lo que nos dio la pista. Si en 2014 hubiera sabido lo que sabía en 2016, probablemente habría hecho un mejor trabajo".
n"Una persona pasa por muchos sistemas cada día"
nDesde entonces, Gilman se ha vuelto mucho más experta. Desde su perspectiva como representante de clientes con una variedad de problemas, ha observado el surgimiento y la colisión de dos redes algorítmicas. La primera consiste en los algoritmos de informes crediticios, como los del caso de Miriam, que afectan el acceso a bienes y servicios privados como coches, vivienda y empleo. La segunda abarca los algoritmos adoptados por las agencias gubernamentales, que determinan el acceso a los beneficios públicos como los servicios médicos, desempleo y manutención infantil.
nPor el lado de los informes crediticios, el aumento en el uso de algoritmos ha sido impulsado por la proliferación de datos, ya que resulta más fácil que nunca recopilarlos y compartirlos. Los informes crediticios no son nuevos, pero hoy en día su huella es mucho más amplia. Las agencias de informes del consumidor, incluidas las oficinas de crédito, las empresas de selección de arrendatarios y los servicios de verificación de cheques, recogen esta información de una gran variedad de fuentes: registros públicos, redes sociales, navegación por la web, actividad bancaria, uso de aplicaciones y demás. Luego, los algoritmos asignan las calificaciones de "valor" a las personas, que aparecen casi siempre en las verificaciones de antecedentes de los prestamistas, empleadores, propietarios de viviendas e incluso escuelas.
nLas agencias gubernamentales, por otro lado, suelen adoptar algoritmos para modernizar sus sistemas. El esfuerzo para incorporar apps web y herramientas digitales comenzó a principios de la década de 2000 y ha continuado hacia sistemas automatizados basados en datos e inteligencia artificial. Hay buenas razones para estos cambios. Durante la pandemia, muchos sistemas de prestaciones por desempleo tuvieron dificultades para manejar el enorme volumen de nuevas solicitudes, lo que provocó grandes retrasos. La modernización de estos sistemas existentes promete resultados más rápidos y fiables.
nPero el proceso de adquisición de software rara vez es transparente y, por lo tanto, carece de responsabilidad. Las agencias públicas a menudo compran herramientas de toma automatizada de decisiones a proveedores privados. El resultado es que cuando los sistemas fallan, las personas afectadas y sus abogados se quedan en la oscuridad. La abogada de Philadelphia Legal Assistance Julia Simon-Mishel advierte: "No lo anuncian en ninguna parte. Normalmente no está escrito en ningún tipo de guía ni manual de políticas. Estamos en desventaja".
nLa falta de auditoría pública también hace que los sistemas sean más propensos a errores. Uno de los más flagrantes ocurrió en Michigan (EE. UU.) en 2013. Después de un gran esfuerzo para automatizar el sistema estatal de beneficios por desempleo, el algoritmo marcó incorrectamente a más de 34.000 personas por fraude. "Causó una enorme pérdida de beneficios. Provocó bancarrotas; lamentablemente hubo suicidios. Fue todo un desastre", según Simon-Mishel.
n
Foto: A Gilman le preocupa que las deudas y los desalojos relacionados con el coronavirus se codifiquen en las calificaciones crediticias, dificultando permanentemente que las personas consigan empleo, vivienda y préstamos. Créditos: Scott Heins / Getty Images
nLas personas de bajos ingresos son las más afectadas por este cambio hacia los algoritmos. Son las personas más vulnerables a las desgracias económicas temporales que se codifican en los informes de consumidores y las que necesitan y buscan ayuda pública. A lo largo de los años, Gilman ha visto cada vez más casos en los que los clientes corren el riesgo de entrar en un círculo vicioso. Y afirma: "Una persona pasa por muchos sistemas cada día. Quiero decir, eso nos ocurre a todos. Pero las consecuencias son mucho más duras para los pobres y las minorías".
nGilman pone como ejemplo uno de los casos que actualmente lleva su despacho. Un miembro de la familia perdió su empleo debido a la pandemia y le denegaron las ayudas por desempleo debido a un error en el sistema automatizado. Luego, la familia se retrasó en el pago del alquiler, lo que llevó al propietario de la vivienda a demandarlos y reclamar su desahucio. Aunque el desalojo no será legal debido a una moratoria, la demanda aparecerá en los registros públicos. Esos registros luego podrían introducirse a los algoritmos de selección de inquilinos, lo que dificultaría que la familia encuentre una vivienda estable en el futuro. El hecho de no haber pagado el alquiler y los servicios públicos también podría afectar su calificación crediticia, lo que de nuevo crea otras repercusiones. "Si intentan contratar un servicio de telefonía móvil o pedir un préstamo o comprar un coche o presentarse para un puesto de trabajo, estos efectos dominó en cascada simplemente aparecen", explica Gilman.
n"Cada caso se convertirá en un caso algorítmico"
nEn septiembre del año pasado, Gilman, quien actualmente es miembro del cuerpo docente del instituto de investigación Data and Society, publicó un informe que documenta todas las variedades de algoritmos a los que se pueden enfrentar los abogados de los pobres. Se llama Poverty Lawgorithms y está destinado a hacer de guía para sus colegas. Dividido en específicas áreas de práctica como derecho del consumidor, derecho de familia, a la vivienda y a los beneficios públicos, explica cómo tratar los problemas planteados por algoritmos y otras tecnologías basadas en datos dentro del alcance de las leyes existentes.
nSi a un cliente se le ha denegado alquilar un apartamento debido a una mala calificación crediticia, por ejemplo, el informe recomienda que un abogado verifique primero si los datos introducidos en el sistema de calificación son correctos. Según la Ley de informe justo de crédito, las agencias de informes deben garantizar la validez de su información, pero esto no siempre sucede. Aclarar cualquier dato defectuoso podría ayudar a restaurar el crédito del cliente y, por lo tanto, el acceso a la vivienda. No obstante, el informe de Gilman reconoce que las leyes existentes solo sirven hasta cierto punto. Aún quedan vacíos regulatorios por llenar, asegura.
nGilman espera que su informe se convierta en una llamada de atención. Muchos de sus colegas aún no se dan cuenta de lo que está pasando y no pueden hacer las preguntas adecuadas para descifrar los algoritmos. Los que son conscientes del problema están dispersos por EE. UU., aprendiendo, navegando y combatiendo estos sistemas de forma aislada. Gilman ve la posibilidad de conectarlos y crear una comunidad más amplia de personas que pueden ayudarse entre sí. La abogada señala: "Todos necesitamos más formación, más conocimiento, no solo sobre la ley, sino sobre estos sistemas. En última instancia, parece que cada caso se convertirá en un caso de algoritmo".
nA la larga, busca inspiración en el mundo del derecho penal. Los abogados penalistas han ido "por delante de la curva", según ella, al organizarse como comunidad y rechazar los algoritmos de evaluación de riesgos que determinan las sentencias. Gilman quiere que los abogados especializados en derecho civil hagan lo mismo: crear un movimiento para provocar más escrutinio público y regulación para la red oculta de algoritmos con los que se enfrentan sus clientes. "En algunos casos, probablemente deberían dejar de usarse porque no hay forma de hacerlos equitativos", afirma.
nEn cuanto a Miriam, después de la condena de Nick, lo dejó para siempre. Se mudó con sus tres hijos y contactó con una organización sin ánimo de lucro que apoya a los supervivientes de deudas forzadas y violencia doméstica. A través de ellos, asistió a una serie de clases que le enseñaron a gestionar su situación económica. La organización la ayudó a eliminar muchas de sus deudas forzadas y a aprender más sobre los algoritmos de crédito. Cuando iba a comprarse un coche, su calificación crediticia apenas superaba el mínimo, con su padre como avalista. Desde entonces, los constantes pagos de su coche y de su deuda estudiantil han ido recuperando su calificación crediticia.
nMiriam todavía debe estar alerta. Nick tiene su número de seguro social y aún no están divorciados. Está constantemente preocupada de que él pueda abrir más cuentas, pedir más préstamos a su nombre. Durante un tiempo, Miriam revisaba su informe crediticio todos los días en busca de actividad fraudulenta. Pero ahora, esta mujer también tiene motivos de esperanza. Su padre, de 65 años, quiere jubilarse e irse a vivir con ella. Los dos están pensando en prepararse para comprar una casa.
nMiriam concluye: "Me estoy mentalizando bastante. Mi objetivo para el final de este año es llegar a 700 [detalla sobre su calificación], entonces definitivamente estaré lista para comprar una casa. Nunca he vivido en una casa de mi propiedad, jamás. Mi padre y yo estamos trabajando juntos para ahorrar y conseguir un hogar para siempre".
n