En Automating Inequality, la autora Virginia Eubanks argumenta que los pobres se han convertido en los conejillos de Indias de nuevas tecnologías que aumentan la desigualdad. El libro, publicado la semana pasada, comienza con una historia de los hospicios estadounidenses, que salpicaban el paisaje a partir de la década de 1660 y que duraron hasta el siglo XX. A partir de ahí, Eubanks hace un repaso del trato que se ha dado a la gente con menos recursos durante los últimos cien años, antes de llegar al sistema actual de servicios sociales que cada vez depende más de los algoritmos (ver Los algoritmos sesgados están por todas partes, y parece que a nadie le importa).
nLa autora deja muy clara su posición sobre si tal automatización es algo bueno. Su tesis es que la visión sancionadora y moralista de la pobreza que dio lugar a los hospicios de pobres nunca nos ha abandonado. En lugar de eso, se ha incorporado a las herramientas actuales de toma de decisiones automáticas y predictivas. Estos algoritmos pueden hacer que a las personas les resulte más difícil obtener servicios al tiempo que los obliga a lidiar con un proceso invasivo de recopilación de datos personales (ver Google advierte: el verdadero peligro de la IA no son los robots asesinos sino los algoritmos sesgados). Para ilustrar su argumento, utiliza el proceso para acceder a tres servicios diferentes en EE. UU.: uno de salud, otro de protección infantil y otro para personas sin hogar.
nEubanks habló con MIT Technology Review sobre cuándo los servicios sociales se automatizaron por primera vez, su propia experiencia con algoritmos predictivos, y cómo estas herramientas defectuosas le dan la esperanza de que la desigualdad se hará tan visible que tendremos que abordar cómo tratamos a nuestros pobres, de una vez por todas.
n¿Cuáles son los paralelismos entre los hospicios para pobres del pasado y lo que ustedes llaman hospicios digitales de la actualidad?
nLas herramientas de alta tecnología que estamos viendo, algo que a lo que yo llamo "el régimen de análisis de datos", son más una evolución que una revolución. Encajan bastante bien en la historia de la política de pobreza en Estados Unidos.
nCuando comencé este trabajo, pensé que empezaríamos a ver estas herramientas digitales en la asistencia pública y los servicios públicos a partir de la década de 1980, cuando el ordenador personal se adoptó de forma masiva, o en la década de 1990 cuando se aprobó la reforma del bienestar. Pero, de hecho, surgieron a fines de la década de 1960 y principios de la de 1970, justo cuando un movimiento nacional de derechos sociales estaba abriendo el acceso a la asistencia pública.
nAl mismo tiempo, se produjo una reacción contra el movimiento de derechos civiles, y una recesión. De modo que los funcionarios electos, burócratas y administradores se encontraron con que el público de la clase media rechazaba la expansión de la asistencia pública. Pero ya no podían usar su estrategia de exclusión de personas por razones en gran medida discriminatorias. Ahí es cuando empezaron a aparecer estas tecnologías. Y el resultado fue una disminución increíblemente rápida de las listas. Y ese colapso ha continuado básicamente hasta hoy.
nLas herramientas de aprendizaje automático van a reemplazarán a algunos de los algoritmos que tenemos ahora. ¿Ha detectado algún problema que surgirá una vez que tengamos más inteligencia artificial (IA) dentro de estos sistemas?
nNo sé si tengo una respuesta directa. Pero una cosa que diré es que a menudo habla del sistema de servicios para niños de Pittsburgh [EE. UU.] como si fuera IA o aprendizaje automático. Pero en realidad es solo un modelo de regresión estadística simple.
nCreo que es realmente interesante, cómo tendemos a lavar estos sistemas con matemáticas, nuestra tendencia a pensar que son más complicados y más difíciles de entender de lo que realmente son. Sospecho que hay un poco de trampa tecnológica que sucede cuando estos sistemas se conectan y la gente a menudo siente que no los entiende lo suficiente como para comentarlos. Pero simplemente no es verdad. Creo que muchas más personas que actualmente están hablando de estos temas pueden, confían y deben estar en la mesa cuando hablemos de ellos.
nTiene una gran cita de una mujer en cupones de alimentos que le dice que su asistente social revisa su historial de compras. Usted parece sorprendida, y entonces ella añade: "Debe prestar atención a lo que nos sucede. Usted es la siguiente". ¿Tiene ejemplos de tecnologías usadas por población general que se apliquen a este ejemplo?
nComienzo el libro hablando de un caso en el que mi pareja fue atacado y muy severamente golpeado. Después de someterse a una cirugía mayor, cuando intentó adquirir sus medicamentos contra el dolor en la farmacia, nos dijeron que ya no teníamos seguro médico. Presa del pánico, llamé a mi compañía de seguros y me dijeron básicamente que nos faltaba una fecha de inicio para nuestra cobertura.
nDije: "Sabe, bueno, es extraño porque nos han pagado reclamaciones que hicimos hace un par de semanas, así que la fecha de inicio debería haber sido en ese momento". Y ellos respondieron: "Oh, debe haber sido solo un error técnico. Alguien debe haber borrado accidentalmente su fecha de inicio o algo así".
nYo sospechaba que lo que sucedía realmente era que habían suspendido nuestra cobertura mientras nos investigaban por fraude (hace mucho tiempo que había estado trabajando en este tipo de herramientas aplicadas a la detección de fraude). Y presentábamos algunos de los indicadores más comunes de casos de fraude de seguros: habíamos contratado el seguro por un par de días antes del ataque, no estamos casados, y él había recibido sustancias controladas para ayudarlo a controlar su dolor.
nNunca sabré si nos estaban investigando, pero de cualquier forma nos dijeron que debíamos casi 50.000 euros en facturas médicas que se habían denegado porque no estábamos cubiertos cuando se presentaron las reclamaciones. Nos provocó un estrés extraordinario.
nAsí que estos sistemas ya están funcionando, de forma invisible, en muchos de los servicios con los que interactuamos día a día, ya sean pobres, clase trabajadora o clase media profesional o élites económicas. Pero no nos afectan a todos por igual. Mi pareja y yo pudimos soportar esa experiencia porque teníamos recursos para ayuda os a superarla, y también porque solo nos pasó una vez. No nos ocurría en todos los ámbitos. No era algo tan abrumador como lo que escuchamos de los servicios de protección infantil, y también de Medicaid, y también de los cupones de alimentos, y también de la policía.
nEsto puede ser mucho más difícil para las personas que deben lidiar con muchos de estos sistemas al mismo tiempo.
n¿Estas herramientas nos ofrecen algo bueno?
nUna de las razones por las que soy optimista es que estos sistemas son unos diagnósticos realmente increíbles. Los algoritmos sesgados hacen que las desigualdades sean muy concretas y evidentes. Si un sistema se sale de control tendremos una gran desigualdad que debe ser abordada. Por lo tanto, creo que la combinación del trabajo de movimiento que ya está ocurriendo ahora y la mayor atención a sistemas como estos realmente pueden crear una presión increíble para crear un sistema social más justo en general.
n