Se trata del primer caso conocido de una inversión perdida a causa de la automatización, pero no es el primer asunto relacionado con la responsabilidad de los algoritmos. En marzo de 2018, un coche autónomo de Uber atropelló y mató a una peatón en Tempe (EE. UU.), un caso que también acabó en los juzgados. Un año más tarde, Uber fue exonerado de toda responsabilidad penal, pero el conductor podría enfrentarse a cargos de homicidio vehicular.
nAmbos sucesos abordan una cuestión clave asociada a los sistemas automatizados que penetran en cada vez más aspectos de la sociedad: ¿Quién o qué es responsable cuando un algoritmo causa algún daño? ¿Quién o qué es el verdadero culpable? Aunque sean dos preguntas diferentes, ambas son igualmente importantes.
nLa investigadora de Data & Society y antropóloga cultural de formación Madeleine Clare Elish lleva varios años estudiando la segunda pregunta para intentar responder a la primera. Para hacerlo, ha analizado algunos estudios de casos históricos. Aunque los modernos sistemas de inteligencia artificial (IA) son relativamente nuevos, las cuestiones sobre su responsabilidad no lo son tanto.
nEl accidente del coche autónomo de Uber podría compararse con el accidente del vuelo 447 de Air France en 2009, por ejemplo. Analizar el reparto de responsabilidades de aquel caso nos ofrece pistas sobre cómo podríamos abordar ahora un asunto similar. En aquel trágico accidente, el avión se estrelló en el Océano Atlántico mientras viajaba de Brasil a Francia, lo que acabó con las 228 personas que iban a bordo. El sistema automatizado del avión fue diseñado para ser completamente "infalible", capaz de manejar casi todos los escenarios, excepto en casos excepcionales en los que el piloto tuviera que tomar el control. En ese sentido, los pilotos se parecían mucho a los actuales conductores de refuerzo para los coches autónomos. Básicamente, su función consistía en supervisar pasivamente el vuelo la mayor parte del tiempo, y entrar en acción en situaciones extremas.
nA día de hoy, se conocen perfectamente los detalles de lo que pasó la noche del accidente. Tras una hora y media de vuelo, los sensores de velocidad del aire del avión dejaron de funcionar debido a la formación de hielo. Cuando el piloto automático transfirió el control a los pilotos, la confusión y la falta de comunicación llevaron al avión a entrar en pérdida. Aunque uno de los pilotos intentó revertirlo apuntando el morro hacia abajo, el otro, probablemente en pánico, lo levantó para seguir subiendo. Pero, el sistema estaba diseñado para que solo un piloto tuviera el control en todo momento, y no ofreció ninguna señal ni pista visual que indicara cuál de los dos estaba controlando los mandos ni qué estaba haciendo el otro. Al final, el avión adoptó ángulo tan elevado que el sistema lo consideró inválido y dejó de proporcionar datos por completo. Los pilotos, que volaban totalmente a ciegas, lo dejaron caer hasta que el avión se hundió en el mar.
nEn un artículo reciente, Elish examinó las consecuencias de esta tragedia e identificó un importante patrón en cómo la sociedad llegó a comprender lo que sucedió. La investigación del incidente concluyó que fue una combinación de un diseño deficiente de los sistemas y una capacitación insuficiente de los pilotos lo que provocó el fallo catastrófico. Pero el público acabó culpando exclusivamente a los pilotos. Por su parte, los medios mantuvieron la creencia de que el sofisticado sistema del piloto automático no tenía ninguna avería en este caso, a pesar de que una importante investigación sobre factores humanos demostró que las personas siempre han sido bastante ineptas a la hora de reaccionar en situaciones de emergencia en el último minuto con la cabeza fría y la mente clara.
nnLos seres humanos actúan como una "esponja de responsabilidad"
n
En otros casos que estudió, Elish descubrió el mismo patrón: incluso en un sistema altamente automatizado donde los humanos tienen un control limitado, ellos siguen asumiendo la mayor parte de la culpa de esos fallos. Elish denomina este fenómeno como "zona de absorción moral". En su artículo, la investigadora detalla: "Igual que la carrocería deformable en un coche está destinada a proteger al conductor humano, la zona de absorción moral protege la integridad del sistema tecnológico, a costa del operador humano más cercano". Y destaca que los seres humanos actúan como una "esponja de responsabilidad" que absorbe toda la responsabilidad legal y moral en los accidentes algorítmicos, sin importar su poca relación o lo involuntario que fuera.
nEste patrón ofrece información importante sobre nuestra preocupante forma de abordar la responsabilidad de los sistemas modernos de inteligencia artificial. Inmediatamente después del accidente de Uber, los titulares apuntaban con el dedo hacia Uber, pero, pocos días después, el discurso cambió para centrarse en la distracción del conductor.
nLa investigadora detalla: "Debemos empezar a preguntarnos quién asume el riesgo de los experimentos tecnológicos [que realizan las empresas de tecnología]". El poder y la influencia de los conductores de refuerzo y otros operadores humanos sobre el diseño de las plataformas tecnológicas con las que interactúan suelen ser muy limitados. Sin embargo, en el actual vacío regulatorio, siguen pagando el precio más elevado.
nLos reguladores también deberían profundizar más sobre qué tipo de marco legal ayudaría a repartir la responsabilidad de manera justa. Elish afirma: "Deben pensar cuidadosamente sobre la posibilidad de regular los sistemas socio-técnicos y no solo de las cajas negras algorítmicas". En otras palabras, deben analizar si el diseño del sistema funciona bien dentro del contexto en el que opera y si lleva a los operadores humanos hacia el camino del fracaso o del éxito. Los coches autónomos, por ejemplo, deben regularse de forma que los factores que determinan si la función de refuerzo que se les pide son razonables.
nLa investigadora concluye: "Lo que se plantea con el concepto de la zona de absorción moral no es solo cómo se introduce la responsabilidad en cualquier sistema robótico o autónomo, sino también cómo se puede desarrollar el valor y el potencial de las personas en el contexto de los equipos formados por seres humanos y máquinas".
n