Al alterar sutilmente los datos que llegan a los sensores del coche, pudieron manipular y desconcertar la inteligencia artificial que controla el vehículo.
nPor ejemplo, una pantalla contenía un patrón oculto que engañaba a los limpiaparabrisas para que se activaran. También modificaron ligeramente las marcas de los carriles para confundir el sistema de conducción autónoma para que las atravesara e invadiera el carril para el tráfico de la dirección opuesta.
nA los algoritmos de Tesla se les suele dar muy bien detectar gotas de lluvia en el parabrisas y seguir las líneas en el camino, pero su percepción funciona de forma muy distinta a la humana. Eso hace que tales algoritmos de "aprendizaje profundo", que están entrando rápidamente a diferentes industrias para aplicaciones como el reconocimiento facial y el diagnóstico de cáncer, sean sorprendentemente fáciles de engañar si se encuentran sus puntos débiles.
nPuede que manipular un Tesla no parezca una gran amenaza estratégica para Estados Unidos. Pero, ¿qué pasaría si se usaran técnicas similares para engañar a los drones de ataque, o al software que analiza imágenes de satélite, para ver algo que no está, o no ver lo que sí está?
nCosechando inteligencia artificial
nEn todo el mundo, la IA ya es considerada como la próxima gran ventaja militar. A principios de este año, Estados Unidos anunció una gran estrategia de usar inteligencia artificial en muchas áreas de las fuerzas armadas, incluido el análisis de información, la toma de decisiones, la autonomía de vehículos, la logística y el armamento. El presupuesto propuesto por el Departamento de Defensa para 2020 de 645.000 millones de euros recoge 833 millones de euros a la inteligencia artificial y al aprendizaje automático. Los proyectos van desde las tareas más rutinarias (probar si la IA puede predecir cuándo los tanques y camiones necesitan mantenimiento), así como con las tecnologías armamentísticas más vanguardistas (enjambres de drones).
nEl impulso del Pentágono a la inteligencia artificial se debe, en parte, al miedo a que sus enemigos también empiecen a usar la IA. El año pasado, el entonces secretario de Defensa de EE. UU., Jim Mattis, envió un memorando al presidente, Donald Trump, en el que advertía de que Estados Unidos se estaba quedando atrás en el campo de la IA. Su preocupación es comprensible.
nEn julio de 2017, China presentó su estrategia de IA, con la afirmaba que "los principales países más desarrollados del mundo creado importantes estrategias de desarrollo de IA para mejorar la competitividad nacional y proteger la seguridad nacional". Unos meses más tarde, el presidente de Rusia, Vladimir Putin, hizo una declaración inquietante: "Quien se convierta en el líder de esta esfera [de la IA], gobernará el mundo".
nLa ambición de construir las armas más inteligentes y mortales es comprensible, pero tal y como muestra el ejemplo de Tesla, cualquier enemigo que sepa cómo funciona un algoritmo de IA podría inhabilitarlo o incluso volverlo contra sus propietarios. El secreto para ganar las guerras con IA puede que no esté en la creación de las armas más impresionantes sino en controlar el software.
nBots para las batallas
nEn un día brillante y soleado el pasado verano en Washington (EE. UU.), el experto en IA Michael Kanaan estaba sentado en la cafetería del Pentágono, comiendo un sándwich y descubriendo un nuevo y poderoso conjunto de algoritmos de aprendizaje automático.
nUnas semanas antes, Kanaan había visto un videojuego en el que cinco algoritmos de inteligencia artificial colaboraban para vencer a cinco personas y acabar siendo más listos en una competición que suponía el control de fuerzas, campamentos y recursos en un complejo y extenso campo de batalla. Pero, una de sus cejas se frunció cuando describía la acción. Fue una de las demostraciones más impresionantes de la estrategia de IA que había visto, un desarrollo inesperado similar a los avances de la IA en ajedrez, Atari y en otros juegos.
nEste juego de guerra tuvo lugar en Dota 2, el popular videojuego de ciencia ficción que resulta increíblemente desafiante para los ordenadores. Los equipos deben defender su territorio mientras atacan los campamentos de sus oponentes en un entorno más complejo y engañoso que el de cualquier juego de mesa. Los jugadores solo pueden ver una pequeña parte de la situación, y se puede tardar aproximadamente media hora en determinar si una estrategia es la ganadora.
nLos combatientes de IA no fueron desarrollados por militares sino por OpenAI, la compañía creada por los peces gordos de Silicon Valley (EE. UU.), incluidos Elon Musk y Sam Altman, para llevar a cabo la investigación básica de IA. Los guerreros algorítmicos de la compañía, conocidos como OpenAI Five, desarrollaron sus propias estrategias ganadoras a través de una práctica implacable y respondiendo con acciones que resultaron mejores.
nnLos misiles guiados por IA podrían ser cegados por los datos antagónicos, y tal vez incluso redirigidos hacia objetivos amistosos.
n
Ese es justo el tipo de software que le interesa a Kanaan para utilizar la inteligencia artificial para modernizar el ejército estadounidense. Para él, el proyecto demuestra que el ejército podría beneficiarse mucho de los mejores investigadores de IA del mundo. Pero cada vez hay más dudas de que los expertos en IA estén dispuestos a colaborar con el mundo militar.
nKanaan fue el líder de la Fuerza Aérea en el Proyecto Maven, una iniciativa militar destinada a usar IA para automatizar la identificación de objetos en imágenes aéreas. Google estaba contratado en este proyecto. Pero cuando sus empleados lo descubrieron en 2018, la compañía decidió abandonar el proyecto. Posteriormente publicó un código de conducta en relación con la IA que afirmaba que Google no usaría sus algoritmos para desarrollar "armas u otras tecnologías cuyo objetivo principal o implementación sea causar o facilitar directamente lesiones a la gente".
nLos trabajadores de algunas otras grandes empresas tecnológicas siguieron su ejemplo y exigieron a sus compañías que no aceptaran los contratos militares. Muchos destacados investigadores de IA han respaldado un esfuerzo para iniciar una prohibición global del desarrollo de armas totalmente autónomas.
nPero, para Kanaan el hecho de que los militares no pudieran trabajar con los investigadores como los que desarrollaron OpenAI Five sería un gran problema. Y la posibilidad de que los ejércitos rivales se hagan con tecnologías similares resulta aún más inquietante. El responsable afirma: "El código está disponible para que lo use cualquiera. La guerra es mucho más compleja que algunos videojuegos".
n
Foto: Cinco algoritmos trabajan juntos para ganar a cinco humanos en el videojuego Dota 2 basado en el campo de batalla. Imagen de cortesía.
nUna oleada de IA
nKanaan suele tener un punto de vista optimista sobre la IA, en parte, porque sabe de primera mano lo útil que puede ser para las tropas. Hace seis años, cuando era oficial de inteligencia de la Fuerza Aérea en Afganistán, fue responsable de desplegar un nuevo tipo de herramienta de recopilación de información: un generador de imágenes hiperespectrales. Este instrumento puede detectar objetos que normalmente están ocultos de la vista, como tanques camuflados o emisiones de una fábrica improvisada de producción de bombas. Kanaan asegura que el sistema les ayudó a eliminar miles de kilos de explosivos del campo de batalla. Aun así, a los analistas no resultaba tan práctico procesar la gran cantidad de datos recopilados por ese generador de imágenes. Kanaan recuerda: "Pasamos demasiado tiempo mirando los datos y no suficiente tomando decisiones. A veces tardaba tanto tiempo que nos preguntábamos si podíamos haber salvado más vidas".
nUna solución para eso podría estar en un avance de la visión artificial logrado por el equipo dirigido por el investigador de la Universidad de Toronto (Canadá) Geoffrey Hinton. Los investigadores demostraron que un algoritmo inspirado en una red neuronal de muchas capas podía reconocer objetos en imágenes con una habilidad sin precedentes cuando se le da suficiente información y potencia informática.
nPara entrenar una red neuronal hay que introducir datos, como por ejemplo los píxeles en una imagen, y alterar continuamente las conexiones en la red, usando técnicas matemáticas, para que el resultado se acerque a una conclusión particular, como identificar un objeto en una imagen. Con el tiempo, estas redes aprenden a reconocer los patrones de píxeles que forman casas o personas. Los avances en el aprendizaje profundo han provocado el auge actual de la IA; esa tecnología es la que sostiene los sistemas autónomos de Tesla y los algoritmos de OpenAI.
nKanaan se dio cuenta de inmediato el potencial del aprendizaje profundo para procesar los diversos tipos de imágenes y datos de sensores que son esenciales para las operaciones militares. Otros miembros de la Fuerza Aérea y él empezaron a presionar a sus superiores para que invirtieran en la tecnología. Sus esfuerzos han contribuido al gran impulso de inteligencia artificial en el Pentágono.
nPero poco después de que el aprendizaje profundo irrumpiera en escena, los investigadores descubrieron que las mismas propiedades que lo hacen tan poderoso también son su talón de Aquiles.
nDel mismo modo que es posible calcular cómo ajustar los parámetros de una red para que clasifique un objeto correctamente, también se puede calcular cómo los mínimos cambios en la imagen introducida provocan que la red la clasifique erróneamente. En tales "ejemplos antagónicos", basta con alterar unos pocos píxeles para que una persona vería lo mismo, mientras que un algoritmo de IA viera algo completamente diferente. El problema puede surgir siempre que se pueda utilizar el aprendizaje profundo, por ejemplo, para guiar los vehículos autónomos, planificar misiones o detectar intrusiones en la red.
nA pesar de que los usos militares de la IA son cada vez mayores, estas vulnerabilidades del software están recibiendo bastante menos atención.
nObjetivos móviles
nUn ejemplo destacable para ilustrar el poder del aprendizaje automático antagónico es el modelo de una tortuga. A nosotros nos parece una tortuga normal, pero para un dron o un robot controlado por un algoritmo de visión de aprendizaje profundo ve un rifle. De hecho, el patrón único de marcas en el caparazón de la tortuga podría ser modificado para que el sistema de visión artificial lo confundiera con casi cualquier cosa.
nLa tortuga no fue creada por un rival militar sino por cuatro hombres del MIT (EE. UU.). Uno de ellos es un joven alto y muy educado que trabaja en la seguridad informática en el Laboratorio de Ciencias de Computación e Inteligencia Artificial (CSAIL) del MIT llamado Anish Athalye. En un vídeo que me enseñó, una tortuga hizo un giro de 360 grados y se dio la vuelta. El algoritmo detectó lo mismo una y otra vez: "rifle", "rifle", "rifle".
nLos primeros ejemplos antagónicos fueron frágiles y propensos al fracaso, pero Athalye y sus amigos creían que podían diseñar una versión lo suficientemente resistente como para trabajar en un objeto impreso en 3D. Esto suponía modelar una representación 3D de objetos y desarrollar un algoritmo para crear la tortuga, para que el ejemplo antagónico funcionara en diferentes ángulos y distancias. En pocas palabras, desarrollaron un algoritmo capaz de engañar de manera fiable a un modelo de aprendizaje automático.
nSus aplicaciones militares son obvias. Usando camuflaje algorítmico antagónico, los tanques o aviones podrían esconderse de los satélites y drones equipados con IA. Los misiles guiados por IA podrían ser cegados por los datos antagónicos, y tal vez incluso redirigidos hacia objetivos amistosos. La información que se introduce en los algoritmos podría manipularse para disimular una amenaza terrorista o crear una trampa para las tropas en el mundo real.
nA Athalye le sorprende la poca preocupación que ve en torno al aprendizaje automático antagónico. El investigador afirma: "He hablado con un montón de personas de la industria y les pregunté si les preocupaban los ejemplos antagónicos. La respuesta en casi en todos los casos fue que no".
nAfortunadamente, el Pentágono está empezando a ser consciente del problema. El pasado agosto, la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU. (DARPA) anunció varios proyectos de investigación de IA. Entre ellos está GARD, un programa centrado en el aprendizaje automático antagónico. La profesora de la Universidad de Massachusettsen Amherst (EE. UU.) y directora del programa de GARD, Hava Siegelmann, sostiene que estos ataques podrían resultar devastadores en situaciones militares porque la gente no puede identificarlos. La responsable señala: "Es como si estuviéramos ciegos. Eso es lo que lo hace realmente muy peligroso".
nLos desafíos que presenta el aprendizaje automático antagónico también explican por qué el Pentágono está tan interesado en trabajar con empresas como Google y Amazon, y también con instituciones académicas como el MIT. La tecnología evoluciona rápidamente, y los últimos avances se están produciendo en los laboratorios de las empresas de Silicon Valley y de las mejores universidades, no en las convencionales empresas contratistas de defensa.
nY lo más importante, también se están produciendo grandes avances fuera de Estados Unidos, particularmente en China. Kanaan señala: "Creo que nos acercamos a un mundo diferente, uno en el que tenemos que combatir con IA". La reacción contra el uso militar de la IA es comprensible, pero puede estar obviando el panorama general. Aunque a la gente le preocupan los robots asesinos inteligentes, tal vez un mayor riesgo a corto plazo sea una niebla algorítmica que ni siquiera deje ver a las máquinas más inteligentes.
n