.

Tesla

Inteligencia Artificial

Cómo engañar a un coche autónomo para que acelere cuando no debe

1

Un trozo de cinta adhesiva bastó para que las cámaras de varios modelos Tesla creyeran que una señal de velocidad marcaba un límite mayor del real. El hackeo es una prueba más de que los sistemas de aprendizaje automático pueden ser fácilmente saboteados en situaciones de peligro mortal

  • por Patrick Howell O'Neill | traducido por Ana Milutinovic
  • 21 Febrero, 2020

Los ojos de su coche son unos mentirosos. Un grupo de investigadores hackers han sido capaces de manipular varios vehículos Tesla para obligarles a acelerar hasta los 80 kilómetros por hora (km/h). Para ello solo tuvieron que engañar al sistema de su cámara Mobileye EyeQ3 alterando sutilmente una señal de tráfico con el límite de velocidad que había al lado de una carretera de una forma prácticamente imperceptible para cualquier conductor humano.

El hackeo era una demostración de la empresa de ciberseguridad McAfee, que se ha convertido en la última prueba de que el aprendizaje automático antagónico podría destruir los sistemas de conducción autónoma, lo que supone un desafío de seguridad para quienes trabajan para comercializar la tecnología.

Los investigadores del equipo Steve Povolny y Shivangee Trivedi explican que los sistemas de la cámara Mobileye EyeQ3 leen las señales de límite de velocidad e introducen esa información en los aparatos de conducción autónoma como el piloto automático de Tesla.

Con esa información, colocaron un pequeño y casi imperceptible adhesivo en una señal de límite de velocidad que provocó que la cámara leyera que la señal como si fuera de 130 km/h en lugar de los 55 km/h que marcaba realmente. En sus pruebas, tanto el Modelo X como el Modelo S (ambos de 2016) aceleraron hasta los 80 km/h.

El signo de límite de velocidad modificado se lee como 85 en el Tesla

Fotos: (izquierda) la señal modificada de límite de velocidad en la pantalla de visualización frontal del Tesla. Un portavoz de Mobileye restó importancia a la investigación al sugerir que esta señal engañaría a un conductor humano y la interpretaría igual. (derecha) El coche Tesla, leyendo la modificada señal de límite de velocidad de 35 (mph) como si fuera de 85 (mph). Créditos: MCAFEE

Este es el último estudio de un creciente número de investigaciones que demuestran que los sistemas de aprendizaje automático pueden ser atacados y engañados en situaciones de peligro mortal. 

En el proceso de investigación, que duró 18 meses, Trivedi y Povolny replicaron y ampliaron una serie de ataques de aprendizaje automático antagónico, incluido un estudio de la profesora de la Universidad de California en Berkeley (EE. UU.) Dawn Song. La investigadora utilizó adhesivos para engañar a un coche sin conductor para que creyera que una señal de alto era una señal de límite de velocidad de 50 kilómetros por hora. Y el año pasado, otros hackers confundieron a un Tesla para que se desviara hacia el carril de tráfico en sentido contrario. Para lograrlo, colocaron adhesivos en la carretera para generar un ataque antagónico destinado a manipular los algoritmos de aprendizaje automático del coche.

Povolny explicó así su experimento: "El motivo por el que estudiamos esta situación de antemano es porque existen sistemas inteligentes que en algún momento en el futuro realizarán tareas que ahora corresponden a los humanos. Si no somos previsores sobre cuáles podrían ser los ataques y muy cuidadosos con el diseño de los sistemas, acabaremos con una flota rodante de ordenadores interconectados que se convertirá en uno de los objetivos de ataque más impactantes y atractivos que existen".

A medida que los sistemas autónomos proliferan, el problema se extiende a los algoritmos de aprendizaje automático mucho más allá de los vehículos. Un estudio publicado en marzo de 2019 demostró que los sistemas médicos de aprendizaje automático podrían ser engañados para dar diagnósticos equivocados.

Esta investigación de McAfee fue revelada el año pasado tanto a Tesla como a Mobileye EyeQ3. Tesla no respondió a la solicitud de comentarios de MIT Technology Review, pero sí admitió los hallazgos de McAfee y afirmó que el problema no se podría solucionar en el hardware de esa generación. Por su parte, un portavoz de Mobileye restó importancia a al asunto subrayando que la señal modificada engañaría a cualquier conductor humano. La compañía no considera que el hecho de engañar a la cámara sea un ataque, y a pesar del papel que la cámara juega sobre el piloto automático de Tesla, no fue diseñada para la conducción autónoma. 

"La tecnología de vehículos autónomos no solo se basará en la detección, también será compatible con otras tecnologías y datos, como el mapeo de colaboración colectiva. Todos estos elementos se combinarán para garantizar la fiabilidad de la información recibida de los sensores de la cámara y ofrecer duplicaciones más sólidas y más seguridad", explicó el portavoz de Mobileye en un comunicado.

Desde entonces, Tesla ha empezado a usar cámaras patentadas en modelos más recientes, y Mobileye EyeQ3 ha lanzado varias versiones nuevas de sus cámaras que en las pruebas preliminares no fueron susceptibles a este ataque en concreto.

Todavía hay una cantidad considerable de coches de Tesla que funcionan con este hardware vulnerable, destacó Povolny y señala que los coches de Tesla con la primera versión de hardware no se pueden actualizar. El investigador concluye: "Estamos intentando crear conciencia tanto para los usuarios como para los vendedores sobre los tipos de errores que pueden ocurrir. No queremos sembrar el pánico ni decir que, si alguien conduce este coche, acelerará a través de una barrera, ni tampoco crear más sensacionalismo".

Inteligencia Artificial

 

La inteligencia artificial y los robots están transformando nuestra forma de trabajar y nuestro estilo de vida.

  1. La IA generativa puede convertir tus recuerdos en fotos que nunca existieron

    El proyecto Synthetic Memories ayuda a familias de todo el mundo a recuperar un pasado que nunca se fotografió

    Una imagen en blanco y negro generada por ai de una mujer y un niño mirando por una ventana
  2. "La pregunta es cuánta participación humana se necesita para que algo sea arte"

    Alex Reben hace arte con (y sobre) IA. Hablé con él sobre lo que la nueva ola de modelos generativos significa para el futuro de la creatividad humana

    Detalle de un cuadro de una cabeza deformada en la que unas enormes orejas en la parte frontal de la cara tapan los ojos y una lengua brillante con textura de fresa sobresale de la boca abierta.
  3. Compensación y atribución para los creadores, la apuesta de Adobe por una IA generativa diferente

    La empresa afirma que es la prueba de que los modelos de IA de calidad no tienen por qué incluir polémicos contenidos protegidos por derechos de autor

    Imagen generada mediante IA de una mano que utiliza una cuchilla de precisión para cortar un dibujo de la realidad