Su software puede descifrar automáticamente los códigos de acceso de las personas registradas en vídeo mientras teclean sus credenciales, incluso cuando la pantalla en sí no sea visible para la cámara. El ataque funciona observando el movimiento de los dedos para averiguar qué teclas se tocan. También funciona con imágenes de cámaras de vídeo, cámaras web y teléfonos inteligentes, pero Google Glass tal vez ofrece la forma más sutil de llevarlo a cabo.
El trabajo sugiere que el shoulder surfing, es decir, robar contraseñas u otros datos viendo cómo alguien usa un ordenador, podría convertirse en una amenaza a medida que las cámaras digitales y el software de procesamiento de imágenes de gran potencia se hagan más comunes.
En pruebas con personas a tres metros de la cámara, el software logró casi un 90% de precisión en la captura de secuencias de cuatro caracteres escritas en el teclado QWERTY del iPhone. Los investigadores afirman que en teoría el método podría reconstruir un correo electrónico o un SMS breve.
"Google Glass es muy engañoso", señala el estudiante de la Universidad de Massachusetts en Lowell (EEUU), Qinggang Yue, que llevó a cabo la investigación con sus colegas Xinwen Fu y Zhen Ling.
Cuando Yue se reunió con MIT Technology Review en la conferencia de seguridad Black Hat celebrada la semana pasada en Las Vegas (EEUU), donde había presentado sus hallazgos el pasado miércoles, echó un vistazo general a la concurrida sala de prensa e identificó inmediatamente a varias personas usando pantallas táctiles que podrían ser vulnerables a un ataque de ese tipo.
Yue también ha demostrado que las imágenes de vídeo se pueden utilizar para recuperar códigos de acceso a cierta distancia. En un conjunto de experimentos utilizó una cámara de vídeo desde una ventana de un primer piso para capturar con éxito el código de acceso de alguien que estaba usando un iPad a poco más de 43 metros de distancia. "Con una cámara de distancia focal larga podríamos hacerlo desde mucho más lejos", afirma Yue.
Para capturar el código de acceso, el software debe identificar la posición y orientación de la pantalla de un dispositivo, así como la posición de la punta de los dedos de la persona que la toca. Yue utilizó el aprendizaje de máquinas para hacer que el software solucionara estos dos problemas. El software se ejecuta en un PC, así que para extraer las claves de acceso hay que descargar las grabaciones de Google Glass.
El software busca automáticamente los dispositivos capturados en la grabación. Después identifica la posición de las cuatro esquinas de la pantalla, y hace un seguimiento de la velocidad de la punta del dedo de la persona.
Los investigadores están probando maneras de defende os contra este tipo de shoulder surfing mejorado con software. Una contramedida consiste en cambiar al azar las teclas de un teclado estándar, para que el software no pueda traducir correctamente cada toque. Otra consiste en hacer que los botones giren en vez de permanecer fijos en una cuadrícula estándar.