Shpunt pasó cinco años desarrollando el sistema en PrimeSense, con sede en Tel Aviv, y Microsoft adoptó la tecnología para usarla en su popular controlador Kinect para la consola Xbox 360. Los jugadores pueden utilizarlo para dirigir a personajes usando sólo sus cuerpos, sin necesidad de usar las varitas, anillos, guantes, o etiquetas de colores que las anteriores interfaces gestuales necesitaban para detectar los movimientos del usuario.
La clave para prescindir de estas herramientas de apoyo fue hacer que el ordenador viese el mundo en tres dimensiones, en lugar de las dos capturadas por las cámaras normales. La detección de la profundidad hace que sea relativamente fácil distinguir, por ejemplo, un brazo de una mesa en el fondo, y luego seguir el movimiento del brazo.
Shpunt recuerda que cuando comenzó a desarrollar su sistema existían varias maneras de percibir la profundidad, sobre todo mediante el 'tiempo de vuelo' (determinando la distancia desde un sensor midiendo el tiempo que tarda la luz o el sonido en rebotar en un objeto) y la 'luz estructurada' (proyectando patrones de luz sobre los objetos y analizando cómo los patrones son distorsionados por la superficie del objeto). Aunque se dio una gran actividad académica y algunas empresas construyeron prototipos, no existía "nada realmente maduro" que pudiera ser producido en masa, señala. En su lugar, construyó su propio sistema, improvisando un enfoque que tomó prestado de esas dos técnicas y de la estereoscopia, que compara imágenes de la misma escena desde dos puntos de vista diferentes.
El Kinect es sólo el comienzo de lo que Shpunt cree que será una revolución de las interfaces gestuales. Un pequeño ejército de hackers, alentado por PrimeSense, ya está reorganizando el controlador para otros fines. Varios investigadores de la Universidad Estatal de Luisiana han creado un sistema de realidad virtual sin casco y sin guantes a partir de una unidad Kinect y un televisor 3D. En Australia, una empresa de software de logística ha creado rápidamente un sistema controlado por gestos para la vigilancia del tráfico aéreo. Es fácil imaginar otras aplicaciones para el mundo real, afirma Shpunt. Por ejemplo, controles de seguimiento de la mirada para automóviles o pantallas interactivas sin contacto para centros comerciales y aeropuertos.
Por ahora, Shpunt está trabajando con el fabricante de ordenadores Asus para crear controles gestuales para las cada vez más complejas y conectadas televisiones, convirtiendo un televisor en un iPad gigante que pueda cotrolarse desde el sofá sin un mando a distancia.