Foto: Jetpac encuentra buenos lugares para comer extrayendo datos de fotos compartidas en Instagram.

Una aplicación de viajes llamada Jetpac espera solucionar dos de las cuestiones más acuciantes de nuestro tiempo: ¿Cómo pueden las máquinas extraer de forma fiable información de las imágenes, y cuál es exactamente la definición de un hipster?

Jetpac es una guía para consumidores sobre restaurantes, bares y cafeterías locales. Pero a diferencia de competidores como Yelp, no se basa en los clientes para escribir las críticas. En su lugar la empresa utiliza un software para procesar imágenes públicas en Instagram etiquetadas con el nombre del negocio y mide cosas como el número de sonrisas en la fotografía o la cantidad de cielo azul. Jetpac utiliza esa información para ayudar a las personas que busquen una cafetería tranquila con asientos al aire libre o un lugar adecuado para una reunión social.

"Es como si hubieras ido a ver el bar por ti mismo", afirma el director tecnológico de Jetpac, Pete Warden. "Las fotografías contienen un montón de señales". Entre ellas está si un bar admite o no perros (que puede determinarse contando los animales en las imágenes) o si es de clase alta (mediante la búsqueda de pistas como copas de Martini en vez de latas de cerveza).

El análisis de imágenes de Jetpac también puede revelar cosas sobre determinados usuarios de Instagram y utilizarlas para orientar las recomendaciones. Los aficionados a la gastronomía tienden a tomar fotos de Instagram de sus alimentos, por lo que probablemente frecuenten restaurantes que sean los favoritos entre los amantes de la comida. Si la mayoría de las fotos de un usuario de Instagram están en Seattle (EEUU) y de repente aparecen un par de fotos sonrientes en Boston (EEUU), Jetpac lo toma como una señal de que la persona está de visita en un buen lugar turístico.

Sin embargo, Jetpac usa seres humanos para ayudar a que su software haga mediciones más cualitativas. Para el "buscador hipster" de la aplicación, que intenta enviar a la gente a los lugares más interesantes en una ciudad, Warden y su equipo utilizaron el servicio de crowdsourcing Mechanical Turk. Se pidió a la gente etiquetar fotos con indicadores clave como bigotes, ropa con telas a cuadros o gafas de pasta gruesa, proporcionando datos de base que permitieron al software buscar patrones similares en fotos futuras para vincular establecimientos con una alta asistencia de hipsters.

La compañía de Warden utiliza software basado en el aprendizaje profundo, un enfoque para el entrenamiento de software ligeramente inspirado en el cerebro y del que Google fue pionera (ver "Aprendizaje profundo"). Los algoritmos de Jetpac están basados en gran medida en la investigación del experto en aprendizaje profundo y actual empleado de Google Geoff Hinton (Google declinó hacer que estuviera disponible para este artículo). Jetpac ha hecho que el código de parte de su software de aprendizaje profundo esté disponible gratuitamente y ha lanzado una aplicación para iPhone que puede entrenarse para reconocer objetos utilizando la cámara de un dispositivo.

Sin embargo, incluso utilizando el aprendizaje profundo, el software sigue teniendo dificultades para entender las imágenes. El software puede ser muy preciso en la identificación de una sonrisa cuando hay una sola cara en la foto, señala el vicepresidente de Ciencia de Datos de la plataforma de anuncios NativeX, James Shanahan. Pero con imágenes más complejas los sistemas no son tan precisos. "Con tres o más personas, las cosas se ponen difíciles", asegura Shanahan.

En general, el software aún no puede entender de forma fiable todo lo que compone una imagen, señala el director científico de Baidu, Andrew Ng, que anteriormente trabajó en aprendizaje profundo en Google. "Mirar una imagen y determinar el 'estado de ánimo' de la escena es un problema difícil dentro de la visión por ordenador", asegura.

Jetpac también tiene en contra el hecho de que las imágenes de Instagram a menudo son borrosas, están sub o sobreexpuestas, distorsionadas por los famosos filtros del servicio y representan una muestra de la realidad cuidadosamente seleccionada. Los entusiastas de las redes sociales tienden a compartir sólo los buenos momentos. "Instagram es mucho más intencional", afirma el director. El grupo demográfico de usuarios de Instagram es más joven, por lo que los restaurantes más caros no están suficientemente representados en los datos de Jetpac. Y las imágenes con sonrisas no indican necesariamente la calidad de un bar o restaurante, dado que muchas personas tienden a sonreír para la cámara en cualquier lugar después de beberse algunas copas. Warden observa que el número de imágenes con sonrisas sube los viernes y sábados por la noche.

Sin embargo, el investigador señala que la combinación de los resultados de múltiples fotos permite recoger información suficientemente precisa. Las críticas de Yelp tienden a centrarse en la mecánica de un establecimiento, como el servicio y la calidad de los alimentos, afirma Warden, pero ver las imágenes permite a Jetpac hacerse una idea de la experiencia de estar allí. "No estamos intentando hacer un estudio científico, pero cuantos más datos tengamos, mejor será la idea que obtengamos sobre cómo es el lugar realmente".