Sin embargo, lo ideal sería que el software analizase el contenido de la imagen por sí mismo. Se ha llevado a cabo una gran cantidad de investigación en este campo, pero ningún sistema ha logrado solucionar el problema. El nuevo sistema, llamado SkyFinder, podría ofrecer pistas importantes sobre cómo crear una herramienta de búsqueda de imágenes que sea escalable, automática e intuitiva.Jian Sun, que trabajó en SkyFinder y es el investigador principal de Visual Computing Group en Microsoft Research, afirma que el método tradicional que se sigue en la búsqueda de imágenes a veces produce resultados sin sentido cuando el ordenador malinterpreta el texto colindante. Normalmente, los motores que analizan el contenido de las imágenes en sí en vez del texto necesitan una imagen que sirva de guía para la búsqueda—algo que haya enviado el usuario y que se parezca al resultado que se busca. Desafortunadamente, una imagen como tal puede que no resulte fácil de encontrar para el usuario. Sun afirma que SkyFinder, por otro lado, ofrece buenos resultados y al mismo tiempo permite al usuario interactuar de forma intuitiva con el motor de búsqueda. Para buscar una imagen del cielo específica, el usuario simplemente introduce una petición de búsqueda con un leguaje bastante natural, tal como “cielo cubierto con nubes negras, con el horizonte en la parte de debajo de la foto.” SkyFinder ofrece sugerencias sobre imágenes que se ajusten a la descripción.Cada imagen se procesa después de ser añadida a la base de datos. Mediante el uso de un popular método llamado “bolsa de palabras,” según explica Sun, la imagen se divide en pequeños parches, se analizan y se les asignan palabras clave que las describen visualmente. Al analizar los patrones de las palabras clave, el sistema clasifica la imagen en categorías tales como “cielo azul” o “atardecer,” y determina la posición del sol y el horizonte. Al hacer todo esto offline, afirma Sun, el sistema puede hacerse más grande de forma fácil para poder hacer búsquedas en bases de datos de imágenes de gran tamaño. (La base de datos de SkyFinder en la actualidad posee medio millón de imágenes.)También es posible ajustar los términos de búsqueda utilizando una interfaz visual. El sistema ofrece una pantalla, por ejemplo, donde el usuario puede ajustar los iconos para mostrar las posiciones deseadas del sol y el horizonte. Estas coordinadas después se añaden a la búsqueda.SkyFinder trata las imágenes de forma lógica en la pantalla—por ejemplo, desde un cielo azul hasta un cielo nublado, o desde el día hasta el atardecer. Una vez que el usuario ha encontrado una imagen que le gusta, la puede utilizar para hacer una búsqueda guiada y más localizada de imágenes similares.
n
El sistema también incluye herramientas para ayudar al usuario a reemplazar el cielo en una imagen con el cielo de otra fotografía.
“Los gráficos por ordenador han tenido mucho éxito durante las décadas pasadas, pero aún sigue siendo imposible para el usuario de ordenador medio poder sintetizar una imagen arbitraria o un video según sus deseos,” afirma James Hays, que no estuvo involucrado con la investigación y que posee un doctorado en ciencias informáticas de la Universidad Ca egie Mellon. Cree que es importante poder desarrollar herramientas más sofisticadas para aquellos usuarios con menos experiencia, que podrían utilizar una herramienta como SkyFinder para encontrar la imagen que deseen y para hacer ajustes en una imagen ya existente. Hays cree que la mayor contribución de SkyFinder es su interfaz de usuario.
Ritendra Datta, ingeniero de Google y estudioso del aprendizaje de máquinas y la búsqueda de imágenes, afirma que el hecho de permitir que los ordenadores comprendan de forma automática lo que se muestra en las imágenes es uno de los mayores problemas actuales en el campo de la búsqueda de imágenes. “SkyFinder parece ser un nuevo método interesante” que funciona para un tipo de imagen. Datta cree que los avances en aplicaciones especializadas podrían finalmente ser aplicados a mayor escala.
También cree, sin embargo, que es realmente necesario llevar a cabo estudios de usabilidad para los sistemas de búsqueda que dependan automáticamente del análisis de imágenes.
Sun tiene planes para mejorar SkyFinder y ajustarlo para que analice más atributos del cielo, además de expandir la base de datos. Por ahora, afirma, los sistemas para el análisis automático de imágenes se tienen que entrenar de formas completamentes distintas dependiendo del tipo de imagen con la que estén trabajando. Sin embargo, afirma, que el ejemplo de SkyFinder podría utilizarse para identificar fotos del cielo entre un banco general de imágenes.