Pocos campos académicos han escapado a la influencia de la computación y el aprendizaje automático. Pero uno de ellos es la Historia del Arte. El desafío de analizar cuadros, reconocer a los artistas e identificar su estilo y contenido siempre ha estado por encima de las capacidades de los algoritmos, incluso de los más avanzados.

Pero eso empieza a cambiar gracias a avances recientes en el aprendizaje automático basados en enfoques como las redes neuronales profundas. En apenas unos años, los expertos en computación han creado máquinas capaces de equiparar y a veces superar a los humanos en todo tipo de tareas de reconocimiento de patrones.

Ahora podemos ver cómo han avanzado estos enfoques en manos de Babak Saleh y Ahmed Elgammal en la Universidad de Rutgers en Nueva Jersey (EEUU). Estos investigadores han usado estas nuevas técnicas de aprendizaje automático para entrenar a algoritmos para reconocer el artista y el estilo de un cuadro con una precisión nunca alcanzada anteriormente.

Es más, los resultados revelan incluso las conexiones entre artistas y entre estilos artísticos que los historiadores del arte han tardado años en comprender.

Saleh y Elgammal partieron con una base de datos de imágenes de más de 80.000 cuadros de más de 1.000 artistas que abarcan 15 siglos. Estos cuadros cubren 27 estilos distintos, cada uno de ellos con más de 1.500 ejemplos. Los investigadores clasifican las obras además por género, por ejemplo: interior, paisaje urbano, paisaje y así sucesivamente.

A continuación cogieron una subserie de las imágenes para entrenar a varios algoritmos de aprendizaje automático avanzados para escoger determinadas características. Entre ellas se cuentan características sencillas, como el color general, y también como características más complejas que describen los objetos de la imagen, como un caballo o una cruz. El resultado final es una descripción en forma de vectores de cada cuadro que contiene 400 dimensiones distintas.

A continuación los investigadores prueban el algoritmo con una serie de cuadros que este aún no ha visto. Y los resultados son impresionantes. Su nuevo enfoque es capaz de identificar con precisión al artista en más del 60% de los cuadros que ve, e identificar el estilo en el 45% de ellos.

Pero lo que es más importante, este enfoque de aprendizaje automático proporciona información sobre la naturaleza del arte que incluso a los humanos les cuesta desarrollar. Esta nueva información surge al analizar los cuadros que al algoritmo le cuesta clasificar.

Por ejemplo, Saleh y Elgammal afirman que a su nuevo enfoque le cuesta distinguir entre las obras de Camille Pissarro y las de Claude Monet. Pero si se investiga un poco sobre estos dos artistas, se ve que ambos llevaron a cabo su actividad en Francia a finales del siglo XIX, principios del XX y que ambos asistieron a la Académie Suisse en París. Un experto quizá sepa también que Pissarro y Monet eran buenos amigos y compartieron muchas experiencias que dieron forma a su arte. Así que el hecho de que su obra sea parecida no sorprende.

Otro ejemplo de las obras que confunden al nuevo enfoque es el de las de Claude Monet y el impresionista estadounidense Childe Hassam, que resulta que se vio muy influido por los impresionistas franceses y por Monet en particular. Un humano puede tardar en descubrir este tipo de vínculos.

El enfoque algorítimico también encuentra relaciones entre determinados estilos artísticos. Por ejemplo, suele confundir los ejemplos de cuadros del expresionismo abstracto con las pinturas de acción, en las que el artista gotea o lanza pintura sobre el lienzo y lo pisa. Saleh y Elgammal afirman de nuevo que este tipo de error sería completamente comprensible para un espectador humano. "La pintura de acción es un tipo o subgénero del expresionismo abstracto", señalan.

El algoritmo escoge muchos más parecidos. Relaciona el expresionismo con el fauvismo, algo que cabría esperar dado que este último se suele considerar un tipo de expresionismo. Relaciona los estilos manieristas y renacentistas, lo que refleja claramente el hecho de que el manierismo es una de las primeras formas de pintura renacentista.

Y encuentra otras relaciones más claras, por ejemplo entre el renacimiento y el protorenacimiento, entre el impresionismo y el posimpresionismo y entre el cubismo y su manifestación posterior, el cubismo sintético.

Estas conexiones son de sobra conocidas por los historiadores del arte, pero sólo gracias a décadas, a siglos de investigaciones académicas. En comparación, el enfoque de aprendizaje automático sólo ha llevado unos cuantos meses.

Eso tiene importantes implicaciones para el estudio de la historia del arte. Una posible aplicación para este nuevo algoritmo es escoger cuadros con características parecidas (ver la imagen). Eso proporciona una nueva y potente herramienta para que los historiadores puedan buscar influencias entre artistas de las que no se habían dado cuenta hasta ahora.

También permite una nueva forma de explorar el arte, pasando de una imagen a otra parecida, en un proceso que es equivalente en términos visuales con el de la búsqueda de sinónimos.

¡Resulta fascinante!

Ref: arxiv.org/abs/1505.00855: Clasificación a Gran Escala de Cuadros: Aprendiendo la Medida Correcta en la Característica Correcta