La naturaleza de los estilos artísticos representa una especie de misterio para la mayoría de la gente. Consideremos La noche estrellada de Vincent Van Gogh, el cubismo de Picasso o El Grito de Edvard Munch. Todos tienen un estilo único que los humanos reconocemos con facilidad.

Pero, ¿y las máquinas? Las redes neuronales profundas están revolucionando la manera en la que las máquinas reconocen e interpretan el mundo. La visión de máquinas ahora rinde sistemáticamente mejor que los humanos en tareas como el reconocimiento de objetos y caras, algo inconcebible hace tan sólo un par de años.

Recientemente, estos dispositivos han dado sus primeros pasos tentativos hacia el reconocimiento del estilo artístico y hasta su reproducción. Cuán lejos podrán llegar estos trabajos no está demasiado claro. Por ejemplo, ¿es posible copiar y pegar un estilo artístico de una imagen a un vídeo completo, sin generar artefactos que estropeen la experiencia visual?

Hoy, Manual Ruder y varios compañeros suyos de la Universidad de Friburgo (Alemania) demuestran que sí es posible. Utilizan famosas obras de arte como La noche estrellada y El Grito y transfieren su estilo a un abanico de secuencias de vídeo extraidas de películas como La edad del hielo y series de televisión como Miss Marple. El resultado son unas impresionantes renderizaciones de vídeos y la posibilidad de hacerlo en casi cualquier estilo artístico imaginable.

Las redes neuronales profundas están formadas por muchas capas que extraen datos de una imagen para después enviar la información sobrante a la siguiente capa. Las primeras capas extraen amplios patrones como el color y las capas más profundas extraen progresivamente más detalles, permitiendo así el reconocimiento de objetos.

Las informaciones extraídas por las capas más profundas son importantes. Representan, en esencia, el contenido de una imagen menos la información contextual como el color o la textura. De algún modo, es el equivalente de un dibujo lineal.

El año pasado, Leon Gatys y varios compañeros suyos de la Universidad de Tubinga (Alemania) empezaron a estudiar el estilo artístico de esta manera. Descubrieron que es posible captar el estilo artístico al examinar no la información de cada capa, sino las correlaciones entre capas. Así que la manera en la que un artista reproduzca una cara guarda relación con la manera en la que él o ella reproduce un árbol o una casa o el Sol. Captar esta correlación también capta el estilo.

Pero su descubrimiento clave fue que el contenido de una imagen puede ser totalmente independiente del estilo artístico. Es más, encontraron que podían copiar y pegar este estilo artístico sobre el contenido de cualquier otra imagen.

De repente uno podría captar el estilo abstracto de un Kandinsky y pegarlo sobre una foto de su gato. Es muy divertido. Pero también suscitó la pregunta de cuánto más lejos se podrá llevar esta técnica.

El próximo paso obvio consisten en pegar el estilo artístico sobre imágenes sucesivas para hacer un vídeo. Pero eso genera problemas inmediatamente. Pequeñas diferencias entre fotogramas sucesivas pueden dar paso a grandes diferencias en la manera en la que se aplica un nuevo estilo artístico. Y eso hace que el vídeo resulte visualmente incoherente. Un problema concreto es que los bordes de los objetos se ocluyen con el movimiento.

Ahora el equipo de Ruder ha solucionado este problema. El responsable explica: "De una imagen artística, transferimos su estilo particular de pintar al vídeo al completo".

Su enfoque se basa en un algoritmo que analiza las variaciones entre sucesivas fotogramas procesadas e impide grandes diferencias y a la vez ignora áreas de una escena que se definen después de estar ocluidas. "Esto permite que el proceso reconstruya regiones desocluidas y los bordes distorsionados por movimiento mientras conserve la apariencia del resto de la imagen", explican.

Los resultados son impresionantes. El equipo emplea su algoritmo para extraer el estilo artístico de varias obras distintas de Kandinsky, Picasso, Matisse, Turner y, por supuesto, de Munch y Van Gogh.

Procesaron cada imagen de las secuencias a una resolución de 1024x436 con un procesador gráfico Titán X de Nvidia con un procesamiento paralelo realizado por una unidad central de procesamiento al mismo tiempo. Este proceso tarda unos ocho minutos por fotograma inicialmente, pero después de la optimización este tiempo se reduce a una media de unos tres minutos por fotograma. Así que el proceso al completo es computacionalmente intensivo.

La mejor manera de apreciar el resultado es ver el vídeo, una impresionante coleción de secuencias de una amplia variedad de películas, animaciones de ordenador y series de televisión.

Por supuesto, aún quedan mejoras por hacer. El algoritmo lucha con movimientos muy rápidos y grandes entre fotogramas, y debería ser posible optimizar aún más el proceso para reducir el tiempo de computación. Pero ninguno de estos retos parece insuperable.

El trabajo suscita la interesante pregunta de cuánto más lejos podrá llegar esta técnica. Por ejemplo, resulta fácil imaginar apps que puedan hacer esto en la nube mientras el usuario graba un vídeo desde su smartphone. Pero, ¿también se podría pegar el estilo de El Grito en tres dimensiones y más allá dentro de la realidad virtual? Resulta difícil dar con motivos que sugieran que no.

Todo esto presagia un enfoque completamente nuevo para el arte cinematográfico pero también para el arte en general. Cuando el estilo artístico se convierte en una materia prima que puede ser copiada y pegado entre una imagen y otra, ¿qué significa esto para el trabajo de los artistas? No resulta difícil imaginar cómo estos estilos podrían ser editados o incluso mezclados para generar híbridos.

¿A alguién le gustaría tener un Rubens-Picasso, un Warhol-Monet o un Burton-Bergman?

Ref: arxiv.org/abs/1604.08610: Artistic Style Transfer for Videos