.

Computación

Un ordenador mete el estilo pictórico de Vang Gogh en una escena de 'Ice Age'

1

Una red neuronal profunda ha aprendido a transferir estilos artísticos a vídeos, convirtiendo la creatividad de los artistas en una materia primra. Los resultados son impresionantes

  • por Emerging Technology From The Arxiv | traducido por Teresa Woods
  • 12 Mayo, 2016

La naturaleza de los estilos artísticos representa una especie de misterio para la mayoría de la gente. Consideremos La noche estrellada de Vincent Van Gogh, el cubismo de Picasso o El Grito de Edvard Munch. Todos tienen un estilo único que los humanos reconocemos con facilidad.

Pero, ¿y las máquinas? Las redes neuronales profundas están revolucionando la manera en la que las máquinas reconocen e interpretan el mundo. La visión de máquinas ahora rinde sistemáticamente mejor que los humanos en tareas como el reconocimiento de objetos y caras, algo inconcebible hace tan sólo un par de años.

Recientemente, estos dispositivos han dado sus primeros pasos tentativos hacia el reconocimiento del estilo artístico y hasta su reproducción. Cuán lejos podrán llegar estos trabajos no está demasiado claro. Por ejemplo, ¿es posible copiar y pegar un estilo artístico de una imagen a un vídeo completo, sin generar artefactos que estropeen la experiencia visual?

Hoy, Manual Ruder y varios compañeros suyos de la Universidad de Friburgo (Alemania) demuestran que sí es posible. Utilizan famosas obras de arte como La noche estrellada y El Grito y transfieren su estilo a un abanico de secuencias de vídeo extraidas de películas como La edad del hielo y series de televisión como Miss Marple. El resultado son unas impresionantes renderizaciones de vídeos y la posibilidad de hacerlo en casi cualquier estilo artístico imaginable.

Las redes neuronales profundas están formadas por muchas capas que extraen datos de una imagen para después enviar la información sobrante a la siguiente capa. Las primeras capas extraen amplios patrones como el color y las capas más profundas extraen progresivamente más detalles, permitiendo así el reconocimiento de objetos.

Las informaciones extraídas por las capas más profundas son importantes. Representan, en esencia, el contenido de una imagen menos la información contextual como el color o la textura. De algún modo, es el equivalente de un dibujo lineal.

El año pasado, Leon Gatys y varios compañeros suyos de la Universidad de Tubinga (Alemania) empezaron a estudiar el estilo artístico de esta manera. Descubrieron que es posible captar el estilo artístico al examinar no la información de cada capa, sino las correlaciones entre capas. Así que la manera en la que un artista reproduzca una cara guarda relación con la manera en la que él o ella reproduce un árbol o una casa o el Sol. Captar esta correlación también capta el estilo.

Pero su descubrimiento clave fue que el contenido de una imagen puede ser totalmente independiente del estilo artístico. Es más, encontraron que podían copiar y pegar este estilo artístico sobre el contenido de cualquier otra imagen.

De repente uno podría captar el estilo abstracto de un Kandinsky y pegarlo sobre una foto de su gato. Es muy divertido. Pero también suscitó la pregunta de cuánto más lejos se podrá llevar esta técnica.


El próximo paso obvio consisten en pegar el estilo artístico sobre imágenes sucesivas para hacer un vídeo. Pero eso genera problemas inmediatamente. Pequeñas diferencias entre fotogramas sucesivas pueden dar paso a grandes diferencias en la manera en la que se aplica un nuevo estilo artístico. Y eso hace que el vídeo resulte visualmente incoherente. Un problema concreto es que los bordes de los objetos se ocluyen con el movimiento.

Ahora el equipo de Ruder ha solucionado este problema. El responsable explica: "De una imagen artística, transferimos su estilo particular de pintar al vídeo al completo".

Su enfoque se basa en un algoritmo que analiza las variaciones entre sucesivas fotogramas procesadas e impide grandes diferencias y a la vez ignora áreas de una escena que se definen después de estar ocluidas. "Esto permite que el proceso reconstruya regiones desocluidas y los bordes distorsionados por movimiento mientras conserve la apariencia del resto de la imagen", explican.

Los resultados son impresionantes. El equipo emplea su algoritmo para extraer el estilo artístico de varias obras distintas de Kandinsky, Picasso, Matisse, Turner y, por supuesto, de Munch y Van Gogh.

Procesaron cada imagen de las secuencias a una resolución de 1024x436 con un procesador gráfico Titán X de Nvidia con un procesamiento paralelo realizado por una unidad central de procesamiento al mismo tiempo. Este proceso tarda unos ocho minutos por fotograma inicialmente, pero después de la optimización este tiempo se reduce a una media de unos tres minutos por fotograma. Así que el proceso al completo es computacionalmente intensivo.

La mejor manera de apreciar el resultado es ver el vídeo, una impresionante coleción de secuencias de una amplia variedad de películas, animaciones de ordenador y series de televisión.

Por supuesto, aún quedan mejoras por hacer. El algoritmo lucha con movimientos muy rápidos y grandes entre fotogramas, y debería ser posible optimizar aún más el proceso para reducir el tiempo de computación. Pero ninguno de estos retos parece insuperable.

El trabajo suscita la interesante pregunta de cuánto más lejos podrá llegar esta técnica. Por ejemplo, resulta fácil imaginar apps que puedan hacer esto en la nube mientras el usuario graba un vídeo desde su smartphone. Pero, ¿también se podría pegar el estilo de El Grito en tres dimensiones y más allá dentro de la realidad virtual? Resulta difícil dar con motivos que sugieran que no.

Todo esto presagia un enfoque completamente nuevo para el arte cinematográfico pero también para el arte en general. Cuando el estilo artístico se convierte en una materia prima que puede ser copiada y pegado entre una imagen y otra, ¿qué significa esto para el trabajo de los artistas? No resulta difícil imaginar cómo estos estilos podrían ser editados o incluso mezclados para generar híbridos.

¿A alguién le gustaría tener un Rubens-Picasso, un Warhol-Monet o un Burton-Bergman?

Ref: arxiv.org/abs/1604.08610: Artistic Style Transfer for Videos

Computación

Las máquinas cada vez más potentes están acelerando los avances científicos, los negocios y la vida.

  1. La radiación cósmica destruye los cúbits superconductores en milisegundos

    Los componentes básicos de la computación cuántica son tan sensibles que, incluso a niveles bajos, estos rayos provocan su decoherencia. Aunque el hallazgo podría contribuir a la búsqueda de materia oscura, obligará a revestir los ordenadores cuánticos de hormigón o a instalarlos bajo tierra

  2. Criptografía reticular, el cifrado a prueba de ordenadores cuánticos

    La inminente llegada de la computación cuántica amenaza con destruir los métodos tradicionales de cifrado que usamos actualmente. Por ello, distintos grupos trabajan en nuevos enfoques poscuánticos capaces de resistir a estas máquinas. Este es el más prometedor hasta la fecha 

  3. Un nuevo chip inspirado en el cerebro distingue 10 olores diferentes

    Su diseño basado en la estructura y la actividad eléctrica del cerebro, un enfoque conocido como chip neuromórfico, ha aprendido a diferenciar fragancias con gran precisión y pocos ejemplos de entrenamiento. El siguiente paso será replicar el comportamiento de la vista y tacto