"Pásame la cola", dice un personaje. Y corta a un primer plano de un hombre junto al fuego, royendo un trozo de cecina rosa. Es grotesco. Además, el movimiento de sus labios no es del todo correcto. Por un momento, parece como si estuviera masticando su propia lengua congelada.
nBienvenido al inquietante mundo de la creación cinematográfica mediante inteligencia artificial. "Llegamos a un punto en el que dejamos de luchar contra el deseo de precisión fotográfica y empezamos a inclina os por la rareza de DALL-E", explica Stephen Parker de Waymark, la empresa de creación de vídeo de Detroit que está detrás de The Frost.
nEsta es una película de 12 minutos en la que cada plano ha sido elaborado por una IA generadora de imágenes. Es uno de los ejemplos más impresionantes -y extraños- de este nuevo y extraño género.
n nWaymark / Latent Cinema
nPara crear The Frost, Waymark escogió un guion escrito por Josh Rubin, productor ejecutivo de la empresa que dirigió la película, y lo introdujo en el modelo de creación de imágenes a través de DALL-E, 2 de OpenAI. Tras algunas pruebas y errores para conseguir que el modelo produjera imágenes en un estilo con el que estuvieran satisfechos, los cineastas utilizaron DALL-E 2 para generar cada una de las tomas. Después, utilizaron D-ID, una herramienta de IA que puede añadir movimiento a imágenes fijas, para animar estas tomas. Así consiguieron que los ojos parpadearan y los labios se movieran.
n"Construimos un mundo a partir de lo que DALL-E nos devolvía", asegura Rubin. "Es una estética extraña, pero la acogimos con los brazos abiertos. Y se convirtió en el estilo de la película".
n"Sin duda, es la primera película de IA generativa en la que el diseño de arte parece coherente", afirma Souki Mehdaoui, cineasta independiente y cofundador de Bell & Whistle, una consultora especializada en tecnologías creativas. "Generar imágenes fijas y convertirlas en marioneta le da un divertido aire de collage".
nThe Frost se une a una serie de cortometrajes realizados con diversas herramientas de IA generativa que se han publicado en los últimos meses. Los mejores modelos de vídeo generativo solo pueden producir unos pocos segundos de vídeo. Por eso, los cortos actuales presentan una amplia gama de estilos y técnicas. Desde secuencias de imágenes fijas a modo de guion gráfico, como en The Frost, hasta mezclas de muchos videoclips de apenas unos segundos de duración.
nEn febrero y marzo, Runway (una empresa que fabrica herramientas de IA para la producción de vídeo) organizó un festival de cine sobre IA en Nueva York. Entre los metrajes más destacados se encuentran PLSTC (Laen Sanches) que muestra una vertiginosa secuencia de extrañas criaturas marinas envueltas en plástico y generadas por Midjou ey, el modelo de creación de imágenes. Además del onírico Given Again (Jake Oleson), que utiliza una tecnología denominada "campos de radiación neuronal" (NeRF, neural radiance fields) que convierte fotos 2D en objetos 3D. O, por último, la nostalgia surrealista de Expanded Childhood (Sam Lawton), un conjunto de fotos antiguas de la familia de Lawton, quien consiguió que DALL-E 2 las extendiera más allá de sus límites, permitiéndole jugar con los detalles medio recordados de imágenes antiguas.
n nAdemás, Lawton mostró las imágenes a su padre y grabó su reacción para la película: "Algo va mal. No sé qué es. ¿Quizás no lo recuerdo?".
nRápido y barato
nLos artistas suelen ser los primeros en experimentar con nuevas tecnologías. Pero el futuro inmediato del vídeo generativo está en manos de la industria publicitaria. Waymark creó The Frost para explorar cómo incorporar la IA generativa a sus productos. La empresa fabrica herramientas de creación de vídeo para empresas que buscan una forma rápida y barata de crear anuncios. Waymark es una de las muchas start-ups, junto con Softcube y Vedia AI, que ofrecen a sus clientes spots a medida con unos pocos clics.
nLa tecnología actual de Waymark, lanzada a principios de 2023, combina varias técnicas de IA, como grandes modelos lingüísticos, reconocimiento de imágenes y síntesis de voz, para generar un anuncio sobre la marcha. Waymark también recurrió a su amplio conjunto de datos sobre anuncios no generados por IA y creados para sus anteriores clientes. "Tenemos cientos de miles de vídeos", afirma Alex Persky-Ste , CEO de Waymark. "Hemos sacado lo mejor de ellos, y lo hemos entrenado para saber cómo luce un buen vídeo".
nPara utilizar la herramienta de Waymark, que se ofrece como parte de un servicio de suscripción escalonado a partir de 25 dólares (22,8 euros) al mes, los usuarios solo tienen que facilitar el nombre de una empresa y su ubicación. La herramienta rastrea las webs y las redes sociales de la empresa en busca de texto e imágenes. A continuación, utiliza esos datos para generar un anuncio, empleando el GPT-3 de OpenAI para escribir un guion, que es leído por una voz sintética encima de las imágenes seleccionadas que destacan el negocio.
nEn cuestión de segundos, se puede generar un ingenioso anuncio de un minuto de duración. Los usuarios pueden editar el resultado si lo desean, retocando el guion, editando imágenes, eligiendo otra voz, etc. Waymark afirma que más de 100.000 personas han utilizado su herramienta hasta ahora. Puedes ver uno de los anuncios generados por la IA de Waymark aquí.
nEl problema es que no todas las empresas tienen una web o imágenes a las que recurrir, explica Parker: "un contable o un terapeuta pueden no tener ningún material".
nLa siguiente idea de Waymark es utilizar la IA generativa para crear imágenes y vídeos para empresas que carecen de estos materiales, o no quieren utilizar los que tienen. "Ese es el objetivo de The Frost", asegura Parker. "Crear un mundo, un ambiente".
nThe Frost tiene una vibración, sin duda, pero también es ridículo. "No es un medio perfecto, ni mucho menos", expone Rubin. "Nos costó un poco conseguir ciertas cosas de DALL-E, como respuestas emocionales en las caras. Pero otras nos encantaron. Decíamos: 'Dios mío, esto es magia".
nEste proceso de aciertos y errores mejorará a medida que la tecnología sea perfeccionada. DALL-E 2, que Waymark utilizó para hacer The Frost, se estrenó hace apenas un año. Las herramientas de generación de vídeo que crean pequeños clips solo existen desde hace unos meses.
nEl aspecto más revolucionario de la tecnología es generar nuevas tomas cuando lo desees, explica Rubin: "Con 15 minutos de ensayo y error, consigues ese plano que querías y que encaja perfectamente en una secuencia". Rubin recuerda el montaje de la película y la necesidad de planos concretos, como un primer plano de una bota en la ladera de una montaña. Con DALL-E, solo tenía que pedirlo. "Es alucinante", afirma. "Fue entonces cuando empecé a abrir los ojos como cineasta".
nChris Boyle, cofundador de Private Island, una start-up londinense que hace vídeos de corta duración, también recuerda sus primeras impresiones en 2022 sobre los modelos de creación de imágenes. "Tuve un momento de vértigo en el que pensé: 'Esto va a cambiarlo todo'".
nBoyle y su equipo han realizado anuncios para una amplia gama de marcas mundiales, como Bud Light, Nike, Uber y Terry's Chocolate, así como pequeños anuncios para promocionar videojuegos de éxito como Call of Duty.
nPrivate Island lleva varios años utilizando herramientas de IA en posproducción, pero se intensificó durante la pandemia. "Durante el confinamiento estábamos muy ocupados, pero no podíamos rodar como antes, así que empezamos a recurrir mucho más al aprendizaje automático", explica Boyle.
nLa empresa adoptó una serie de tecnologías que facilitan la posproducción y los efectos visuales, como la creación de escenas en 3D a partir de imágenes en 2D con NeRF y el uso del aprendizaje automático para extraer datos de captura de movimiento en secuencias ya existentesm en lugar de recopilarlos desde cero.
nSin embargo, la IA generativa es la nueva frontera. Hace un par de meses, Private Island publicó en su perfil de Instagram un anuncio de cerveza "falso" producido con el modelo de creación de vídeos Gen-2 de Runway y el modelo de creación de imágenes Stable Diffusion de Stability AI. El vídeo, titulado Synthetic Summer, se hizo viral. Este muestra una típica escena de fiesta en el patio trasero, donde varios jóvenes despreocupados se relajan y toman una copa al sol. Salvo que muchas de estas personas tienen agujeros en lugar de bocas, sus latas de cerveza se hunden en sus cabezas cuando beben y el patio trasero está en llamas. Es un espectáculo de terror.
n nSynthetic Summer from Private Island on Vimeo.
n"Al principio, la ves como una película estadounidense muy genérica", resume Boyle. "Pero tu cerebelo, o lo que sea, te dice: 'Uf, todas sus caras están al revés'".
n"Nos gusta jugar con el propio medio para contar la historia", reconoce Boyle. " Synthetic Summer es un gran ejemplo porque el propio medio es espeluznante. En cierto modo, visualiza algunos de nuestros temores sobre la IA".
nAprovechando sus puntos fuertes
n¿Este es el comienzo de una nueva era del cine? Las herramientas actuales tienen una paleta de opciones limitada. Tanto The Frost como Synthetic Summer aprovechan los puntos fuertes de la tecnología que las ha creado. The Frost se adapta a la espeluznante estética de DALL-E 2. Synthetic Summer tiene muchos cortes rápidos porque las herramientas de generación de vídeo como Gen-2 solo producen unos fotogramas a la vez, que luego hay que unir. Eso funciona para una escena de fiesta donde todo es caótico, asegura Boyle. Private Island también se planteó hacer una película de artes marciales, en la que los cortes rápidos se adaptan a la temática.
nEsto puede significar que veremos vídeos de IA generativa en videoclips y anuncios. Pero, más allá de eso, su uso no está claro. Aparte de artistas experimentales y algunas marcas, aún no hay mucha gente que lo utilice, cuenta Mehdaoui.
nEl constante estado de cambio también desanima a los clientes potenciales. "He hablado con muchas empresas que parecen interesadas, pero se resisten a invertir recursos en proyectos porque la tecnología cambia muy deprisa". Boyle asegura que muchas empresas también desconfían de los litigios en curso sobre el uso de imágenes protegidas por derechos de autor en los conjuntos de datos utilizados para entrenar modelos como Stable Diffusion.
nNadie sabe con claridad hacia donde se dirige la tecnología, afirma Mehdaoui: "En este momento, hay muchas suposiciones que se lanzan como dardos sin una cantidad de consideraciones matizadas detrás".
nMientras tanto, los cineastas siguen experimentando con estas nuevas herramientas. Inspirada por el trabajo de Jake Olseon, que también es su amigo, Mehdaoui está utilizando herramientas de IA generativa para realizar un corto documental que ayude a desestigmatizar el trasto o por consumo de opioides.
nWaymark está planeando una secuela de The Frost, pero no está decidida a hacerlo mediante DALL-E 2. "Es más una especie de ‘explorar este espacio'", cuenta Persky-Ste . "Cuando hagamos la próxima película, usaremos alguna nueva tecnología y veremos lo que puede hacer".
nPrivate Island también está experimentndoa con otras películas. A principios de 2023 realizó un vídeo con guion de ChatGPT e imágenes de Stable Diffusion. Ahora, trabaja en una película híbrida, con actores de ca e y hueso vestidos con trajes diseñados por Stable Diffusion.
n"Nos gusta mucho la estética", explica Boyle, y añade que es un cambio respecto a la imaginería dominante en la cultura digital, que se ha reducido al emoji y al efecto glitch. "Es muy emocionante ver de dónde saldrá la próxima estética. La IA generativa es como un espejo roto de nosotros".
n