.

Inteligencia Artificial

Tiembla, Mario: esta IA es capaz de inventar desde cero videojuegos de plataformas

1

El modelo de lenguaje Genie aprende a crear y controlar juegos viendo horas y horas de vídeo y también podría ayudar a entrenar robots de nueva generación

  • por Will Douglas Heaven | traducido por
  • 04 Marzo, 2024

La reciente presentación por parte de OpenAI de su asombroso modelo generativo Sora mostró los límites la conversión de texto en vídeo. Ahora, Google DeepMind lleva esas posibilidades a la conversión de texto a videojuegos.

El nuevo modelo, llamado Genie, puede tomar una breve descripción, un boceto dibujado a mano o una foto y convertirlos en un videojuego al estilo de los clásicos de plataformas en 2D como Super Mario Bros. Pero no esperes nada rápido. Los juegos se ejecutan a un fotograma por segundo, frente a los 30 a 60 fotogramas por segundo típicos de la mayoría de los juegos modernos.

"Es un trabajo genial", dice Matthew Guzdial, investigador de IA de la Universidad de Alberta, que desarrolló un generador de juegos similar hace unos años.

Genie se entrenó con 30.000 horas de vídeo de cientos de juegos de plataformas en 2D extraídos de Internet. Según Guzdial, otros ya habían adoptado este enfoque. Su propio generador de juegos aprendió de los vídeos para crear juegos de plataformas abstractos. Nvidia utilizó datos de vídeo para entrenar un modelo llamado GameGAN, capaz de producir clones de juegos como Pac-Man.

Pero todos estos ejemplos entrenaban el modelo con acciones de entrada (como pulsar botones en un mando), además de secuencias de vídeo: un fotograma de vídeo que mostraba a Mario saltando se emparejaba con la acción Saltar, y así sucesivamente. Etiquetar secuencias de vídeo con acciones de entrada requiere mucho trabajo, lo que ha limitado la cantidad de datos de entrenamiento disponibles.

En cambio, Genie se entrenó únicamente con secuencias de vídeo. A continuación, aprendió cuál de las ocho acciones posibles haría que el personaje de un videojuego cambiara de posición. De este modo, incontables horas de vídeo en línea se convirtieron en posibles datos de entrenamiento.

ejemplo de juego generado a partir de un boceto con crayón

Genie puede generar juegos sencillos a partir de bocetos dibujados a mano. / GOOGLE DEEPMIND


Genie genera cada nuevo fotograma del juego sobre la marcha en función de la acción que realice el jugador. Si pulsa “saltar”, Genie actualizará la imagen para mostrar al personaje del juego saltando; si pulsa “izquierda”, la imagen cambiará para mostrar al personaje desplazándose hacia la izquierda. El juego avanza acción a acción y cada nuevo fotograma se genera desde cero a medida que el jugador juega.

Las futuras versiones de Genie podrían funcionar más rápido. "No hay ninguna limitación fundamental que nos impida alcanzar los 30 fotogramas por segundo", afirma Tim Rocktäschel, investigador científico de Google DeepMind que dirige el equipo responsable del trabajo. "Genie utiliza muchas de las mismas tecnologías que los grandes modelos de lenguaje contemporáneos, en los que se han producido avances significativos en la mejora de la velocidad de inferencia".

Genie aprendió algunas peculiaridades visuales habituales en los juegos de plataformas. Muchos juegos de este tipo utilizan el efecto de paralaje, en el que el primer plano se desplaza lateralmente más rápido que el fond y. Genie suele añadir este efecto a los juegos que genera. 

Aunque Genie es un proyecto de investigación interno y no saldrá a la venta, Guzdial señala que el equipo de Google DeepMind dice que algún día podría convertirse en una herramienta de creación de juegos, algo en lo que él también está trabajando. "Estoy muy interesado en ver lo que construyen", afirma.

Patios de recreo virtuales

Pero los investigadores de Google DeepMind están interesados en algo más que la generación de juegos. El equipo detrás de Genie trabaja en el aprendizaje abierto, donde los robots controlados por IA se dejan caer en un entorno virtual y se les deja resolver diversas tareas por ensayo y error (una técnica conocida como aprendizaje de refuerzo).

En 2021, otro equipo de DeepMind desarrolló un patio de recreo virtual llamado XLand en el que los robots aprendían a cooperar en tareas sencillas, como mover obstáculos. Este tipo de sandboxes serán cruciales para entrenar a los futuros robots en una serie de retos diferentes antes de enfrentarlos a escenarios del mundo real. Los ejemplos del videojuego demuestran que Genie podría utilizarse para generar estos terrenos de juego virtuales.

Otros han desarrollado herramientas similares. Por ejemplo, David Ha en Google Brain y Jürgen Schmidhuber en el laboratorio de IA IDSIA en Suiza desarrollaron una herramienta en 2018 que entrenaba bots en entornos virtuales basados en juegos llamados modelos de mundo. Pero de nuevo, a diferencia de Genie, estos requerían que los datos de entrenamiento incluyeran acciones de entrada.

El equipo demostró cómo esta capacidad también es útil en robótica. Cuando se mostraron a Genie vídeos de brazos robóticos reales manipulando diversos objetos domésticos, el modelo aprendió qué acciones podía realizar ese brazo y cómo controlarlo. Los futuros robots podrían aprender nuevas tareas viendo tutoriales en vídeo

"Es difícil predecir qué casos de uso serán posibles", afirma Rocktäschel. "Esperamos que proyectos como Genie acaben proporcionando a la gente nuevas herramientas para expresar su creatividad".

Inteligencia Artificial

 

La inteligencia artificial y los robots están transformando nuestra forma de trabajar y nuestro estilo de vida.

  1. La IA generativa puede convertir tus recuerdos en fotos que nunca existieron

    El proyecto Synthetic Memories ayuda a familias de todo el mundo a recuperar un pasado que nunca se fotografió

    Una imagen en blanco y negro generada por ai de una mujer y un niño mirando por una ventana
  2. "La pregunta es cuánta participación humana se necesita para que algo sea arte"

    Alex Reben hace arte con (y sobre) IA. Hablé con él sobre lo que la nueva ola de modelos generativos significa para el futuro de la creatividad humana

    Detalle de un cuadro de una cabeza deformada en la que unas enormes orejas en la parte frontal de la cara tapan los ojos y una lengua brillante con textura de fresa sobresale de la boca abierta.
  3. Compensación y atribución para los creadores, la apuesta de Adobe por una IA generativa diferente

    La empresa afirma que es la prueba de que los modelos de IA de calidad no tienen por qué incluir polémicos contenidos protegidos por derechos de autor

    Imagen generada mediante IA de una mano que utiliza una cuchilla de precisión para cortar un dibujo de la realidad