Dance Dance Revolution (DDR) es uno de los videojuegos clásicos de finales del siglo XX. Una prueba de su éxito, novedad y longevidad es que aún sigue siendo popular hoy, casi 20 años después de su lanzamiento.
Es un juego de baile que incluye una pantalla y una plataforma de baile que los jugadores controlan con los pies. La plataforma tiene cuatro sensores que los jugadores han de tocar al son de la música en el orden especificado por una esquema mostrada en pantalla. Así que los jugadores han de bailar de la manera que exige el juego.
El juego también permite a los jugadores diseñar y distribuir sus propios bailes. Con el paso de los años, la gente ha generado enormes bases de datos de bailes que acompañan un amplio abanico de canciones populares.
Eso le dio una idea a Chris Donahue y unos compañeros suyos de la Universidad de Califo ia en San Diego (EEUU). ¿Por qué no emplear esta enorme base de datos para entrenar una máquina de aprendizaje profundo para que cree sus propios bailes?
Hoy, demuestran cómo han logrado eso mismo. Su sistema - llamado Dance Dance Convolution - emplea los ficheros de audio sin procesar de canciones populares y crea rutinas de baile. El resultado es una máquina capaz de hacer coreografías.
El propio juego es sencillo en principio. Mientras suena la música, el jugador debe accionar los sensores de la plataforma de baile en el orden mostrado en pantalla con sus pies. Cada sensor puede encontrarse en uno de cuatro estados: encendido, apagado, retenido o liberado. Puesto que los cuatro sensores pueden ser activados o liberados de manera independiente, hay 256 posibles combinaciones de pasos en cualquier momento determinado.
Por supuesto, la dificultad de los bailes aumenta progresivamente, y la mayoría de las canciones tienen cinco niveles de dificultad. La dificultad es determinado por la velocidad de las subdivisiones rítmicas. Los juegos de nivel de principiante tienen pasos en las negras y corcheas, pero los bailes de mayor dificultad tienen pasos en semicorcheas y algunos patrones que incluyen notas de 1/12 y de 1/24 de la figura redonda.
También existen otras reglas informales para la creación de esquemas de baile. "Los autores de esquema se esfuerzan por evitar patrones que obligarían al jugador a colocarse de espaldas a la pantalla", escribe el equipo de Donahue. El resultado son bailes con una variedad de ricas estructuras.
La tarea de automatizar la generación de esquemas de baile para nada resulta sencilla. El equipo de Donahue la dividió en dos partes. La primera consiste en decidir cuándo colocar los pasos, y la segunda en decidir qué pasos seleccionar. Entonces entrenaron un algoritmo de aprendizaje de máquinas para aprender cada tarea.
La primera tarea se reduce a identificar un conjunto de marcas de tiempo dentro de una canción donde colocar los pasos. Esto es similar a un problema muy estudiado dentro de las investigaciones musicales llamada la detección de inicios. Esto incluye identificar importantes movimientos dentro de una canción como notas de melodía o toques de batería.
"Mientras que no todos los inicios de nuestros datos corresponen a un paso de Dance Dance Revolution, cada paso de Dance Dance Revolution corresponde a un inicio", señala el equipo de Donahue.
Una vez que las marcas de tiempo para cada paso hayan sido identificados, la segunda tarea consiste en seleccionar un paso a colocar en cada instante.
En todas las tareas de aprendizaje de máquinas, el conjunto de datos de entrenamiento es crucial. Las investigaciones musicales han visto obstaculizadas en el pasado porque los temas de derecho de autor pueden impedir que las canciones sean empleadas por las investigaciones (o al menos que sean incluidas con los resultados).
Dance Dance Revolution esquiva este problema gracias a la disponibilidad de tantas esquemas de baile creados por usuarios. El equipo de Donahue afirma que un repositorio en línea, llamado Stepmania Online, contiene más de 350 gigabytes de esquemas de baile para más de 100.000 canciones.
Para esta investigación, el equipo se centró en dos conjuntos de datos más pequeños que constan de grabaciones y esquemas de baile. El primero contiene 90 canciones coreografiadas por un único autor, que ha creado esquemas de cinco niveles de dificultad para cada canción. El segundo conjunto de datos contiene 133 canciones, cada una con una única esquema de baile.
Entonces el equipo aumentó el conjunto de datos al generar una imagen espejo de cada esquema - por ejemplo, al cambiar izquierda por derecha y arriba por abajo (o ambas cosas). El resultado es un conjunto de datos de 35 horas de música en forma de ficheros de audio sin procesar con más de 350.000 pasos.
Entonces empleó el equipo de Donahue el 80% de la música para entrenar el algoritmo de aprendizaje de máquinas para que identificara inicios para la colocación de pasos. Validaron y probaron el modelo resultante con el otro 20% de los datos. Y emplean proporciones similares para entrenar otro algoritmo para determinar la selección de pasos. Técnicas similares son ampliamente utilizadas en el aprendizaje de máquinas para tareas como el procesamiento del lenguaje natural.
Los resultados son impresionantes. "Nuestros experimentos establecen la viabilidad de emplear el aprendizaje de máquinas para generar automáticamente esquemas de DDR de alta calidad a partir de ficheros de audio sin procesar", afirma el equipo de Donahue.
"Al combinar conocimientos de la detección de inicios musicales y el modelaje estadístico del lenguaje, hemos diseñado y evaluado varios métodos de aprendizaje profundo para aprender a coreografiar", señalan.
Es un trabajo entretenido que demuestra la utilidad del aprendizaje de máquinas para tareas cuando existen grandes conjuntos de datos etiquetados. También demuestra que, de nuevo, otro bastión de la creatividad humana ha caído ante las máquinas.
Ref: arxiv.org/abs/1703.06891: Dance Dance Convolution