DeepMind también ha tenido un éxito extraordinario en juegos más tradicionales. En 2016, su máquina AlphaGo superó a uno de los mejores jugadores profesionales de Go del mundo, la primera vez que una máquina triunfaba de esta manera. En ese proceso, AlphaGo encontró formas completamente nuevas de jugar que han revolucionado la forma en la que las personas piensan sobre el juego.
nPero Google no quiere dormirse en los laureles, así que ha empezado a centrarse en otros juegos abiertos donde la imprevisibilidad tiene un papel más importante. Y su próximo objetivo son los videojuegos de fútbol.
nEl investigador del Brain Team de Google Research Karol Kurach y sus colegas han creado un videojuego de fútbol llamado Google Research Football Environment que permite a los investigadores probar sus algoritmos en un entorno basado en la física, personalizable, fácil de usar e infinitamente reproducible. Google ha hecho que este mundo esté disponible con una licencia de código abierto para que los investigadores en cualquier lugar puedan usarlo para desarrollar mejores algoritmos para jugar el fútbol.
nPrimero algunos antecedentes. Uno de los desafíos para los investigadores de IA consiste en encontrar tareas que se conviertan en nuevos problemas a resolver por los algoritmos de aprendizaje automático. Los videojuegos sencillos como Pong o Breakout suelen ser demasiado fáciles para estos algoritmos. Los programas suelen lograr un rendimiento sobrehumano tras solo unas horas de entrenamiento.
nPero algunos de los videojuegos más complejos, como Starcraft, resultan demasiado desafiantes. Starcraft es un juego de estrategia en tiempo real para múltiples jugadores y se desarrolla en un gran universo online. A los investigadores de IA les interesa este juego porque les permite jugar contra otras personas y sistemas de IA en entornos complejos.
nSin embargo, el juego es tan amplio y complicado que requiere enormes recursos computacionales para recopilar datos relevantes y suficientes para entrenar un sistema de aprendizaje automático. Y estos recursos no están disponibles para la mayoría de los investigadores.
nOtro problema es que muchos prometedores entornos online se ejecutan en códigos de propiedad privada que los investigadores no pueden cambiar o ni siquiera ver. Eso impide saber cómo el juego toma decisiones importantes y experimentar con diferentes procesos de la toma de decisiones.
nAdemás, muchos juegos son completamente deterministas: se jugarán exactamente de la misma manera con la misma información. Por eso son fáciles de enseñar a los algoritmos.
nPero el mundo real no funciona así. En él, la capacidad de reaccionar a acciones inesperadas es una habilidad importante. La única forma de que las máquinas aprendan esta habilidad consiste en entrenar en entornos impredecibles. Pero la imprevisibilidad debe ser controlable: si es muy baja, el juego será demasiado fácil, mientras que, si es mucha, dificultará el aprendizaje. Crear un entorno equilibrado resulta complicado.
nAquí es donde aparecen los simuladores de fútbol con ciertos niveles de previsibilidad basados en la física del juego. Pero también hay mucha imprevisibilidad que surge de las tácticas de los jugadores oponentes, la diferencia entre los jugadores en situaciones como las de confrontación, etcétera.
nAsí que Kurach y sus colegas han construido su propio simulador. Utilizaron como base el juego disponible públicamente llamado Gameplay Football, que permite juegos de fútbol completos con goles, faltas, córneres, penaltis, fuera de juego, etcétera. La investigación afirma: "The Football Environment ofrece una simulación de fútbol en 3D basada en la física en la que los agentes deben controlar a sus jugadores, aprender a pasar la pelota entre ellos y cómo superar la defensa de sus oponentes para marcar goles".
nLos investigadores lo han modificado para que proporcione una medida de éxito para las máquinas. Esta medida se basa en lo cerca que el sistema consigue llevar la pelota hacia el gol del oponente de una manera controlada. Esto es algo necesario porque la medida estándar de éxito (los goles) refleja un acontecimiento relativamente raro y no ofrece una forma de medir el progreso de las máquinas.
n
El equipo también ha creado varios entornos estándar de diversa complejidad para entrenar y probar las máquinas de IA. Las tareas a las que se enfrenta la máquina incluyen anotar en un gol vacío, correr y marcar el gol contra un portero, llevar la pelota en un escenario de tres contra uno para anotar fingiendo el pase, y así sucesivamente. La prueba general consiste en una partida estándar con todas las reglas habituales, jugado contra un oponente en forma de máquina.
nEl algoritmo puede jugar contra otras máquinas o contra personas. Así se crea una experiencia con una amplia gama de estrategias. Y se evita una situación en la que la máquina simplemente aprenda las debilidades de un oponente en forma de máquina, algo que puede no se aplica a los juegos en general. "Esto es un problema desafiante de aprendizaje reforzado ya que el fútbol requiere un equilibrio natural entre el control a corto plazo, los conceptos aprendidos como el pase y la estrategia de alto nivel", detalla la investigación.
nSe trata de un trabajo interesante con potencial de ayudar al aprendizaje automático a trabajar en entornos más realistas. Pero también plantea la posibilidad de que las máquinas aprendan nuevas estrategias futbolísticas que los humanos nunca han considerado, tal como lo hicieron para Go. Estas nuevas estrategias podrían llegar a jugarse en torneos de fútbol robótico, o incluso entre humanos.
nSerá interesante ver si estas estrategias funcionan tan bien en el fútbol real como en la variedad simulada. Resultará fascinante tanto para los investigadores de IA como para los aficionados del fútbol.
nRef: arxiv.org/abs/1907.11180: Google Research Football: A Novel Reinforcement Learning Environment
n