Unos investigadores de la Universidad de California en Berkeley (EEUU) han desarrollado un "modelo de curiosidad instrínseca" para que su algoritmo de aprendizaje funcione incluso cuando no reciba una retroalimentación potente. El modelo de curiosidad desarrollado por este equipo ha sido integrado en un software de inteligencia artificial (IA) que controla un personaje virtual dentro de un videojuego para maximizar su comprensión del entorno y de los elementos que le afectan en él.
nNo es el primer trabajo que intenta hacer máquinas curiosas, pero los enfoques anteriores han sido bastante más simples. El truco de esta investigación podría ayudarnos superar algunos de los retos más básicos del aprendizaje automático y ayudar a que las máquinas resuelvan mejor los problemas del mundo real.
n n"En el mundo físico, las recompensas son muy escasas", señala el alumno de doctorado de la Universidad de California en Berkeley Pulkit Agrawal, que realizó la investigación con varios compañeros. El joven detalla: "Los bebés hacen todo tipo de experimentos aleatorios, algo que se puede considerar como una especie de curiosidad. Así aprenden algunas aptitudes".
nVarias técnicas potentes de aprendizaje automático han aumentado mucho la inteligencia de las máquinas en los últimos años. Entre ellas, el aprendizaje reforzado ha logrado que las máquinas hagan cosas que resultarían difíciles de definir mediante una programación explícita. El aprendizaje reforzado emplea recompensas positivas para guiar el comportamiento del algoritmo hacia las consecución de un objetivo concreto (ver TR10: Aprendizaje reforzado).
nEsta tecnología fue un componente fundamental de AlphaGo, un programa desarrollado por DeepMind para jugar al abstracto y complejo juego de mesa Go con una increíble pericia. La técnica ahora está siendo explorada para intentar dotar a las máquinas de otras capacidades imposibles de programar manualmente. Por ejemplo, podría conseguir que un brazo robótico averigüe por sí mismo cómo ejecutar una tarea deseada.
nPero el aprendizaje reforzado tiene sus limitaciones. Agrawal indica que aprender una tarea requiere un entrenamiento muy intenso, algo que puede complicarse mucho si no hay datos de relevantes disponibles. Por ejemplo, el método no funciona para videojuegos en los que los beneficios de determinados comportamientos resultan obvios. Allí es donde la curiosidad podría ayudar.
nLos investigadores probaron el enfoque, en combinación con el aprendizaje reforzado, dentro de dos sencillos videojuegos: Mario Bros., un clásico juego de plataforma, y VizDoom, un videojuego en 3D de disparos.
nEn ambos juegos, el uso de la curiosidad artificial aumentó la eficiencia del proceso de aprendizaje. En el videojuego en 3D, por ejemplo, en lugar de pasarse un rato chocando contra las paredes, el programa se fue desplazando por el espacio, por el que aprendió a desplazarse mucho más rápido. Incluso fue capaz de navegar ambos juegos sorprendentemente bien sin ningún tipo de recompensa. En Mario Bros., aprendió a evitar que le matasen, ya que eso limitada su capacidad de explorar y aprender sobre su entorno.
nLa investigación será descrita en un trabajo que será publicado en una importante conferencia de IA este año.
nLa curiosidad artificial es un área de investigación interesante desde hace bastante tiempo. El director de investigaciones del Instituto Francés para las Investigaciones Informáticas y la Automatización, Pierre-Yves Oudeyer, ha dedicado sus últimos años al desarrollo de programas informáticos y robots con formas sencillas de curiosidad.
n"Lo que resulta muy emocionante ahora mismo es que estas ideas, que la comunidad de IA y los investigadores neurocientíficos consideraban muy 'exóticas', se están convirtiendo en un tema importante tanto dentro de la inteligencia artificial como de la neurociencia", explica Oudeyer.
nEl trabajo podría tener beneficios prácticos reales. El equipo de la Universidad de California en Berkeley está ansioso por probarlo en robots que emplean el aprendizaje reforzado para averiguar cómo hacer cosas como agarrar objetos con formas irregulares. Agrawal señala que los robots pueden malgastar una enorme cantidad de tiempo ejecutando gestos aleatorios. Pero cuando se dote de una curiosidad innata, el robot debería explorar su entorno y experimentar con objetos cercanos con mayor rapidez, afirma.
nEl investigador científico de la Universidad de Nueva York (EEUU) Brenden Lake, que desarrolla modelos informáticos de las capacidades cognitivas humanas, dice que el trabajo parece prometedor. Según sus palabras, "desarrollar máquinas con calidades similares representa un importante paso hacia el desarrollo de máquinas que aprendan y piensen como personas. Es muy impresionante que el aprendizaje basado en la curiosidad, por sí solo, haya aprendido a navegar un nivel de Mario Bros cuando ni siquiera se fija en la puntuación del juego".
nTambién asegura que, en realidad, la curiosidad del nuevo programa en realidad difiere bastante de, digamos, la de un niño. Los humanos tendemos a mostrar un interés mucho más profundo en nuestro mundo, explica. En este caso se trata de "una forma de curiosidad muy egocéntrica", añade Luke. "El agente solo siente curiosidad sobre características de su entorno que le afectan directamente. Las personas muestran una curiosidad más amplia, quieren aprender cosas del mundo aunque no estén relacionadas con sus propias acciones".
n