Pero muchos aspectos del aprendizaje automático están muy lejos alcanzar el rendimiento humano. En particular, los seres humanos tienen la extraordinaria capacidad de actualizar constantemente sus recuerdos con información más importante que se sobrescribe sobre la que ya no es útil.
nEs una habilidad importante. El mundo proporciona una fuente inagotable de datos, aunque muchos son irrelevantes para la complicada tarea de la supervivencia, y la mayoría resultan imposibles de almacenar en una memoria limitada. Así que los humanos y otras criaturas han desarrollado estrategias para retener datos importantes y olvidar los irrelevantes.
n
Foto: Las redes neuronales ahora están aprendiendo a olvidar.
nNo se puede decir lo mismo de las máquinas. Cualquier nueva habilidad se sobrescribe independientemente de su importancia. Actualmente no existe ningún mecanismo fiable para priorizar estas habilidades y decidir qué recordar y qué olvidar.
nPero eso podría cambiar gracias al trabajo del investigador de la Universidad de Lovaina (Bélgica) y de Facebook AI Research Rahaf Aljundi y varios compañeros. El equipo ha demostrado que el enfoque que utilizan los sistemas biológicos para aprender y olvidar puede aplicarse a las redes neuronales artificiales.
nLa clave es un proceso conocido como aprendizaje hebbiano, propuesto por primera vez en la década de 1940 por el psicólogo canadiense Donald Hebb para explicar la forma en la que los cerebros aprenden a través de la plasticidad sináptica. La teoría de Hebb se puede resumir como "las células que se activan unidas permanecen unidas".
nEn otras palabras, las conexiones entre las neuronas se refuerzan cuando se activan simultáneamente, y estas conexiones son, por lo tanto, más difíciles de romper. Así es como aprendemos: la repetida activación sincronizada de las neuronas hace que las conexiones entre ellas sean más fuertes y más difíciles de sobrescribir.
nBajo esta premisa, el equipo de Aljundi ha desarrollado un mecanismo para que las redes neuronales artificiales se comporten de la misma manera. Para ello, el equipo mide los resultados de una red neuronal y monitoriza su sensibilidad frente a los cambios en las conexiones dentro de la red.
nEsto les da una idea de qué parámetros de red son más importantes y, por tanto, deben ser conservados. "Al aprender una nueva tarea, los cambios en parámetros importantes se penalizan", detalla el equipo. Y añade que la red resultante contiene "sinapsis conscientes de la memoria".
nEl equipo ha probado su enfoque con conjuntos de pruebas en los que una red neuronal capacitada para hacer una tarea recibe datos que la capacitan para hacer otra cosa. Por ejemplo, a una red entrenada para reconocer flores se le muestran pájaros. Después, se la vuelve a alimentar con flores para ver cuánta de esta habilidad ha sido preservada.
nLas redes neuronales con sinapsis conscientes de la memoria tienen un mejor rendimiento en estas pruebas que otras redes. En otras palabras, conservan más de la habilidad original que las redes sin esta capacidad, aunque los resultados, ciertamente, dejan margen de mejora.
nEl punto clave es que el equipo ha encontrado una forma para aplicar el aprendizaje hebbiano a las redes neuronales. La investigación afirma: "demostramos que una versión local de nuestro método ofrece una aplicación directa de la teoría de Hebb para identificar las conexiones importantes entre las neuronas".
nEsto podría ser importante para el futuro del aprendizaje automático. Si el equipo logra que su versión hebbiana aprenda mejor, las máquinas serían más flexibles en su aprendizaje, lo que les permitiría adaptarse mejor al mundo real.
nRef: arxiv.org/abs/1711.09601: Memory Aware Synapses: Learning What (Not) To Forget
n