El aprendizaje profundo está cambiando la forma en la que usamos y pensamos en las máquinas. Los programas actuales son mejores que los humanos en todo tipo de tareas, desde el ajedrez hasta el reconocimiento facial (ver Reconocer caras: un negocio que vale millones y revoluciona industrias) y el reconocimiento de objetos (ver La nueva victoria médica de la IA es esta máquina que detecta arritmias mejor que el médico).

Pero muchos aspectos del aprendizaje automático están muy lejos alcanzar el rendimiento humano. En particular, los seres humanos tienen la extraordinaria capacidad de actualizar constantemente sus recuerdos con información más importante que se sobrescribe sobre la que ya no es útil.

Es una habilidad importante. El mundo proporciona una fuente inagotable de datos, aunque muchos son irrelevantes para la complicada tarea de la supervivencia, y la mayoría resultan imposibles de almacenar en una memoria limitada. Así que los humanos y otras criaturas han desarrollado estrategias para retener datos importantes y olvidar los irrelevantes.

Foto: Las redes neuronales ahora están aprendiendo a olvidar.

No se puede decir lo mismo de las máquinas. Cualquier nueva habilidad se sobrescribe independientemente de su importancia. Actualmente no existe ningún mecanismo fiable para priorizar estas habilidades y decidir qué recordar y qué olvidar.

Pero eso podría cambiar gracias al trabajo del investigador de la Universidad de Lovaina (Bélgica) y de Facebook AI Research Rahaf Aljundi y varios compañeros. El equipo ha demostrado que el enfoque que utilizan los sistemas biológicos para aprender y olvidar puede aplicarse a las redes neuronales artificiales.

La clave es un proceso conocido como aprendizaje hebbiano, propuesto por primera vez en la década de 1940 por el psicólogo canadiense Donald Hebb para explicar la forma en la que los cerebros aprenden a través de la plasticidad sináptica. La teoría de Hebb se puede resumir como "las células que se activan unidas permanecen unidas".

En otras palabras, las conexiones entre las neuronas se refuerzan cuando se activan simultáneamente, y estas conexiones son, por lo tanto, más difíciles de romper. Así es como aprendemos: la repetida activación sincronizada de las neuronas hace que las conexiones entre ellas sean más fuertes y más difíciles de sobrescribir.

Bajo esta premisa, el equipo de Aljundi ha desarrollado un mecanismo para que las redes neuronales artificiales se comporten de la misma manera. Para ello, el equipo mide los resultados de una red neuronal y monitoriza su sensibilidad frente a los cambios en las conexiones dentro de la red.

Esto les da una idea de qué parámetros de red son más importantes y, por tanto, deben ser conservados. "Al aprender una nueva tarea, los cambios en parámetros importantes se penalizan", detalla el equipo. Y añade que la red resultante contiene "sinapsis conscientes de la memoria".

El equipo ha probado su enfoque con conjuntos de pruebas en los que una red neuronal capacitada para hacer una tarea recibe datos que la capacitan para hacer otra cosa. Por ejemplo, a una red entrenada para reconocer flores se le muestran pájaros. Después, se la vuelve a alimentar con flores para ver cuánta de esta habilidad ha sido preservada.

Las redes neuronales con sinapsis conscientes de la memoria tienen un mejor rendimiento en estas pruebas que otras redes. En otras palabras, conservan más de la habilidad original que las redes sin esta capacidad, aunque los resultados, ciertamente, dejan margen de mejora.

El punto clave es que el equipo ha encontrado una forma para aplicar el aprendizaje hebbiano a las redes neuronales. La investigación afirma: "demostramos que una versión local de nuestro método ofrece una aplicación directa de la teoría de Hebb para identificar las conexiones importantes entre las neuronas".

Esto podría ser importante para el futuro del aprendizaje automático. Si el equipo logra que su versión hebbiana aprenda mejor, las máquinas serían más flexibles en su aprendizaje, lo que les permitiría adaptarse mejor al mundo real.

Ref: arxiv.org/abs/1711.09601: Memory Aware Synapses: Learning What (Not) To Forget