"Esta es una de las aplicaciones más desafiantes del aprendizaje reforzado en un sistema del mundo real", afirma el investigador de DeepMind Martin Riedmiller.
nEn la fusión nuclear, los núcleos atómicos de los átomos de hidrógeno se unen para formar átomos más pesados, como el helio. Esto produce mucha energía en relación con una pequeña cantidad de combustible, lo que la convierte en una fuente de energía muy eficiente. Es mucho más limpia y segura que los combustibles fósiles o la energía nuclear convencional, que se crea por fisión, lo que obliga a los núcleos a separarse. También es el proceso que alimenta las estrellas.
nSin embargo, controlar la fusión nuclear en la Tierra es difícil. El problema consiste en que los núcleos atómicos se rechazan entre sí. Juntarlos dentro de un reactor solo se puede hacer a temperaturas extremadamente altas, que a menudo alcanzan cientos de millones de grados, con más calor que en el centro del Sol. A estas temperaturas, la materia no es ni sólida, ni líquida ni gaseosa. Entra en un cuarto estado, conocido como plasma: una sopa densa y sobrecalentada de partículas.
nLa tarea es mantener unido el plasma dentro de un reactor el tiempo suficiente para extraer su energía. Dentro de las estrellas, el plasma se mantiene unido por la gravedad. En la Tierra, los investigadores usan varios trucos, incluidos láseres e imanes. En el reactor que se basa en imanes, conocido como Tokamak, el plasma queda atrapado dentro de una jaula electromagnética; esto lo obliga a mantener su forma y evita que toque las paredes del reactor, lo que enfriaría el plasma y dañaría el reactor.
nEl control del plasma requiere una constante supervisión y manipulación del campo magnético. El equipo entrenó su algoritmo de aprendizaje reforzado para hacerlo dentro de una simulación. Cuando el algoritmo aprendió a controlar y cambiar la forma del plasma dentro de un reactor virtual, los investigadores le dieron el control de los imanes en el Tokamak de Configuración Variable (TCV), el reactor experimental en Lausana. Descubrieron que la IA podía controlar el reactor real sin ningún ajuste adicional. En total, la IA controló el plasma durante solo dos segundos, el máximo que el reactor TCV puede funcionar para no calentarse demasiado.
nReacciones rápidas
nDiez mil veces por segundo, la entrenada red neuronal toma 90 medidas diferentes que describen la forma y la posición del plasma y ajusta la tensión en 19 imanes en respuesta. Este ciclo de retroalimentación es mucho más rápido de lo que habían tenido los anteriores algoritmos de aprendizaje reforzado. Para acelerar las cosas, la IA se dividió en dos redes neuronales. La red más grande, llamada crítica, aprendió por ensayo y error cómo controlar el reactor dentro de la simulación. Luego, la habilidad de la red crítica se codificó en otra red más pequeña y rápida, llamada actor, que se ejecuta en el propio reactor.
n"Es un método increíblemente potente", asegura el experto del Instituto Holandés para la Investigación de la Energía Fundamental Jonathan Citrin, que no participó en este trabajo. "Es un primer paso importante en una dirección muy fascinante".
nLos investigadores creen que el uso de IA para controlar el plasma facilitará la experimentación con diferentes condiciones dentro de los reactores, ayudando a comprender el proceso y tal vez acelerando el desarrollo de la fusión nuclear comercial. La IA también aprendió a controlar el plasma ajustando los imanes de una manera que los humanos no habían probado antes, lo que sugiere que puede haber nuevas configuraciones de reactores para explorar.
nEl director del Swiss Plasma Center y presidente del Eurofusion Consortium, Ambrogio Fasoli, resalta: "Con este tipo de sistema de control podemos asumir riesgos que de otro modo no nos atreveríamos a tomar". Los operadores humanos a menudo no están dispuestos a llevar el plasma más allá de ciertos límites. Fasoli destaca: "Hay cosas que debemos evitar rotundamente porque dañan el dispositivo. Si estamos seguros de que tenemos un sistema de control que nos acerca a los límites, pero no los supera, entonces podemos explorar más posibilidades. Podemos acelerar la investigación".
n