Para ello, usaron una técnica llamada entrenamiento basado en la población (PBT por sus siglas en inglés), previamente desarrollada por DeepMind para perfeccionar los algoritmos de videojuegos. PBT, que se inspira en la evolución biológica, acelera la selección de algoritmos y parámetros de aprendizaje automático para una tarea en particular haciendo que el código adecuado se extraiga de los especímenes "más aptos" (aquellos que realizan la tarea determinada de la forma más eficiente) en una población algorítmica.
nRefinar los algoritmos de IA de esta manera también puede contribuir a dar una ventaja a Waymo. Los algoritmos que guían a los coches autónomos deben volver a entrenarse y recalibrarse a medida que los vehículos recopilan más datos y se usan en nuevas ubicaciones. Decenas de compañías están compitiendo para conseguir la mejor tecnología de conducción autónoma en carreteras reales. Waymo está explorando otras formas de automatizar y acelerar el desarrollo de sus algoritmos de aprendizaje automático.
nDe hecho, los métodos más eficientes para volver a entrenar el código de aprendizaje automático deberían permitir que la IA sea flexible y útil en diferentes contextos. "Uno de los principales desafíos para cualquier persona que se dedica al aprendizaje automático en un sistema industrial es poder reconstruir el sistema para aprovechar el nuevo código", explica el director de infraestructura de aprendizaje automático de Waymo, Matthieu Devin. "Debemos volver a entrenar la red constantemente y reescribir nuestro código. Y cuando volvemos a entrenarla, es posible que tengamos que modificar los parámetros".
nLos coches autónomos modernos están controlados por una combinación de algoritmos y técnicas muy sofisticados. Numerosos algoritmos de aprendizaje automático se utilizan para detectar las líneas de carril, señales, otros vehículos y peatones con los datos de los sensores. Además, trabajan conjuntamente con un código convencional, o escrito a mano, para controlar el vehículo y responder a diferentes circunstancias. Cada nueva iteración de un sistema de conducción autónoma se debe probar minuciosamente en una simulación.
nEn particular, los vehículos autónomos de hoy en día dependen en gran medida del aprendizaje profundo. Sin embargo, configurar una red neuronal profunda con las propiedades y los parámetros correctos (los valores que se programan al inicio) es bastante complicado. La mayoría de las redes y parámetros adecuados se seleccionan manualmente, algo que requiere mucho tiempo, o se modifican aleatoriamente por un ordenador, lo que requiere una gran potencia de procesamiento.
n"En Waymo entrenamos muchísimas redes neuronales diferentes y los investigadores dedican mucho tiempo a encontrar la mejor manera de hacerlo", afirma la ingeniera de infraestructura de aprendizaje automático en Waymo Yu-hsin (Joyce) Chen. "Había una demanda y simplemente aprovechamos la oportunidad".
nChen asegura que su equipo utiliza la técnica PBT ahora para mejorar el desarrollo del código de aprendizaje profundo que se usa para detectar marcas de carril, vehículos y peatones y para verificar la precisión de los datos etiquetados que se utilizan en otros algoritmos de aprendizaje automático. También afirma que PBT ha permitido reducir a aproximadamente la mitad la potencia de procesamiento necesaria para volver a entrenar una red neuronal y ha duplicado o triplicado la velocidad del ciclo de desarrollo.
nGoogle está desarrollando una serie de técnicas para ayudar a automatizar el proceso de entrenamiento de los modelos de aprendizaje automático y ya ofrece algunas de ellas a los clientes a través de un proyecto conocido como Cloud Auto-ML. Hacer que el entrenamiento de la IA se vuelva más eficiente y automatizado será sin duda algo crucial para los esfuerzos por comercializar y sacar provecho a la tecnología.
nEl principal investigador científico de DeepMind y uno de los inventores de PBT, Oriol Vinyals, recuerda que la idea de usar PBT en Waymo surgió cuando estaba de viaje. Vinyals y sus colegas desarrollaron la técnica en 2017 como una forma de acelerar el entrenamiento de las redes neuronales, usándola después para ayudar a un ordenador a jugar al StarCraft II, un videojuego de combate especialmente complicado para las máquinas, a través del aprendizaje reforzado (ver Innovadores menores de 35 años, 2016). La colaboración de DeepMind con Waymo comenzó incluso antes de que se publicara su investigación sobre StarCraft en enero de 2019.
nEl proceso similar a la evolución empleado en PBT también hace que sea más fácil entender cómo el algoritmo de aprendizaje profundo se ha ajustado y optimizado, de un modo que recuerda a un árbol genealógico. "Una de las cosas muy interesantes es que se puede visualizar la evolución de los parámetros", explica Vinyals. "Es una buena forma de verificar que lo que sucede realmente tiene sentido".
n