De hecho, los niños a veces no necesitan ningún ejemplo para identificar algo. Si se les muestran fotos de un caballo y un rinoceronte, y se les explica que un unico io es algo entre un animal y el otro, los niños podrían reconocer a la criatura mítica en la imagen de un libro la primera vez que la vean.
n
Un nuevo artículo de la Universidad de Waterloo en Ontario (Canadá) sugiere que los modelos de IA también podrían ser capaces de hacerlo, bajo un proceso que han bautizado como aprendizaje "less than one-shot" o LO-shot. Según su definición, con esta técnica, un modelo de IA debería poder reconocer con precisión más objetos que la cantidad de ejemplos en los que fue entrenado. El enfoque podría representar un gran avance para este campo, que se vuelve cada vez más caro e inaccesible a medida que los conjuntos de datos utilizados crecen sin parar.
nCómo funciona el aprendizaje "less than one-shot"
nLos investigadores primero demostraron su enfoque con el popular conjunto de datos de visión artificial conocido como MNIST, que contiene 60.000 imágenes de entrenamiento de dígitos escritos a mano del 0 al 9 y que se utiliza a menudo para probar nuevas ideas en el campo.
nEn un artículo anterior, investigadores del MIT (EE. UU.) habían introducido una técnica para "destilar" conjuntos de datos gigantes en grupos más pequeños y, como prueba de concepto, comprimieron el conjunto de datos MNIST a sólo 10 imágenes. Dichas imágenes no fueron seleccionadas del conjunto de datos original, sino que se diseñaron y optimizaron cuidadosamente para contener una cantidad de información equivalente al conjunto completo. Como resultado, cuando un modelo de IA se entrene exclusivamente con esas 10 imágenes, podría lograr casi la misma precisión que otro entrenado en todas las imágenes del MNIST.
n
Foto: Imágenes de muestra del conjunto de datos MNIST. Créditos: Wikimedia
n
Foto: Las 10 imágenes "destiladas" de MNIST que pueden entrenar a un modelo de IA para lograr una precisión de reconocimiento del 94 % de los dígitos manuscritos. Créditos: Tongzhou Wang 'et al'.
nLos investigadores de Waterloo querían llevar el proceso de destilación más allá. Si es posible reducir 60.000 imágenes a 10, ¿por qué no comprimirlas a cinco? Se dieron cuenta de que el truco consistía en crear imágenes que combinaran varios dígitos y marcarlas con etiquetas híbridas o "suaves" (como el ejemplo del caballo y rinoceronte, ambos con rasgos de unico io).
nEl estudiante de doctorado en la Universidad de Waterloo y autor principal del artículo, Ilia Sucholutsky, explica: "Si pensamos en el número 3, vemos que también se parece al 8 pero no tiene nada que ver con el 7. Las etiquetas suaves intentan capturar estas partes compartidas. Así que, en vez de decirle a la máquina: 'Esta imagen es el dígito 3', le decimos: 'Esta imagen representa el 60 % del dígito 3, 30 % del dígito 8 y 10 % del dígito 0'".
nLos límites del aprendizaje LO-shot
nCuando los investigadores lograron usar con éxito las etiquetas suaves para conseguir el aprendizaje LO-shot con MNIST, empezaron a preguntarse hasta dónde podría llegar esta idea. ¿Existe un límite en la cantidad de categorías que se pueden enseñar a un modelo de IA para identificar a partir de un pequeño número de ejemplos?
nSorprendentemente, la respuesta parece ser que no. Con etiquetas suaves cuidadosamente diseñadas, en teoría, incluso solo dos ejemplos podrían codificar cualquier número de categorías. "Con dos puntos, es posible separar 1.000 clases, 10.000 clases, un millón de clases", asegura Sucholutsky.
n
Foto: Agrupar las manzanas (puntos verdes y rojos) y naranjas (puntos naranjas) por peso y color. Créditos: Adaptado de una diapositiva de "MACHINE LEARNING 101" de Jason Mayes
nEsto es lo que los investigadores han demostrado en su último artículo, a través de una exploración puramente matemática. Desarrollan el concepto con uno de los algoritmos de aprendizaje automático más simples, conocido como k-nearest neighbors (kNN), que clasifica los objetos mediante un enfoque gráfico.
nPara comprender cómo funciona kNN, un ejemplo sería la tarea de clasificar las frutas. Si queremos entrenar a un modelo kNN para entender la diferencia entre las manzanas y las naranjas, primero hay que elegir las características que utilizaríamos para representar cada fruta. Si eligiéramos el color y el peso, deberíamos introducir un punto de datos con el color de cada fruta como valor x y su peso como valor y en el kNN.
nLuego, el algoritmo kNN agruparía todos los puntos de datos en un gráfico 2D y crearía una línea divisoria entre las manzanas y las naranjas. En este punto, la gráfica se dividiría claramente en dos clases, y el algoritmo ya podría decidir si los nuevos puntos de datos representan una u otra fruta en función del lado de la línea en el que se encuentren.
nPara explorar el aprendizaje LO-shot con el algoritmo kNN, los investigadores crearon una serie de pequeños conjuntos de datos sintéticos y diseñaron cuidadosamente sus etiquetas suaves. Luego dejaron que kNN trazara las líneas limítrofes que detectaba y descubrieron que dividió el gráfico con éxito en más clases que puntos de datos. Los investigadores también tenían un alto nivel de control sobre dónde aparecían las líneas divisorias. Con varios ajustes en las etiquetas suaves, consiguieron que el algoritmo kNN dibujara patrones precisos en forma de flores.
n
Foto: Los investigadores utilizaron ejemplos con etiquetas suaves para entrenar al algoritmo kNN a codificar unas líneas limítrofes cada vez más complejas, dividiendo el gráfico en muchas más clases que puntos de datos. Cada una de las áreas coloreadas en los gráficos representa una clase diferente, mientras que los gráficos circulares laterales muestran la distribución de las etiquetas suaves para cada punto de datos. Créditos: Ilia Sucholutsky 'et al'.
nPor supuesto que esta exploración teórica tiene limitaciones. Si bien la idea del aprendizaje LO-shot debería poder transferirse a algoritmos más complejos, la tarea de diseñar ejemplos con etiquetas suaves se vuelve sustancialmente más difícil. El algoritmo kNN es interpretable y visual, y por eso es posible que los humanos diseñen las etiquetas, pero las redes neuronales son complicadas e impenetrables, lo que significa que no es tan factible realizar lo mismo.
nLa destilación de datos, que funciona para diseñar ejemplos de etiquetas suaves para las redes neuronales, también tiene una gran desventaja: requiere empezar con un conjunto de datos gigante para reducirlo a otro más eficiente.
nSucholutsky ya está trabajando para descubrir otras formas de diseñar estos pequeños conjuntos de datos sintéticos, ya sea a mano o con otro algoritmo. Sin embargo, a pesar de estos desafíos de investigación adicionales, el artículo proporciona las bases teóricas para el aprendizaje LO-shot. "La conclusión es que, en función del tipo de conjuntos de datos que haya, probablemente sea posible obtener enormes mejoras de eficiencia".
nEsto es lo que más le interesa al estudiante de doctorado del MIT Tongzhou Wang, que dirigió la investigación anterior sobre la destilación de datos. En referencia a la contribución de Sucholutsky, afirma: "El trabajo se basa en un objetivo realmente novedoso e importante: en los poderosos modelos que aprenden a partir de pequeños conjuntos de datos".
nEl investigador del Instituto de Ética de la IA de Montreal (Canadá) Ryan Khurana comparte esta opinión: "Lo más significativo es que el aprendizaje de 'less than one-shot' reduciría radicalmente los requisitos de datos para construir un modelo funcional". Esto podría lograr que la IA se vuelva más accesible para empresas e industrias que hasta ahora se han visto obstaculizadas por los requisitos de datos del campo. También podría mejorar la privacidad de los datos, porque se usaría menos información de las personas para entrenar a los modelos.
nSucholutsky subraya que, aunque la investigación no ha hecho más que empezar, está ilusionado. Admite que cada vez que empieza a presentar su artículo a otros investigadores, su reacción inicial es la de que su idea es imposible. Pero, cuando se dan cuenta de que no lo es, se abre un mundo completamente nuevo.
n