Estas palabras proceden directamente de una reseña que recibí sobre un artículo que envié a la conferencia NeurIPS (Sistemas de procesamiento de información neuronal), un lugar destacado para la investigación del aprendizaje automático. He visto esta frase muchas veces en las reseñas de artículos en los que mis compañeros y yo presentamos un método motivado por una aplicación, y he escuchado historias similares de muchos otros casos parecidos.
nEsto me hace pensar: si la comunidad cree que el objetivo de resolver problemas del mundo real de alto impacto con el aprendizaje automático tiene una importancia limitada, ¿qué estamos intentando conseguir?
nEl objetivo de la inteligencia artificial (IA) consiste en ampliar la frontera de la inteligencia de las máquinas. En el campo del aprendizaje automático, un desarrollo novedoso generalmente significa un nuevo algoritmo o procedimiento o, en el caso del aprendizaje profundo, una nueva arquitectura de red. Como han señalado otros, este exagerado foco en los métodos novedosos conduce a una gran cantidad de artículos que informan sobre algunas mejoras marginales o incrementales en los conjuntos de datos de referencia y exhiben erudición defectuosa a medida que los investigadores compiten por encabezar la clasificación.
nMientras tanto, muchos artículos que describen nuevas aplicaciones presentan conceptos novedosos y resultados de alto impacto. Pero incluso una pizca de la palabra "aplicación" parece estropear el artículo para los revisores. Como resultado, este tipo de investigación queda marginada en las principales conferencias. La única esperanza real de sus autores es que sus artículos sean aceptados en talleres, que rara vez reciben la misma atención de la comunidad.
nEsto representa un problema porque el aprendizaje automático tiene un gran potencial para mejorar la salud, la agricultura, los descubrimientos científicos y mucho más. La primera imagen de un agujero negro se produjo gracias al aprendizaje automático. Las predicciones más precisas de las estructuras de las proteínas, un paso importante para el descubrimiento de fármacos, se realizan mediante aprendizaje automático. Si otros miembros del campo hubieran dado prioridad a las aplicaciones en el mundo real, ¿qué más descubrimientos innovadores hubiéramos tenido hasta ahora?
nNo se trata de una revelación nueva. Citaré un artículo titulado Machine Learning that Matters, de la científica informática de la NASA Kiri Wagstaff: "Gran parte de la investigación actual sobre aprendizaje automático ha perdido su conexión con los problemas importantes para el mundo más amplio de la ciencia y la sociedad". El mismo año en el que Wagstaff publicó su artículo, la red neuronal convolucional AlexNet ganó un concurso del reconocimiento de imágenes de alto nivel centrado en el popular conjunto de datos ImageNet, lo que llevó a una explosión de interés en el aprendizaje profundo. Lamentablemente, la pérdida de conexión que describió Wagstaff parece haberse agravado desde entonces.
nLas preguntas equivocadas
nMarginar la investigación aplicada tiene consecuencias reales. Los conjuntos de datos de referencia, como ImageNet y COCO, han sido claves para fomentar el aprendizaje automático. Permiten entrenar y comparar los algoritmos con los mismos datos. Sin embargo, estos conjuntos de datos contienen sesgos que se pueden incorporar en los modelos resultantes.
nMás de la mitad de las imágenes de ImageNet provienen de Estados Unidos y Gran Bretaña, por ejemplo. Ese desequilibrio lleva a los sistemas a clasificar las imágenes de manera inexacta en categorías que difieren según la geografía. Los populares conjuntos de datos de rostros, como la Base de datos de rostros de AT&T, contienen principalmente a sujetos masculinos de piel clara, lo que provoca que los sistemas tengan dificultades para reconocer los rostros de piel oscura y mujeres.
nnMientras que los investigadores intentan superarse unos a otros en puntos de referencia artificiales, una de cada nueve personas en el mundo se muere de hambre.
n
Cuando los estudios sobre las aplicaciones del aprendizaje automático en el mundo real se excluyen de la línea principal de investigación, resulta difícil para los investigadores ver el impacto de sus modelos sesgados, por lo que es mucho menos probable que hagan algo para resolver estos problemas.
nUna razón por la que se minimiza la investigación aplicada podría ser que otros en el aprendizaje automático piensan que este trabajo consiste simplemente en aplicar algunos métodos que ya existen. Sin embargo, en realidad, adaptar las herramientas de aprendizaje automático a algunos problemas específicos del mundo real requiere un gran trabajo algorítmico y de ingeniería. Los investigadores de aprendizaje automático que no son conscientes de esto y esperan que las herramientas funcionen "por sí solas" a menudo acaban creando modelos ineficaces. O evalúan el rendimiento de un modelo utilizando métricas que no se traducen en un impacto en el mundo real, o eligen el objetivo equivocado por completo.
nPor ejemplo, la mayoría de los estudios que aplican el aprendizaje profundo al análisis de ecocardiogramas intentan superar la capacidad de un médico para predecir alguna enfermedad. Pero, lo cierto es que predecir la función cardíaca normal ahorraría más tiempo a los cardiólogos al identificar a los pacientes que no necesitan su atención. Muchos estudios que aplican el aprendizaje automático a la viticultura tienen como objetivo optimizar el rendimiento de la uva, pero los enólogos "quieren los adecuados niveles de azúcar y ácido, no solo muchas uvas grandes y llenas de agua", asegura el representante de Whitcraft Winery Drake Whitcraft de California (EE. UU.).
nMás daños que beneficios
nOtra razón por la que la investigación de aplicaciones debería ser importante para el aprendizaje automático convencional es que los conjuntos de datos de referencia del campo lamentablemente están fuera de contacto con la realidad.
nLos nuevos modelos de aprendizaje automático se comparan con los grandes conjuntos de datos seleccionados que carecen de ruido y tienen categorías bien definidas y etiquetadas explícitamente (gato, perro, pájaro). El aprendizaje profundo resuelve bien estos problemas porque supone un mundo en gran parte estable (pdf).
nPero en el mundo real, estas categorías cambian constantemente con el tiempo o según el contexto geográfico y cultural. Desafortunadamente, la respuesta no ha consistido en desarrollar nuevos métodos que aborden las dificultades de los datos del mundo real; más bien, ha habido un impulso para que los investigadores de aplicaciones creen sus propios conjuntos de datos de referencia.
nEl objetivo de estos esfuerzos es básicamente incluir los problemas del mundo real en el paradigma que utilizan otros investigadores de aprendizaje automático para medir el rendimiento. Pero es probable que los conjuntos de datos específicos del campo no sean mejores que las versiones existentes para representar los escenarios del mundo real. Los resultados podrían crear más daños que beneficios. Las personas que podrían haber sido beneficiadas por el trabajo de estos investigadores se desilusionarán con las tecnologías que funcionan mal cuando más se necesitan.
nDebido a las prioridades equivocadas del campo, las personas que intentan resolver los mayores desafíos del mundo no se están beneficiando tanto como podrían de la promesa real de la IA. Mientras que los investigadores intentan superarse unos a otros en puntos de referencia artificiales, una de cada nueve personas en el mundo se muere de hambre. La Tierra se está calentando y el nivel del mar está aumentando a un ritmo alarmante.
nComo escribió el neurocientífico y líder de pensamiento sobre IA Gary Marcus: "Las mayores contribuciones de la IA a la sociedad... podrían y deberían en última instancia surgir en los campos como el descubrimiento científico automatizado, conduciendo entre otras cosas hacia las versiones mucho más sofisticadas de la medicina de las que son posibles actualmente. Pero para llegar hasta allí, debemos asegurarnos de que el campo en su conjunto no se quede atascado primero en un mínimo local".
nPara que el mundo se beneficie del aprendizaje automático, la comunidad debe volver a preguntarse, tal y como dijo Wagstaff: "¿Cuál es la función objetivo del campo?" Si la respuesta es tener un impacto positivo en el mundo, debemos cambiar nuestra forma de pensar sobre las aplicaciones.
n