Desarrollado por investigadores del Instituto Allen para la IA (AI2), una organización sin ánimo de lucro con de EE. UU., el AI2 Reasoning Challenge (ARC) (Desafío de Razonamiento AI2) planteará preguntas científicas con respuesta múltiple a nivel elemental. Cada pregunta requerirá cierta comprensión de cómo funciona el mundo. El proyecto se describe en este documento de investigación (PDF).
nUna de las preguntas sería esta: "¿Cuál de los siguientes objetos no está hecho de un material cultivado en la naturaleza? (A) Una camisa de algodón (B) Una silla de madera (C) Una cuchara de plástico (D) Una canasta de hierba".
nCualquiera que sepa que el plástico no crece en la tierra podrá responder fácilmente a la pregunta. Solo hace falta un poco de sentido común sobre el mundo a un nivel que incluso los niños pequeños poseen. Pero no puede decirse lo mismo de los asistentes de voz de IA, los bots de conversación y el software de traducción. Y es una de las razones por las que se confunden tan fácilmente.
nLos sistemas de lenguaje que se basan en el aprendizaje automático suelen dar respuestas convincentes a las preguntas si se las entrena con muchos ejemplos similares. Un programa entrenado con miles de conversaciones de soporte informático, por ejemplo, podría hacerse pasar por un ayudante de soporte técnico en situaciones concretas. Pero el programa no serviría para responder a preguntas que requieran un conocimiento más amplio.
nEl investigador principal del proyecto ARC, Peter Clark, detalla :"Necesitamos usar nuestro sentido común para llenar los vacíos alrededor del lenguaje para formar una imagen coherente de lo que nos están diciendo. Las máquinas no tienen este sentido común, por lo tanto, solo ven lo que está explícitamente escrito, y pasan por alto las muchas implicaciones y suposiciones que se dan por sentadas" (ver Conocer el contexto es la clave de que aún seamos más listos que la IA).
nLa competición forma parte de una iniciativa en AI2 para lograr que los sistemas de inteligencia artificial adquieran una mayor comprensión del mundo. Y parte de su importancia radica en que analizar el nivel de comprensión del lenguaje que tiene una máquina puede resultar complicado.
nPor ejemplo, en enero, investigadores de Microsoft y Alibaba desarrollaron programas de preguntas y respuestas que superaron a los humanos en una prueba simple llamada Conjunto de Datos de Respuesta de la Universidad de Stanford (SQuaD, por sus siglas en inglés). Estos avances generaron titulares que proclamaban que los programas de IA habían alcanzado un nivel de comprensión lectora superior al de los humanos. Pero en realidad, los programas no fueron capaces de responder las preguntas más complejas ni recurrir a otras fuentes de conocimiento.
nAún así, las empresas tecnológicas siguen dando bombo a sus avances. Microsoft anunció ayer que ha desarrollado un software capaz de traducir las noticias en inglés al chino, y viceversa, con resultados que los voluntarios independientes consideran equivalentes al trabajo de traductores profesionales. Los investigadores de la compañía utilizaron técnicas avanzadas de aprendizaje profundo para lograr un nuevo nivel de precisión. Y aunque este avance tiene muchísimo potencial, el sistema tendría problemas si se le pidiera que tradujera la conversación o el texto de una temática que no conoce, como las notas médicas.
nEl profesor de la Universidad de Nueva York (EE. UU.) Gary Marcus, un gran defensor de la necesidad de que la inteligencia artificial adquiera sentido común, está entusiasmado con el desafío AI2. El responsable afirma: "Creo que es un gran antídoto para las referencia superficiales que se han vuelto tan comunes en el campo del aprendizaje automático. Esto debería obligar a los investigadores de IA a mejorar su juego".
n