En una nueva colaboración con IBM Research, el Instituto Politécnico Rensselaer (RPI, por sus siglas en inglés, en EE. UU.) acaba de presentar una alte ativa a sus estudiantes de chino: un ento o virtual en 360° que los teletransporta a las concurridas calles de Pekín (China) o a un restaurante chino lleno de gente. Los estudiantes pueden regatear con los vendedores ambulantes o pedir comida. El ento o está equipado con diferentes capacidades de inteligencia artificial (IA) para responder en tiempo real. Aunque este tipo de aula es en gran parte experimental, este verano se usará por primera vez en un curso de seis semanas para obtener créditos en la universidad.
nEl proyecto nace de dos profesores de la RPI que solían usar juegos de rol para ayudar a sus estudiantes a aprender chino. Paralelamente, en los últimos años, varios estudios han encontrado que los ento os de aprendizaje interactivos pueden aumentar la comprensión y la retención del lenguaje. Un estudio publicado en 2018 también descubrió que estudiar japonés en un ento o virtual en 3D aumentaba las posibilidades de los estudiantes de aprender el vocabulario que encontraban casualmente a través de la simulación. A partir de estas ideas, los profesores establecieron una colaboración con IBM Research para explorar si podrían replicar esos beneficios para sus propios estudiantes.
nAdemás de rodear a los estudiantes con proyecciones digitales de una escena, el ento o utiliza varios tipos de sensores para adaptarse a las palabras y acciones de los estudiantes. Los micrófonos de los participantes introducen su audio directamente en los algoritmos de reconocimiento de voz. Las cámaras siguen sus movimientos y gestos para registrar cuando señalan varios objetos o se acercan a diferentes agentes virtuales. Si un estudiante señala un plato de comida y pregunta qué es, un agente virtual puede responderle con el nombre y la descripción del plato. La tecnología de generación de narrativa también permite que cada agente construya sobre la marcha respuestas más sofisticadas a las preguntas a través de Wikipedia. (No obstante, los temas de conversación todavía están algo limitados a alguna tarea que el estudiante esté tratando de completar).
n
Foto: Las cámaras y los sensores siguen los gestos de los estudiantes para que puedan apuntar libremente a los objetos en una escena para participar. Créditos: Instituto Politécnico Rensselaer
nMuchas de las tecnologías que incorpora el espacio son productos ya disponibles, combinados para crear una experiencia única. Pero algunas se tuvieron que desarrollar específicamente para este proyecto. El chino mandarín, por ejemplo, tiene cinco tonos que resultan desafiantes para muchos nuevos estudiantes, pero que son cruciales para transmitir un significado. Si se pronuncia mal la palabra "vender" (卖mài) uno puede acabar diciendo "comprar" (买mǎi). Así que los investigadores crearon un algoritmo capaz de analizar el tono. El sistema lo compara con los de los hablantes nativos y muestra las diferencias, y luego proporciona comentarios visuales y de audio directamente en el ento o. Esto permite a los estudiantes preguntar a un agente virtual cómo se pronuncia algo para comenzar a practicar el nuevo vocabulario.
nEl director del Laboratorio de Sistemas Cognitivos e Inmersión de IBM Research, Hui Su, que lidera la iniciativa, explica que su equipo aún está en las primeras etapas de entender los resultados. Pero en una prueba piloto a finales de 2017, los investigadores descubrieron que su uso aumentaba cualitativamente la participación y el disfrute de los estudiantes en el aprendizaje de idiomas, y los ayudó a aprender rápido nuevas palabras.
nAntes del ejercicio de pedir comida en un restaurante, por ejemplo, a los estudiantes no se les enseñó a pagar su comida, pero al observar a sus compañeros y conversar con los agentes virtuales, muchos aprendieron el vocabulario necesario para hacerlo de forma autónoma. "Fue un poco sorprendente. Uno de los estudiantes dijo que esta debería ser la forma oficial de enseñar un idioma", recuerda Su.
n
Foto: Un algoritmo les da a los estudiantes una respuesta visual sobre su pronunciación de tonos. Créditos: Instituto Politécnico Rensselaer.
nEn su primer año, el nuevo curso utilizará el ento o virtual casi la mitad del tiempo y el resto se impartirá en un aula tradicional, aunque esto podría cambiar en el futuro. Si el aula proporciona pruebas sólidas de que mejora los resultados de aprendizaje, podría servir de modelo para otras enseñanzas. La idea más obvia sería extenderlo a otros idiomas. Pero también podría usarse fuera de las universidades para enseñar a ejecutivos y políticos, o para cualquier otra actividad de preparación que pueda beneficiarse de la simulación de escenarios y el juego de roles.
nAdemás, la iniciativa ayudará a la misión a largo plazo de comprender cómo los ento os cognitivos e inmersivos pueden afectar el aprendizaje, la colaboración y la comprensión, concluye Su.
n