El paso en falso de Meta, y su arrogancia, muestran una vez más que las Big Tech tienen un punto débil ante las fuertes limitaciones de los grandes modelos de lenguaje. Existe una gran cantidad de investigaciones que destacan los defectos de esta tecnología, incluida su tendencia a reproducir prejuicios y afirmar falsedades como hechos reales.
nSin embargo, Meta y otras empresas que trabajan con grandes modelos de lenguaje, incluido Google, no se lo han tomado en serio.
nGalactica es un gran modelo de lenguaje para la ciencia, entrenado en 48 millones de ejemplos de artículos científicos, sitios web, libros de texto, notas de conferencias y enciclopedias. Meta promocionó su modelo como un atajo para investigadores y estudiantes. En palabras de la empresa, Galactica "puede resumir trabajos académicos, resolver problemas matemáticos, generar artículos de tipo wiki, escribir código científico, anotar moléculas y proteínas, y mucho más".
nNo obstante, ese ba iz brillante se desgastó rápidamente. Como todos los modelos de lenguaje, Galactica es un bot descerebrado que no puede distinguir los hechos de la ficción. En cuestión de horas, los científicos estaban compartiendo sus resultados sesgados e incorrectos en las redes sociales.
n
"Estoy asombrado, pero no sorprendido por este nuevo esfuerzo", indica el profesor de la Universidad de Washington (EE UU) Chirag Shah, que estudia tecnologías de investigación. "Cuando se trata de hacer demostraciones de estas cosas, se ven fantásticas, mágicas e inteligentes. Sin embargo, la gente no parece entender por ahora que, en principio, esas cosas no pueden funcionar de la forma en la que son promocionadas".
nCuando se le pidió una aclaración sobre por qué había eliminado la demostración, Meta señaló a MIT Technology Review un tuit que ponía: "Gracias a todos por probar la demostración del modelo Galactica. Agradecemos los comentarios que hemos recibido hasta ahora de la comunidad y hemos detenido la demostración por ahora. Nuestros modelos están disponibles para los investigadores que desean aprender más sobre este trabajo y reproducir los resultados en un artículo".
nUno de los problemas fundamentales de Galactica es que no es capaz de distinguir entre la verdad y la mentira, un requisito básico para un modelo de lenguaje diseñado para generar texto científico. Los usuarios descubrieron que inventaba artículos falsos (a veces atribuyéndolos a autores reales) y generaba artículos tipo wiki sobre la historia de los osos en el espacio con la misma facilidad que producía publicaciones sobre complejos de proteínas y la velocidad de la luz. Resulta sencillo detectar la ficción cuando se trata de los osos espaciales, pero es más complicado cuando se trata de un tema del que los usuarios no saben demasiado.
nDe este modo, un gran número de científicos se opusieron. El director del Instituto Max Planck para Sistemas Inteligentes de Alemania, Michael Black, que trabaja en aprendizaje profundo, tuiteó: "En todos los intentos, el modelo era erróneo o sesgado, pero parecía correcto y autorizado. Creo que es peligroso".
n
Incluso las opiniones más positivas llegaron con advertencias claras: "¡Con ganas de ver a dónde se dirige esto!", tuiteó el astrofísico de la Universidad de Princeton (EE UU) Miles Cranmer. "Nunca hay que quedarse con el resultado ni confiar en el mismo. ¡Básicamente, hay que tratarlo como una búsqueda avanzada en Google de fuentes secundarias incompletas!", asegura.
nGalactica también muestra algunas lagunas en lo que puede hacer. Cuando se le pidió que generara texto sobre ciertos temas, como "racismo" y "SIDA", el modelo respondió: "Lo siento, su consulta no pasó nuestros filtros de contenido. Inténtelo de nuevo teniendo en cuenta que este es un modelo de lenguaje científico".
nEl equipo de Meta detrás de Galactica argumenta que los modelos de lenguaje son mejores que los motores de búsqueda. "Creemos que esta será la próxima interfaz sobre cómo las personas acceden al conocimiento científico", escriben los investigadores.
nEsto se debe a que los modelos de lenguaje pueden "potencialmente almacenar, combinar y razonar sobre" alguna información. No obstante, ese "potencialmente" es crucial: es una admisión camuflada de que los modelos de lenguaje aún no pueden hacer todas estas cosas. Y es posible que nunca sean capaces de hacerlo.
n"Los modelos de lenguaje no tienen realmente conocimientos más allá de su capacidad para capturar patrones de cadenas de palabras y publicarlas de manera probabilística. Eso crea una falsa sensación de inteligencia", indica Shah.
nGary Marcus, un científico cognitivo de la Universidad de Nueva York (EE UU) y crítico del aprendizaje profundo, dio su punto de vista en una publicación de Substack titulada "Unas palabras sobre las tonterías". En este artículo señaló que la capacidad de los grandes modelos de lenguaje para imitar el texto escrito por personas tan solo es "una hazaña superlativa de las estadísticas".
nSin embargo, Meta no es la única empresa que defiende la idea de que los modelos de lenguaje podrían reemplazar a los motores de búsqueda. Durante los últimos años, Google ha estado promocionando su modelo de lenguaje PaLM como una forma de buscar información.
nEs una idea tentadora, sí. Sin embargo, sugerir que el texto similar al humano que generan tales modelos siempre contendrá información fiable, como parece que Meta ha hecho en su promoción de Galáctica, es imprudente e irresponsable. Fue un error no forzado.
n
La culpa no solo la tiene el equipo de marketing de Meta. El ganador del premio Turing y científico jefe de Meta, Yann LeCun defendió a Galáctica hasta el final. El día que se lanzó el modelo, LeCun tuiteó: "Escriba un texto y Galactica generará un artículo con referencias relevantes, fórmulas y todo". Tres días después, tuiteó: "La demostración de Galactica está offline por ahora. Ya no es posible divertirse haciendo un mal uso de manera relajada. ¿Contentos?".
nNo es ni mucho menos un momento "Tay" para Meta. En 2016 Microsoft lanzó un chatbot llamado Tay en Twitter y lo desactivó 16 horas después cuando los usuarios de Twitter lo convirtieron en un sexbot racista y homófobo. Sin embargo, el enfoque de Galactica por parte de Meta recuerda a la misma ingenuidad.
n"Las grandes empresas de tecnología siguen haciendo esto, y recuerden mis palabras, no se detendrán, porque pueden. Y creen que deben hacerlo ya que, de lo contrario, alguien más podría. Piensan que ese es el futuro del acceso a la información, aunque nadie haya pedido ese futuro", concluye Shah.
n