¿Por qué? Los grandes modelos informáticos que aprenden el lenguaje natural son un gran paso hacia la inteligencia artificial capaz de comprender el mundo humano e interactuar con él.
n¿Quién? OpenAI, Google y Facebook.
n¿Cuándo? Ya.
nGPT-3 ha capturado la imaginación de la gente como no ninguna inteligencia artificial (IA) lo había hecho desde AlphaGo de DeepMind y la IA ajedrecista DeepBlue de IBM. Este sistema construido por el laboratorio de investigación con sede en San Francisco (EE. UU.) OpenAI, es un "gran modelo de lenguaje", un algoritmo que utiliza el aprendizaje profundo, entrenado con el texto de miles de libros y la mayor parte del contenido de inte et, para unir palabras y frases. Cuando se lanzó en 2020, a muchos les pareció que su capacidad de imitar el texto escrito por personas con un asombroso realismo era un hito en el camino hacia la verdadera inteligencia artificial. A continuación, mostramos un ejemplo de lo que puede hacer. La parte en cursiva corresponde a un texto proporcionado por una persona, y lo que sigue en redonda es obra y arte de GPT-3.
nLos científicos descubrieron un hallazgo impresionante sobre una manada de unico ios que vivían en un valle remoto, antes inexplorado, en la Cordillera de los Andes. Aún más sorprendente para los investigadores fue el hecho de que los unico ios hablaban un inglés perfecto. También se descubrió que tenían el cabello perfectamente peinado y usaban lo que parecía maquillaje de Dior. "Nos impactó descubrir los unico ios", admitió el antropólogo Daniel St. Maurice. "No se parecían a nada visto antes. Habíamos escuchado leyendas sobre los unico ios, pero nunca pensamos que existieran de verdad". Cuando los científicos llegaron por primera vez al valle, los unico ios estaban sorprendidos y asustados por la presencia de humanos, pero también estaban contentos. Los unico ios dieron la bienvenida a los investigadores y explicaron que llevaban mucho tiempo esperándolos.
nSe puede comprobar que GPT-3 es capaz de producir frases complejas que podrían haber sido escritas por una persona. Las frases del ejemplo incluyen referencias culturales y un relato creíble sobre cómo reaccionarían los científicos. Las máquinas capaces de usar el lenguaje de esta manera son importantes por varias razones. El lenguaje es crucial para dar sentido al mundo cotidiano: los humanos lo usan para comunicarse, compartir ideas y describir conceptos. Una IA que domine el lenguaje adquiriría una mejor comprensión del mundo en el proceso.
nLos grandes modelos de lenguaje también tienen muchos usos prácticos. Impulsan mejores chatbots que mantienen conversaciones más fluidas; pueden generar artículos e historias sobre cualquier tema, si se les da una referencia; pueden resumir fragmentos de texto o responder a las consultas sobre ellos.
nDe momento, el acceso a GPT-3 es solo por invitación, pero la gente ya lo ha usado para impulsar docenas de apps, desde una herramienta que genera ideas para start-ups hasta un juego de aventuras guionizado por la y IA ambientado en una mazmorra. GPT-3 no es el único gran modelo de lenguaje que apareció en 2020. Microsoft, Google y Facebook anunciaron el suyo también. Pero GPT-3 es el mejor en general y con diferencia. Y da la impresión de que puede escribir cualquier cosa: fan fiction, polémicas filosóficas e incluso código informático.
nCuando el verano pasado las personas comenzaron a probar GPT-3 por sí mismas, miles de ejemplos de su versatilidad inundaron las redes sociales. Incluso se crearon debates sobre si GPT-3 podría considerarse como la primera inteligencia artificial general. Pero no lo es.
nA pesar de sus párrafos de texto increíblemente convincentes, GPT-3 no hace nada realmente nuevo. Solo es un ejemplo de que el tamaño sí importa. Para construir GPT3, OpenAI usó más o menos el mismo enfoque y algoritmos que había utilizado para su hermano mayor, GPT-2, pero aumentando tanto la red neuronal como el conjunto de entrenamiento. GPT-3 cuenta con 175.000 millones de parámetros (los valores en una red que se ajustan durante el entrenamiento), en comparación con los 1.500 millones de GPT-2. También se entrenó con muchos más datos.
nAntes de GPT-2, entrenar un modelo de lenguaje con aprendizaje profundo generalmente requería dos pasos: se entrenaba con un conjunto de datos de propósito general para darle una comprensión básica del lenguaje y luego se entrenaba en un conjunto más pequeño dirigido a una tarea específica, como la comprensión o la traducción. GPT-2 demostró que se pueden obtener buenos resultados en todos los ámbitos con solo introducir una mayor cantidad de ejemplos a un modelo más grande. Así que con GPT-3 OpenAI lo multiplicó todo y creó el modelo de lenguaje más grande de la historia.
nNo obstante, los resultados más llamativos fueron seleccionados a conciencia. GPT-3 se suele repetir o se contradice en los párrafos de texto con más de un par de cientos de palabras. A menudo comete errores divertidos o tontos.
nGPT-3 esconde su estupidez detrás de su elocuencia, pero se suelen necesitar varios intentos para que genere algo pulido. Las habilidades de GPT-3 también hacen que sea difícil ignorar los crecientes problemas de la IA. Su enorme consumo de energía es una mala noticia para el clima: los investigadores de la Universidad de Copenhague (Dinamarca) estiman que el entrenamiento de GPT-3 habría tenido aproximadamente la misma huella de carbono que conducir un coche hasta la Luna y de vuelta, si hubiera sido entrenado en un centro de datos totalmente alimentado por los combustibles fósiles. Y el coste de dicho entrenamiento, estimado por algunos expertos en al menos 10 millones de dólares (8,24 millones de euros) en el caso de GPT-3, ponen las últimas investigaciones fuera del alcance de los otros laboratorios excepto los más ricos.
nOpenAI reconoce que el entrenamiento de GPT-3 consumió varios miles de petaflops/s-día de potencia informática. Un petaflop/s-día es una unidad de consumo de energía que consiste en realizar 1015, es decir, mil billones, o un trillón, de cálculos de redes neuronales por segundo durante un día. En comparación, GPT-2 consumía solo decenas de petaflop/s-días.
nOtro problema más es que GPT-3 absorbe gran parte de la desinformación y los sesgos que encuentra online y los reproduce a demanda. Como explicó el equipo que lo construyó en el documento que describe la tecnología: "los modelos entrenados en inte et tienen sesgos a la escala de inte et".
nEl ba iz de humanidad que GPT-3 da al texto generado por máquina hace que sea fácil de confiar en él. Esto ha llevado a algunos a argumentar que GPT-3 y todos los modelos de lenguaje similares a los humanos deberían tener una advertencia de seguridad, una etiqueta de "Atención al usuario" que alerte a las personas de que chatean con un software y no con un ser humano.
nHace unos meses, alguien lanzó un bot con tecnología GPT-3 en Reddit, donde publicó cientos de comentarios e interactuó con docenas de usuarios durante varios días antes de que fuera desenmascarado. Gran parte de su actividad fue inofensiva. Pero el bot también respondió a algunos comentarios sobre los pensamientos suicidas, dando consejos personales que mencionaban el apoyo de sus "padres".
nA pesar de todos estos problemas, GPT-3 es un logro para los que creen que cuanto más grande, mejor. Estos modelos demuestran que la potencia informática y los datos pueden llegar muy lejos, y podemos esperar más de ambos en el futuro. ¿Cómo sería GPT-4? Podemos esperar que los chatbots se vuelvan más hábiles, mejores en unir partes más largas de un texto coherente, con un dominio aún más amplio de los temas de conversación.
nPero el lenguaje es solo una forma de comprender el mundo e interactuar con él. Los modelos de lenguaje de próxima generación integrarán otras habilidades, como el reconocimiento de imágenes. OpenAI ya está llevando GPT-3 en esta dirección con modelos de IA que usan el lenguaje para comprender imágenes e imágenes para comprender el lenguaje. Si queremos conocer el estado actual del aprendizaje profundo, hay que mirar GPT-3. Es un microcosmos de lo mejor y de lo peor de la IA.
n