La tendencia empezó en 2020 con el modelo de lenguaje GPT-3, con 175.000 millones de parámetros, una cifra que no ha dejado de crecer gracias a los rivales del sector. Pero nadie sabe por qué el tamaño importa tanto y el enfoque no resuelve el problema de los sesgos de los datos de entrenamiento ni supone innovaciones disruptivas
Con 7.000 millones de parámetros, compite con modelos mucho más grandes como GPT-3 y sus 175.000 millones de parámetros. Para lograrlo utiliza una memoria externa a la que recurre para trabajar sobre la marcha. Con este nuevo enfoque, Google se coloca en buena posición en un terreno que no había pisado hasta ahora
Llevamos años usando modelos enormes con grandes partes que no sirven para nada, lo que dificulta el entrenamiento y aumenta su tiempo y coste. Una investigación revela que es posible reducir su tamaño sin sacrificar su rendimiento para ampliar los usos de la IA a dispositivos como los móviles
La situación de la energía eólica está mejorando, y mucho. El viento ya es competitivo frente a los combustibles fósiles en muchas regiones del mundo, y el auge de turbinas cada vez más altas conseguirá bajar los costes aún más
