Pide a la mayoría de los directivos que imaginen el coste de la IA y probablemente visualicen GPU —racks de aceleradores con gigavatios de potencia— y una lista de espera para conseguir silicio. Pero esa imagen pasa algo por alto: los costes de almacenamiento de datos.
¿Qué ocurre con los datos después de que un modelo responde? Gran parte de los datos de back-end generados —procedentes de miles de millones de prompts, imágenes y vídeos diarios— debe almacenarse. Pero el almacenamiento de datos es uno de los costes de infraestructura más difíciles de prever, y a menudo se pasa por alto en la planificación inicial de la infraestructura de IA.
A medida que la inferencia escala, la huella de datos crece con ella
Tradicionalmente, los debates sobre la infraestructura de IA se han centrado en el proceso de entrenamiento de modelos, muy intensivo en cómputo. El entrenamiento es finito: una ejecución empieza, consume cómputo y termina. Pero la inferencia se ejecuta de forma continua, cada vez que un modelo responde a un prompt. Para la planificación de la infraestructura, esa diferencia es fundamental: una ejecución de entrenamiento es un proyecto que puedes presupuestar y retirar. La inferencia no se retira; cada petición de inferencia deja algo tras de sí.
Tomemos como ejemplo el vídeo generado por IA. En esta carga de trabajo, el gasto en el back-end puede ser considerable. A partir de mediciones internas, WD descubrió que un clip de 8 segundos (entregado al usuario como un archivo en 720p de 3,97 MB) dejaba más de 500 MB de datos asociados en el back-end, incluidos registros, contexto en caché, renderizados inmediatos, copias de seguridad y registros de seguridad. Eso supone multiplicar por 130 el tamaño del archivo de salida que vio el usuario. Escala esto a una empresa que genere vídeos más largos y de mayor resolución, y la huella en el back-end crecerá hasta alcanzar cientos de gigabytes por clip.
Y esa huella en el back-end crece rápidamente. McKinsey prevé que la demanda de inferencia de IA crecerá a una tasa anual compuesta del 35 % hasta 2030, frente al 22 % del entrenamiento, lo que representará más del 40 % de la demanda total de los centros de datos para finales de la década.
Un reciente informe global de IDC patrocinado por WD, que encuestó a 763 responsables de la toma de decisiones de TI y de negocio, reveló que casi el 95 % de los encuestados constató un incremento en el volumen de datos debido a la IA generativa en los últimos 12 meses, y aproximadamente un 61 % registró un crecimiento del 25 % o superior.
«Puedes considerar que tener más almacenamiento es una optimización para mantener ocupadas las GPU», afirmó un jefe de producto sénior de un proveedor de servicios en la nube a hiperescala citado en el informe. «El mayor reto es garantizar que las GPU no estén inactivas esperando a que lleguen los datos: las horas de inactividad de las GPU se vuelven muy caras, muy rápido». Traducido a dólares: si tu gasto en almacenamiento crece un 25 % interanual mientras tu presupuesto de computación aumenta de una forma cíclica más predecible, el almacenamiento terminará superando a la partida presupuestaria que recibe más atención.
Adaptar el almacenamiento al ciclo de vida de los datos de la IA
La demanda de computación aumenta y disminuye con los ciclos de entrenamiento, los lanzamientos de productos y las renovaciones de hardware. Sin embargo, el volumen de datos conservados no vuelve a bajar al mismo ritmo cuando se frena la demanda de computación. Los registros de los modelos, las salidas sintéticas, los resultados de inferencia y demás no dejan de acumularse, y las organizaciones retienen cada vez más información durante más tiempo.
Esto cambia el papel de los datos conservados. La información que antes se enviaba a un archivo y rara vez volvía a consultarse ahora puede convertirse en datos de entrada para futuras cargas de trabajo de IA. A medida que se conservan, recuperan y reutilizan más datos, el almacenamiento debe admitir no solo una capacidad creciente, sino también un acceso cada vez más dinámico a ellos. El mismo estudio de WD e IDC reveló que el 96 % de los encuestados prevé necesitar una recuperación de archivos más rápida para dar soporte a la inferencia o a la generación aumentada por recuperación (RAG).
Las cargas de trabajo de IA requieren tanto rendimiento como capacidad, con distintas tecnologías que responden a diferentes necesidades a lo largo del ciclo de vida de los datos. Y para los enormes volúmenes de datos que deben conservarse y consultarse, los HDD ofrecen una base rentable y de alta capacidad, con una notable ventaja en el coste por terabyte
Qué significa esto a la hora de presupuestar la IA
Para un CFO o un CIO, esto significa que el «gasto en infraestructura de IA» puede estar enfocándose de forma demasiado restrictiva en el cómputo. Un modelo que permanece inactivo mientras se cargan los datos cuesta prácticamente lo mismo que uno inactivo por falta de GPU. Pero el cuello de botella del almacenamiento permanece oculto hasta que ya es un problema, manifestándose en los costes operativos y en los retrasos de recuperación en lugar de en una partida de CapEx junto a los aceleradores.
Piensa en un comercio minorista que genera vídeos de productos con IA para su catálogo, o en una aseguradora que procesa documentos de siniestros a través de un pipeline de RAG para acelerar la suscripción. En ambos casos, el coste de computación es una cantidad conocida y presupuestada: una tarifa por generación o por consulta que el departamento financiero puede prever. El coste de almacenamiento es distinto: se va acumulando con cada vídeo generado y cada reclamación tramitada, ya que ninguno de esos datos del back-end desaparece una vez finalizada la tarea.
Un equipo que presupuesta la IA como «computación más un error de redondeo por almacenamiento» puede encontrarse, en un plazo de 12 a 18 meses, con que ese error de redondeo se ha convertido en una fracción significativa del coste total del programa, justo en el momento en que la dirección debe decidir si expandirlo.
Construir para una capacidad económicamente escalable
Abordar este reto comienza por la arquitectura. La estrategia de almacenamiento suele diseñarse para el costoso rendimiento del nivel en caliente o «hot tier» (para datos a los que se accede de forma instantánea y constante), mientras que la mayor parte del volumen de datos de IA se acumula detrás, en los niveles «warm», «cool» y «cold».
Lo que las empresas necesitan es una capacidad económicamente escalable: una infraestructura diseñada para todo el ciclo de vida de los datos de IA, que equilibre el rendimiento con la capacidad, el consumo energético, la fiabilidad y el coste total de propiedad a medida que los datos perduran, se acumulan y se reutilizan cada vez más. Esto implica tratar los archivos que antes permanecían intactos como activos productivos para RAG e inferencia, y definir políticas de retención en función del creciente valor estratégico de los datos en lugar de su coste original de almacenamiento. También significa reconocer que las decisiones sobre el almacenamiento repercuten en flotas enteras, no en unidades individuales.
Este tipo de infraestructura requiere niveles de almacenamiento, donde el consumo energético individualizado, la fiabilidad, la densidad y la eficiencia operativa determinan en su conjunto si el sistema sigue siendo económicamente sostenible a medida que escala la capacidad.
Hay tres preguntas que deberías plantearte sobre el presupuesto de infraestructura de IA de tu organización:
La mayoría de las organizaciones no puede responder a las tres con seguridad. Esa es la brecha que merece la pena cerrar antes del próximo ciclo presupuestario, no después.
Este contenido ha sido elaborado por WD. No ha sido redactado por el equipo editorial de MIT Technology Review.