La próxima ventaja competitiva en la IA empresarial tiene menos que ver con qué modelo elijas que con lo que construyas a su alrededor.
Se trata de un cambio importante. Durante los últimos años, gran parte de la conversación sobre IA se ha centrado en la capacidad de los modelos: modelos más grandes, mejor razonamiento, ventanas de contexto más amplias, puntuaciones más altas en los benchmarks. Esos avances han sido extraordinarios. Pero a medida que la IA pasa de la experimentación a la producción, la pregunta a la que se enfrentan los líderes empresariales ha cambiado: ya no es «¿qué puede hacer el modelo?», sino «¿podemos ofrecer esa inteligencia de forma fiable, económica y a escala?».
Cada vez más, la respuesta depende del «serving harness» —el sistema de ingeniería que rodea al modelo, incluidas la arquitectura, la gestión de la memoria, la planificación y las decisiones de optimización que determinan con qué eficiencia la inteligencia del modelo se convierte en una capacidad de producción—.
Para los directivos técnicos, esto cambia hacia dónde debe dirigirse la inversión en IA —y qué deberían exigir a la arquitectura que la sustenta—.
Empieza por la carga de trabajo, no por el modelo
No existe un modelo ni una arquitectura de IA universalmente «mejor». Solo existe la solución adecuada para el problema de negocio.
Un asistente orientado al cliente optimizado para ofrecer respuestas rápidas tiene requisitos fundamentalmente distintos a los de un pipeline de procesamiento de documentos que puede ejecutarse durante la noche. Una aplicación interna de gestión del conocimiento y una plataforma de atención al cliente de gran volumen pueden utilizar el mismo modelo fundacional, pero requerir arquitecturas de servicio muy diferentes.
La carga de trabajo define las restricciones. Las restricciones deberían determinar la arquitectura.
Suena sencillo, pero va en contra de la forma en que muchas organizaciones han abordado los primeros despliegues de IA. Durante una prueba de concepto, la precisión del modelo suele dominar el debate de forma natural. Sin embargo, el paso a producción introduce restricciones que resultan mucho más fáciles de ignorar cuando solo participa un puñado de usuarios: latencia, concurrencia, presión sobre la memoria, uso de la GPU, costes de infraestructura y tráfico impredecible.
Un modelo que ofrece respuestas ligeramente mejores no es necesariamente la mejor opción para producción si duplica los costes de inferencia o no puede cumplir los requisitos de latencia de la aplicación. No todas las cargas de trabajo necesitan un Ferrari. A veces, la decisión de ingeniería más inteligente es optar por el modelo que proporciona exactamente el rendimiento que la empresa necesita sin pagar por capacidades que no requiere.
El objetivo debería ser desplegar la inteligencia adecuada al coste adecuado para la carga de trabajo. Esto hace que la arquitectura de servicio sea más que una cuestión de ingeniería. Se convierte en una decisión de inversión: dónde gastar en computación, dónde optimizar y dónde una capacidad adicional del modelo simplemente no compensa el coste.
Aplica la ingeniería al sistema, no al modelo
Una vez que la IA llega a producción, decisiones de ingeniería aparentemente aisladas empiezan a influirse entre sí. La arquitectura de servicio influye en el uso de la memoria. La gestión de la memoria afecta a la concurrencia. La concurrencia determina el procesamiento por lotes y la planificación, y la planificación afecta al uso de la GPU y a la latencia.
Solo entonces técnicas como la cuantización, la decodificación especulativa o los mecanismos de atención optimizados pueden aportar todo su valor. Esta interdependencia es relevante porque las organizaciones pueden gastar considerablemente más en infraestructura sin resolver la limitación que restringe el rendimiento.
La memoria de la GPU es un buen ejemplo. Durante la inferencia, los pesos del modelo permanecen fijos, pero la caché clave-valor (KV) crece con las solicitudes activas y la longitud del contexto. A medida que aumenta la concurrencia, un sistema puede quedarse sin memoria de GPU utilizable incluso cuando todavía dispone de capacidad de cómputo. Añadir más capacidad de cómputo sin comprender ese cuello de botella puede hacer, sencillamente, que un sistema ineficiente resulte más costoso.
La lección para los líderes tecnológicos va más allá de la gestión de la memoria: Mide antes de optimizar. Identifica la restricción dominante. Abórdala. Mide el resultado. Luego, determina si ha surgido otro cuello de botella. Repite.
No pienses en las técnicas de optimización como si fueran cartas de Pokémon: el objetivo no es coleccionarlas todas. El objetivo consiste en aplicar la técnica que elimine la restricción de mayor impacto, al tiempo que se preservan los requisitos de negocio de la aplicación.
Para los líderes tecnológicos, esto exige plantearse una pregunta de gobernanza diferente. En lugar de preguntarte qué capacidades de IA puede desplegar la organización, pregúntate qué limitaciones se interponen entre una capacidad demostrada y un valor empresarial sostenible.
Construye para el cambio, no para el benchmark de hoy
Quizá la razón más importante para invertir en la infraestructura de servicio es que el modelo líder de hoy probablemente no lo sea mañana. Los modelos mejorarán. El hardware evolucionará. Surgirán nuevas técnicas de optimización. La arquitectura que los rodea debería facilitar la absorción de esos cambios, en lugar de obligar a la empresa a reconstruir su plataforma de IA cada vez que la tecnología avance.
Esto convierte la adaptabilidad en un resultado cada vez más importante de la estrategia de IA.
Las organizaciones que diseñan sistemas de servicio en torno a los requisitos de carga de trabajo, objetivos claros de nivel de servicio y una economía de producción medible adquieren la capacidad de evaluar nuevos modelos e infraestructuras en función de las necesidades reales del negocio. De este modo, un cambio de modelo puede pasar a ser una decisión de evaluación y configuración, en lugar de un reinicio de toda la arquitectura.
Los investigadores de EXL han analizado estos retos de producción con mayor profundidad en la serie EXL Engineering the Harness. En ella se examina cómo la arquitectura de servicio, la gestión de la memoria, la planificación y la optimización de la inferencia se coordinan para lograr que la IA empresarial sea más eficiente, escalable y económicamente sostenible.
Cada vez más, las empresas tienen acceso a muchos de los mismos modelos. La diferenciación sostenible proviene de la eficacia con la que una organización transforma esa inteligencia en resultados de negocio.
El modelo proporciona la inteligencia. El arnés determina si la empresa puede generar resultados de forma fiable, económica y a escala.
Este contenido ha sido producido por EXL. No ha sido redactado por el equipo editorial de MIT Technology Review.