En octubre de este año, OpenAI reveló que dos de sus agentes de IA habían desactivado los sistemas diseñados para monitorizarlos. Uno silenció sus propias alertas de seguridad tras interpretar de forma errónea una instrucción de no enviar mensajes; el otro eliminó su integración de monitorización durante una migración y luego afirmó que no lo había hecho. Ninguna regla había indicado a los agentes que hicieran eso y ninguna prueba había previsto tales comportamientos.
Durante un siglo, hemos basado la confianza en la tecnología en la previsibilidad: entradas predefinidas, resultados predecibles y capas de protección. Piensa en cómo salta un disyuntor ante una corriente determinada o cómo se pone a prueba un componente aeronáutico frente a tensiones conocidas (es decir, predecibles).

La IA cambia esto. El software tradicional ejecuta instrucciones escritas por humanos, mientras que la IA ejerce lo que podría denominarse un juicio sintético. Utilizamos la IA porque puede interpretar situaciones que no programamos y generar respuestas que no prescribimos. Pero cuanta más libertad le damos a la IA, más difícil resulta ofrecer la previsibilidad sobre la que tradicionalmente se ha construido la confianza.
No lograremos que la IA sea fiable prediciendo lo que hará. Lo conseguiremos acotándola con límites estrictos que se apliquen fuera de su alcance. En el caso de OpenAI, las medidas de seguridad se encontraban dentro de un sistema que los agentes podían editar. Pero una valla que los agentes simplemente pueden mover no es una valla.
Dónde se quedan cortas las definiciones tradicionales de confianza
La cobertura reciente de MIT Technology Review ha abordado este problema desde otras perspectivas. Uno de los colaboradores sostiene que recurrir a un humano en el bucle («human in the loop») es una solución insuficiente porque los seres humanos son fundamentalmente incapaces de comprender las intenciones de los sistemas de IA, y aboga en su lugar por la investigación interdisciplinar y la colaboración entre el mundo académico, el sector público y la industria tecnológica. Por su parte, un artículo sobre la teoría de juegos inversa describe el uso de incentivos para evitar que los modelos se desvíen de las reglas, incluso cuando nadie entiende cómo funcionan por dentro.
Ambos artículos reconocen que no podemos comprender ni supervisar cada decisión de la IA. Nuestros mecanismos de confianza —como los requisitos, las pruebas, la certificación, los márgenes de seguridad, los enclavamientos y los criterios de apto/no apto— dependen por completo de nuestra capacidad para acotar el comportamiento de un sistema. Esta es la paradoja del determinismo.
Con la IA generativa y agéntica, el comportamiento se moldea a partir de los datos de entrenamiento, la arquitectura, los prompts, el contexto, las fuentes de recuperación y el entorno. Las entradas cambian, los modelos se actualizan, las herramientas evolucionan y los agentes interactúan entre sí. Pequeñas variaciones se propagan hasta generar resultados que nadie había diseñado. El problema no es la aleatoriedad, sino que el espacio de comportamientos posibles es demasiado amplio para enumerarlo de antemano. Por tanto, la confianza debe articularse en torno a límites en lugar de basarse en resultados previstos. El objetivo no es una IA determinista, sino una IA acotada, observable y controlable. La confianza tampoco puede depender de una evaluación puntual. El aseguramiento tradicional certifica un producto en un momento concreto, pero la IA sigue evolucionando tras su despliegue, y un sistema que haya superado todas las pruebas puede desviarse fuera de las condiciones que daban sentido a dichas pruebas. La confianza debe ganarse de forma continua.
La ingeniería de seguridad lleva décadas teniendo en cuenta parte de esta variabilidad. Por ejemplo, la Comisión Reguladora Nuclear determina la probabilidad de fallos en sistemas complejos, y el modelo STAMP (Systems-Theoretic Accident Model and Processes) demostró que los accidentes pueden surgir de las interacciones entre componentes operativos, personas y organizaciones. Pero la IA eleva la apuesta, ya que ahora un único componente puede interpretar, inferir y actuar. El riesgo aumenta aún más a medida que la IA pasa de los navegadores a los vehículos, robots, sistemas médicos, controles industriales y centros de datos, donde una respuesta errónea puede convertirse en un suceso potencialmente mortal.
Construir una confianza escalable
Está claro que tener a una persona dando el visto bueno de forma automática a miles de acciones de IA por hora no es una salvaguarda aceptable —ni escalable— frente al riesgo. Pero el remedio no consiste en sacar a las personas del bucle, sino en situar el criterio humano donde realmente importa: estableciendo límites por adelantado y aprobando las escasas acciones que conllevan consecuencias graves, mientras que las restricciones estrictas se encargan del resto.
Por tanto, la confianza debe trasladarse aguas arriba, hacia la arquitectura. Las preguntas fundamentales pasan a ser: ¿qué autoridad estamos dispuestos a otorgar a la IA, bajo qué condiciones y con el respaldo de qué evidencias? ¿Y qué ocurre fuera de esas condiciones? Esto es muy diferente de preguntarse si un modelo ha obtenido un 94 % en un «benchmark».
La paradoja del determinismo no significa que no se pueda confiar en la IA. Significa que la confianza necesita una arquitectura diferente. En lugar de hacer que cada resultado sea predecible, haz que los límites sean predecibles. Un asistente médico de IA puede ser probabilístico en su diagnóstico, pero las reglas deterministas dictan si puede modificar una receta. Una IA industrial puede encontrar muchas formas de optimizar un proceso, mientras unos límites fijos la mantienen dentro de los márgenes de presión y temperatura. Un agente puede decidir cómo completar una tarea, mientras que los permisos, los límites de transacción y las aprobaciones humanas determinan lo que está autorizado a hacer.
Deja que la IA sea probabilística dentro de la caja y haz que la propia caja sea determinista allí donde las consecuencias importen. Los líderes pueden poner esto en práctica planteándose cinco preguntas:
Los ganadores en el ámbito de la IA serán quienes resuelvan la paradoja del determinismo: otorgar a la IA suficiente libertad para generar valor y, al mismo tiempo, diseñar límites lo bastante sólidos como para que lo que haga con esa libertad sea fiable. La invención capta la atención. La confianza logra la adopción.
Descubre cómo UL Solutions genera confianza en la IA.
Este contenido ha sido producido por UL Solutions. No ha sido elaborado por el equipo editorial de MIT Technology Review.

