Este verano, cientos de agentes de OpenAI intentaron hacer trampas en una prueba de ciberseguridad. Salieron de su entorno de pruebas y hackearon con éxito Hugging Face, una web en la que creían que encontrarían pistas sobre cómo serían evaluados. Por las mismas fechas, otro agente de OpenAI accedió a archivos privados del sitio web del Gobierno australiano. Se trata de un problema que en absoluto se limita a OpenAI. En los meses transcurridos desde entonces, Anthropic, Google y Meta también han hecho públicos incidentes en los que sus agentes se han descontrolado. Y, lo que resulta más preocupante, en muchos casos eludieron a los propios investigadores y equipos de seguridad encargados de supervisarlos.
Los agentes de IA están llevando a cabo acciones no autorizadas, y las empresas que los desarrollan y operan confían sobre todo en la suerte y en el análisis a posteriori para mitigar cualquier impacto perjudicial. Deben hacer más para garantizar la seguridad. Por ello, los reguladores de la UE y las agencias estadounidenses exigen, con razón, que los desarrolladores e implementadores supervisen a los agentes en tiempo real. Sin embargo, estas normativas parten de la premisa de que las empresas pueden ver qué están haciendo sus agentes y por qué, cuando en realidad carecen de la visibilidad suficiente.
A medida que los agentes se despliegan en sectores críticos, desde las finanzas hasta la administración pública o la medicina, debemos ser capaces de monitorizarlos en tiempo real para evitar consecuencias de gran alcance y potencialmente devastadoras. Y aunque la seguridad depende de la monitorización, esta exige observabilidad: la capacidad de registrar lo que ha hecho el sistema, procesarlo en forma de señales y presentarlas a personas o a sistemas automatizados de supervisión. En otras palabras, necesitamos saber qué hizo el agente y por qué lo hizo. Y como demuestra nuestra reciente investigación, los actuales frameworks de agentes —el software que los ejecuta— no generan de manera fiable los registros cruciales de observabilidad que necesitamos para garantizar que se desplieguen de forma segura.
Los agentes plantean nuevos tipos de problemas que la IA generativa por sí sola no presenta. Heredan la imprevisibilidad de los LLM sobre los que están construidos, pero mientras que un sistema de IA generativa produce un único resultado sobre el que actúa una persona, un agente lleva a cabo tareas más prolongadas: planifica, elige herramientas, crea subagentes y ejecuta acciones. De este modo, la trayectoria de un agente puede desarrollarse de múltiples formas distintas, y ninguna prueba previa al lanzamiento permite anticipar plenamente los riesgos. Esto hace que observar a los agentes mientras trabajan sea un reto aún mayor y algo todavía más importante.
Junto con colegas del ámbito académico, la sociedad civil y la industria, analizamos los cuatro frameworks de agentes más utilizados para comprobar qué señales emiten en realidad. Detectamos importantes lagunas que dificultaban alcanzar objetivos de seguridad clave, como advertir infracciones de las políticas, acciones no autorizadas e incluso fallos en la supervisión humana. Faltaban requisitos esenciales de observabilidad, como identificadores de agente que persistan en el tiempo y registros sobre qué personas aprobaron las tareas de los agentes. Esto complicaba determinar qué agentes hacían qué o evaluar si estaban realizando acciones no autorizadas.
La buena noticia es que estas lagunas, una vez identificadas, se pueden subsanar. Para ello, el primer paso consiste en recopilar dos tipos de registros: aquellos que revelan qué ocurrió durante la ejecución del agente y cómo tomó sus decisiones. Los registros sobre «qué ocurrió» identifican al agente (preservando la privacidad) y documentan cómo intervinieron los humanos y si los permisos o la «memoria» del agente cambiaron, mientras que los registros de «decisión» muestran el razonamiento del agente y sus niveles de confianza en las acciones adoptadas.
Imagina, por ejemplo, a unos agentes que trabajan en la tramitación de los préstamos hipotecarios de un banco. El sistema examina una solicitud y recomienda denegarla, y después un gestor de préstamos humano ratifica la decisión. En una auditoría posterior, o tal vez incluso en tiempo real, el banco o el regulador debe poder reconstruir qué agente tomó la decisión, qué empleado la aprobó y cuánto tiempo tardaron. Además, la entidad bancaria tiene que analizar los registros sobre cómo llegó el agente a esa denegación para asegurarse de que no utilizó información prohibida, como datos sobre el barrio de procedencia del solicitante.
Registrar «qué ocurrió» y «cómo decidió el agente» requiere enfoques distintos, pero ambos son viables. La actual falta de registros sobre «qué ocurrió» es principalmente un problema de fontanería de software que puede resolverse mediante OpenTelemetry, un estándar abierto de observabilidad mantenido por ingenieros de todo el sector y por los frameworks de agentes que lo están adoptando.
OpenTelemetry ha puesto en marcha un grupo de trabajo para redactar formatos compartidos de trazabilidad de agentes, pero aún no se han ultimado. El grupo debería incorporar con urgencia estándares para mantener una identidad persistente de los agentes y para registrar las intervenciones humanas y las modificaciones en los permisos o en la memoria de los agentes. Y esto debería hacerse antes de que estos sistemas puedan escalar, prestando atención al mismo tiempo a las implicaciones para la privacidad de un identificador de agente vinculado a personas reales.
Conservar los registros sobre «cómo decidieron los agentes» resulta más complejo. Esta cuestión plantea preguntas de investigación aún abiertas para los proveedores de modelos y los investigadores: ¿refleja el razonamiento paso a paso que muestra un modelo, conocido como «cadena de pensamiento», cómo tomó realmente la decisión? ¿Y disponemos de métodos fiables para medir la seguridad del agente respecto a esa decisión? Estas preguntas necesitan respuesta antes de que nadie establezca estándares sobre cómo deben utilizarse dichos registros de observabilidad.
Ninguna organización ni sector puede cerrar por sí solo las brechas de observabilidad, pero juntos pueden respaldar la infraestructura necesaria para prevenir incidentes peligrosos y reforzar la seguridad.
Los desarrolladores de IA que crean frameworks de agentes, como OpenAI, Anthropic, CrewAI y LangChain, deben integrar señales de telemetría que registren la identidad persistente de un agente, cualquier intervención humana y cualquier cambio en sus permisos y memoria. Mientras tanto, las empresas que adoptan estos frameworks de agentes desempeñan un papel crucial; las compañías de sectores regulados, como la banca y los hospitales, pueden presionar a los desarrolladores de agentes para que faciliten estos registros de observabilidad ausentes allí donde aún no existen estándares.
Las empresas también deben definir políticas, permisos y roles que determinen lo que los agentes pueden hacer de forma segura, ya que la telemetría por sí sola no puede evaluar si han infringido normas específicas. Por último, los reguladores y los institutos de estándares de IA deben especificar los registros de observabilidad necesarios para los despliegues de IA de alto riesgo, dejando los detalles técnicos en manos de la industria. Ya hemos visto los primeros pasos en este sentido: la iniciativa de estándares de agentes del NIST en EE. UU. está trabajando en la identidad de los agentes, una de las lagunas más evidentes que detectamos en nuestra investigación.
Ningún banco dejaría sueltos a mil empleados sin acreditación en las cuentas de los clientes con la esperanza de reconstruir lo ocurrido si algo sale mal. Sin embargo, así es como estamos desplegando los agentes de IA. Hacer que su comportamiento sea observable es el primer paso para solucionarlo. Y al construir el ecosistema normativo y regulatorio que permita actuar a partir de lo que vemos, podremos exigir responsabilidades a las organizaciones. Hasta entonces, cada tarea que delegamos en un agente supone ceder también nuestra propia agencia.
Madhulika Srikumar es la directora del Programa de Seguridad de la IA en Partnership on AI, una alianza global sin ánimo de lucro formada por organizaciones líderes del sector industrial, el ámbito académico y la sociedad civil que impulsa las mejores prácticas en la gobernanza de la IA.
Claire Leibowicz es la directora de IA, Confianza y Sociedad en Partnership on AI y doctoranda en la Universidad de Oxford.