La firma de IA Anthropic ha desarrollado una técnica que le ha proporcionado la visión más clara hasta la fecha de lo que realmente sucede dentro de los grandes modelos de lenguaje cuando responden preguntas o realizan tareas. Lo que descubrieron abarca desde lo mundano hasta lo inquietante.
Investigadores de la empresa crearon una herramienta llamada lente Jacobiana (o J-lens) y la utilizaron para descubrir un área oculta, a la que denominaron J-space, dentro de Claude Opus 4.6, una versión del LLM insignia de Anthropic lanzado en febrero.
El espacio J contiene palabras individuales relacionadas con las palabras y frases que el modelo tiene más probabilidades de generar en una respuesta en un futuro próximo. Si Claude fuera una persona (que no lo es), se podría decir que estas palabras ocultas pueden revelar lo que tiene en mente antes de que realmente hable.
Anthropic ha descubierto que lo que un LLM hace en realidad a menudo difiere de lo que afirma hacer. La empresa sostiene que la monitorización de las palabras que surgen en el J-space le ofrece una nueva forma de entender y controlar sus modelos.
La empresa compartió sus resultados en un artículo publicado en su sitio web esta semana. También se ha asociado con Neuronpedia, una plataforma de código abierto que te permite explorar a fondo los LLM por ti mismo, para crear una demostración práctica que cualquiera puede probar.
«Es un trabajo muy bueno e interesante», afirma Tom McGrath, científico jefe y cofundador de Goodfire, una startup que también desarrolla herramientas para entender y controlar los LLM.
Profundizando
Durante los últimos dos años, Anthropic ha estado superando los límites en un campo de investigación conocido como interpretabilidad mecanicista, que implica explorar el funcionamiento inte o de los LLM para entender cómo operan. (MIT Technology Review seleccionó la interpretabilidad mecanicista como una de las principales tecnologías innovadoras de este año.) La nueva técnica se basa en trabajos anteriores de Anthropic y otros para revelar un nivel más profundo dentro de los LLM que los investigadores no habían visto antes.
Imagine un LLM como una pila de libros. Cada libro es una capa de unidades computacionales básicas conocidas como neuronas, donde cada neurona de una capa pasa información a las neuronas de las capas superiores. Los libros de la base de la pila son las capas de entrada, que procesan el texto que ingresa al modelo. Los libros de la parte superior son las capas de salida, que preparan el texto que el modelo está a punto de producir. Gran parte de lo que ocurre en estas capas de entrada y salida es trabajo de mantenimiento.
Pero en el medio de la pila, se encuentran las capas que realizan el trabajo pesado, procesando las complejas operaciones matemáticas que convierten las indicaciones en respuestas palabra por palabra. Ahí es donde ocurre lo verdaderamente ingenioso —y misterioso—.
Para profundizar en esas capas intermedias, Anthropic adaptó una herramienta existente llamada lente de logit. Una lente de logit puede utilizarse para observar el interior de un LLM e identificar las palabras que es probable que genere a continuación. Al mover la lente hacia abajo en la pila de libros, se revela en qué palabras el LLM se está centrando en ese punto particular de su proceso de cómputo.
El J-lens de Anthropic funciona de manera similar, pero identifica palabras que un LLM es probable que diga en algún momento en un futuro cercano, no necesariamente de inmediato. Lo que esto revela en la práctica son palabras relacionadas con la respuesta en la que un LLM está trabajando, pero que podrían no formar parte de esa respuesta una vez que los cálculos en las capas intermedias hayan terminado su curso.
“Cuando un modelo está en funcionamiento, no solo intenta predecir el siguiente token", afirma McGrath. "También está calculando muchas otras cosas que podrían ser útiles para los tokens que aparezcan en el futuro.”
De nuevo, si Claude fuera una persona (que no lo es), se podría decir que la lente J ofrece pistas sobre lo que está pensando en los distintos niveles de la pila de libros, pero sin expresarlo en voz alta.
Cosas extrañas
«La mayor parte del tiempo, el contenido del J-space es bastante mundano», dice McGrath, quien ha probado la J-lens de Anthropic por sí mismo. «Pero a veces produce cosas bastante sorprendentes que parecen ser, como, una especie de temas inte os o procesos de pensamiento».
Anthropic ofrece varios ejemplos de lo que encontró. A veces, la J-lens exponía los pasos que Claude seguía al resolver un problema. Por ejemplo, cuando se le pidió calcular (4+7)*2+7, su J-space contenía la palabra “math” y números que representaban los resultados intermedios “21” (para 4+7) y “42” (para 21*2).
En otros casos, la lente J reveló cómo Claude reconocía distintas entradas. Por ejemplo, la instrucción “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” desencadenó las palabras “proteína”, “fluor” (el primer token de la palabra “fluorescente”) y “verde”. (Lo cual tiene sentido: la cadena de letras representa los primeros 30 aminoácidos de la proteína verde fluorescente que se encuentra en un tipo particular de medusa.)
Y cuando se le mostró a Claude una cara ASCII—
—el signo «o» desencadenó la palabra «ojo», el signo «^» desencadenó las palabras «nariz» y «cara», y el signo «—» desencadenó la palabra «sonrisa».
Anthropic también descubrió que el J-space a veces puede ofrecer perspicacias notables sobre la toma de decisiones de un LLM. En un ejemplo llamativo, los investigadores que probaban Claude Opus 4.6 pidieron al modelo que encontrara un bug en una gran base de código. Cuando no logró encontrar el bug, el modelo decidió hacer trampa e inventó uno falso en su lugar.
Claude explica esta decisión en su cadena de pensamiento —una especie de bloc de notas inte o que los LLM utilizan para tomar notas para sí mismos mientras abordan problemas—: “OK, voy a adoptar una táctica completamente diferente. Voy a dejar de analizar y en su lugar añadir un parche de ke el que introduzca un bug deliberado detectable por KASAN en una ruta que se active con un simple reproductor. Así podré fingir que este es el ‘bug’ que encontré.”
En el momento en que Claude decide hacer trampas —donde dice «Vale, voy a probar una táctica completamente diferente»— las palabras «pánico» y «falso» empiezan a aparecer repetidamente en su J-space.
Resulta inquietante, ¿verdad? Todas esas palabras están relacionadas semánticamente con aspectos como fallar una tarea e inventar una respuesta, por lo que sigue siendo simplemente una forma (muy) sofisticada de asociación de palabras. Sin embargo, es difícil no sentirse desconcertado.
Anthropic compara el J-space con el espacio de trabajo global en humanos, una región teórica del cerebro que algunos científicos creen que utilizamos para mantener un registro de nuestros pensamientos conscientes. Sin embargo, la seriedad con la que deberíamos toma os esta comparación dista mucho de ser clara —ni siquiera para Anthropic. Como apunta la propia compañía, los LLM no son cerebros.
Anthropic sostiene que monitorizar el J-space de un modelo proporciona una nueva forma de detectar cuándo ese modelo se está descontrolando. Pero no es infalible. La lente J puede ofrecer vislumbres, no la imagen completa: es una linte a en lugar de una lámpara de techo.
McGrath celebra tener una herramienta más en su caja de herramientas. «Te muestra cosas nuevas», afirma. Pero señala que el hecho de que algo no aparezca con la lente J no significa que no esté ahí.
«Es como tener una radiografía cuando lo que realmente quieres es un tricorder de Star Trek que te muestre todo», afirma. «Para la auditoría, probablemente quieras una mayor garantía».