Esta historia apareció originalmente en The Algorithm, nuestra newsletter semanal sobre IA. Para recibir historias como esta primero en tu bandeja de entrada, suscríbete aquí.
Anthropic —actualmente la empresa de IA más valiosa del mundo, con una valoración cercana al billón de dólares— tiene fama de publicar investigaciones extrañas y complejas. Está investigando si los modelos de IA pueden sentir dolor, por ejemplo, y a veces interrumpe las conversaciones con chatbots si sospecha que los usuarios están “abusando” del modelo.
Un ámbito en el que Anthropic invierte más tiempo y dinero que otras empresas de IA se denomina interpretabilidad mecanicista, lo que consiste en examinar las complejas matemáticas de un modelo de IA para entender por qué produce una salida particular y no otra. Es un asunto complejo; hay millones de puntos de datos que pueden contribuir a cualquier resultado, y desglosarlos puede parecer más una ensalada de palabras que algo útil. También es controvertido. Describir los modelos de IA con términos prestados de la psicología y la neurociencia puede hacer que su comportamiento parezca más sofisticado de lo que lo juzgaríamos de otro modo.
Por eso, cuando Anthropic anunció la semana pasada que había encontrado una nueva ventana a los "pensamientos inte os" de sus modelos mientras razonan las respuestas, hubo un colega con el que tenía que hablar. El editor sénior Will Douglas Heaven, además de tener un doctorado en informática, ha dedicado mucho tiempo a investigar qué podemos decir sobre cómo funcionan los modelos de IA. Hablé con él sobre lo que deberíamos extraer de la nueva (y previsiblemente peculiar) investigación de Anthropic.
¿Qué aprendió Anthropic exactamente aquí?
Anthropic lleva unos años intentando comprender cómo funcionan los grandes modelos de lenguaje (LLM). Anthropic no es la única empresa que investiga esto, pero creo que la compañía lo ha integrado en su misión principal más que la mayoría. El CEO de Anthropic, Dario Amodei, ha declarado que no podremos controlar los LLM por completo a menos que aprendamos más sobre cómo funcionan.
Así pues, esta nueva investigación se enmarca plenamente en ese contexto. Profundiza como nunca antes en los extraños mecanismos inte os de los LLM. Lo que Anthropic descubrió es que los LLM tienen un espacio inte o —que Anthropic denomina el J-space— lleno de palabras que no aparecen en su producción, pero que parecen influir en la forma en que resuelven los problemas. Todo esto permaneció oculto hasta que Anthropic desarrolló una nueva técnica para investigar su modelo Claude, lo que lo convierte en un auténtico descubrimiento.
A veces, estas palabras registran el progreso del LLM en una tarea concreta; otras veces, se asemejan más a destellos de reconocimiento (por ejemplo, "proteína" podría aparecer cuando se le da a un LLM solo las letras de una secuencia de proteínas); y otras veces, representan una especie de comentario inte o sobre la toma de decisiones del modelo. En mi ejemplo favorito, Claude decidió hacer trampas en una prueba de codificación cuando apareció la palabra "pánico".
Anthropic también descubrió que los LLM son capaces de describir y manipular las palabras en este espacio. Así que, de alguna manera, parecen estar utilizándolo.
Demos un paso atrás un segundo. No considero que los grandes modelos de lenguaje sean simples, pero tampoco son magia. Hay mucha matemática que aprende las relaciones entre las palabras, ¿verdad? Entonces, ¿por qué es tan difícil "asomarse" a un LLM para saber qué está ocurriendo?
¡Sí, no son magia! Creo que el hecho de que no los comprendamos por completo contribuye a la mitificación. Y cabe destacar que toda la narrativa que Anthropic está impulsando aquí —que han construido esta tecnología realmente misteriosa, pero no hay que preocuparse, porque ellos también son quienes la van a desentrañar— encaja muy bien con el espíritu de la compañía. [Véase cómo Anthropic advirtió que sus nuevos modelos eran tan buenos programando que suponían un riesgo de ciberseguridad global, solo para que el gobie o de EE. UU. los cerrara poco después.]
Así que sí: los LLM son solo matemáticas. Y sin embargo, son matemáticas extremadamente complejas. Los LLM actuales no solo se componen de cientos de miles de millones de números, sino que ejecutarlos desencadena una cascada de millones y millones de cálculos. El año pasado escribí que si se imprimiera un LLM de tamaño medio en hojas de papel, ocuparía una ciudad del tamaño de San Francisco.
Es imposible comprender esa matemática sin herramientas especializadas que resalten partes específicas de un LLM en momentos concretos. Se necesita saber dónde y cómo mirar. Y construir esas herramientas requiere comprender, en primer lugar, algo de esa compleja matemática.
Ha escrito en otro lugar sobre este concepto de estudiar los LLM como se estudiaría el cerebro de un organismo. ¿Es apropiado usar términos 'cerebrales' al hablar de cómo funciona un LLM?
No me entusiasma mucho usar ese tipo de términos. Los LLM no son cerebros. Hablar así es engañoso porque puede sugerir que los LLM son capaces de cosas más parecidas a las humanas de lo que realmente son o que podemos hacer suposiciones sobre cómo podrían comportarse que no deberíamos. Lo de la antropomorfización también está ligado a una serie de posiciones ideológicas fuertes sobre qué es esta tecnología y qué va a ser.
Pero al mismo tiempo, carecemos de un buen vocabulario alte ativo para describir lo que estos modelos están haciendo. Entiendo por qué la gente recurre a palabras como «pensar», «entender» y «similar al cerebro»: son un atajo conveniente.
Anthropic compara este nuevo espacio que encontró dentro de los LLM con el espacio que algunos neurocientíficos creen que nuestros cerebros utilizan para registrar los pensamientos conscientes. Pregunté a la empresa con qué seriedad deberíamos toma os esa comparación y respondió en un comunicado: «Trazar estas analogías nos resultó útil para diseñar nuestros experimentos, ya que nos permitieron hacer muchas predicciones experimentales no obvias sobre el J-space que resultaron ser ciertas. Al mismo tiempo, es importante señalar que existen algunas diferencias importantes entre el J-space (y los modelos de lenguaje en general) y el cerebro humano, por lo que no pretendemos afirmar que haya una correspondencia perfecta.»
¿Qué problema en la IA podría resolver este nuevo concepto del J-space?
Anthropic ha afirmado que monitorizar el espacio J podría ser una forma de detectar modelos que hacen algo que no deberían. Dado que en este espacio aparecen palabras que no figuran en la salida de un modelo, pueden revelar aspectos de su comportamiento que de otro modo no habrías notado, como cuando está dando respuestas sesgadas o cuando está sopesando los pros y los contras de hacer trampa.
Esa es la teoría, al menos. Creo que es mejor considerar este resultado como un paso más en el camino hacia la comprensión global de esta tecnología, que como algo que sea útil por sí mismo.
Consulta el artículo completo de Will sobre la nueva investigación.