"Creo que tengo buenas noticias sobre la naturaleza de las redes neuronales". Con esas sencillas palabras de optimismo, Nick Cammarata, investigador de la startup de IA Goodfire, arrancó una entrada de blog de 26 000 palabras que ha puesto patas arriba el mundo de la IA, desatando especulaciones desenfrenadas, así como celebraciones prudentes (y no tan prudentes).
La afirmación de Cammarata es que los LLM podrían ser, de hecho, mucho más fáciles de entender (y, por tanto, de monitorizar y controlar) de lo que se pensaba. Si es verdad (y ya volveremos sobre ello), se trata de algo de enorme trascendencia.
Tras un verano repleto de revelaciones sobre cómo enjambres de agentes desarrollados por empresas líderes como OpenAI y Anthropic han estado rompiendo su contención y sembrando el caos en la internet pública (a menudo sin que dichas compañías supieran qué estaban haciendo sus agentes), el sector de la IA está desesperado por tener un mayor control sobre la tecnología que ha creado.
Esa es una de las razones por las que la entrada del blog tuvo tanto impacto. "Creo que esto podría recordarse como un gran momento en la historia de la ciencia", publicó en X un investigador de IA: "Siento como si mi comprensión de lo que es una red neuronal se hubiera catapultado unos cinco años hacia el futuro o algo parecido". Otro lo calificó como "el artículo de IA más importante del año".
Sin embargo, no todo el mundo está convencido. Lo que Cammarata ha compartido no es mucho más que una corazonada, afirma Chris Potts, de la Universidad de Stanford, que dirige un equipo que intenta entender cómo funcionan los LLM. "Por lo que alcanzo a ver, nada en esta entrada de blog facilita la resolución de los problemas", asegura. "Ni se me habría ocurrido tener que decir esto, pero personalidades muy destacadas en las redes sociales parecen creer que se trata de un avance que lo abarca todo".
Hablé con Cammarata al día siguiente de que su publicación se hiciera viral. Asegura que le sorprendió la repercusión: "No esperaba que la gente actualizara [sus creencias sobre la IA] tanto como lo hizo".
"Simplemente disfruto mucho analizando redes neuronales", afirma. "Sinceramente, me encanta hacer este tipo de cosas. Y, tras observar mucho, tengo una historia esperanzadora".
Redes anudadas
Desde hace tiempo se acepta que los mecanismos internos de las redes neuronales, el software que sustenta la mayoría de los modelos de IA, son muy difíciles (quizá imposibles) de desentrañar por completo. Esto se debe a que, cuando las redes se entrenan, parecen adoptar estructuras extrañas y enmarañadas que no tienen sentido para un ser humano. A los investigadores les gusta decir que la IA actual se cultiva como un jardín, no se construye como un puente.
Cammarata ha hecho más que la mayoría por asentar esa visión. Anteriormente trabajó en OpenAI, donde contribuyó al desarrollo de técnicas pioneras que permitieron a los investigadores asomarse al interior de los modelos, incluidas herramientas capaces de examinar neuronas individuales para ver qué representan. Es algo parecido a cómo los neurocientíficos recurren a la resonancia magnética para estudiar el cerebro. (MIT Technology Review eligió este enfoque, conocido como interpretabilidad mecanicista, como una de sus 10 Tecnologías Emergentes de 2026).
En 2020, Cammarata y sus colegas estaban estudiando un pequeño modelo de reconocimiento de imágenes llamado Inception v1. Al analizar sus neuronas, parecía que las utilizaba para captar varias cosas a la vez. Por ejemplo, descubrieron que una misma neurona respondía tanto a imágenes de coches como a imágenes de gatos.
Los investigadores concluyeron que el modelo lograba que al menos algunas de sus neuronas realizaran multitarea, tal vez para poder dar cabida a más datos. El análisis de otros modelos pareció corroborarlo. El fenómeno pasó a conocerse como superposición: los modelos comprimían conceptos no relacionados en neuronas individuales. La conclusión era clara: al mirar dentro de un modelo, lo que se veía era un nudo inmenso y enmarañado.
Por tanto, la mayor parte de la investigación en interpretabilidad mecanicista se ha centrado en formas de desenredar ese nudo. Sin embargo, a pesar de algunos avances, el progreso ha sido lento. Los modelos actuales, como los LLM más recientes, son tan grandes y complejos que los investigadores solo pueden descifrar fragmentos minúsculos cada vez. Algunas figuras destacadas en este campo dudan de que alguna vez sea posible comprender un LLM con un nivel de detalle minucioso.
Cammarata era uno de ellos. "Era muy pesimista", dice. Pero luego se tomó la molestia de mirar de verdad.
Nada más que neuronas
En Goodfire, Cammarata pasa casi todo su tiempo escudriñando el interior de las redes neuronales. Ha creado nuevas herramientas y despliega equipos de agentes de IA para que le ayuden a dar sentido a lo que ve. "Me pasé como, no sé, 10 horas al día, siete días a la semana, durante la mayor parte del último año solo mirando neuronas", dice.
Lo que afirma haber comprendido es que, después de todo, existe cierta lógica en las redes neuronales, aunque al principio parezcan no tener sentido. "Lo estábamos enfocando mal", dice. "Solo creo que tienes que esforzarte un poco más; no debes rendirte tan rápido".
Cammarata casi hace que suene como una conversión de fe. Aquellos primeros experimentos con modelos como Inception v1, que sugerían que las redes neuronales estaban enmarañadas, fomentaron una especie de sesgo de confirmación. Cuando los investigadores analizaban un nuevo modelo, esperaban quedarse perplejos, señala. "Cada vez que no entendía algo, pensaba: «Vaya, este proceso de desenmarañado es aún más importante de lo que creía, porque no puedo avanzar sin él»".
Pero cuanto más observaba Cammarata las neuronas, afirma, más cosas empezaban a encajar. "No todas son perfectas, pero esperaba que nada fuese legible, o muy poco", explica. "Y, en realidad, pude llegar a mapear circuitos enteros".
De vuelta a los coches y los gatos
Cammarata aplicó su nuevo enfoque (y sus nuevos agentes) y regresó a Inception v1. "Probablemente lo había estudiado durante miles de horas", asegura. Pero, mirándolo con otros ojos, Cammarata encontró aspectos en los que ahora cree que se equivocaron la primera vez. Tomemos como ejemplo la neurona del coche y el gato. En lugar de preguntarse por qué varias cosas sin relación estaban concentradas en una sola neurona, ahora intentó averiguar qué podían tener en común.
Cayó en la cuenta: tenía forma de V. "Estaba mirando las mismas imágenes; no había ningún cambio técnico", dice. "Pero ahora creía que las redes neuronales definían patrones, así que lo miré de otra manera. Probablemente tardé cinco segundos".
Resulta que el modelo de reconocimiento de imágenes estaba agrupando coches y gatos en el mismo lugar porque las fotos de ambos elementos suelen presentar una forma prominente que recuerda a una V: la cara de un gato; la parte delantera de un coche vista de perfil.
Cammarata realizó varios experimentos para comprobar a qué otras cosas respondía la neurona y descubrió que incluían la esquina de una mesa de billar, el morro afilado de un tren de alta velocidad japonés y un barco de bomberos proyectando agua al aire desde su cubierta. También comprobó qué desactivaba la neurona y descubrió que incluía imágenes con una forma redondeada en O, una especie de anti-V.
El modelo había almacenado gatos y coches en el mismo lugar porque, a cierto nivel, se parecen, dice Cammarata. "Y pensé: «Vaya, vale, creo que tal vez simplemente no estoy entendiendo las redes neuronales en general»".
Cammarata no está diciendo que ya comprenda plenamente cómo funcionan los LLM (o cualquier modelo). Ni de lejos. Sostiene que cree que una comprensión total es, al menos, posible. "Antes pensaba que habría algunos problemas realmente difíciles de resolver", afirma.
"Ahora siento que si tuviera 100 000 años para analizar un modelo de lenguaje de frontera circuito a circuito, habría bastantes probabilidades de llegar a entenderlo bien".
Añade: "Y, si eso es verdad, las cosas van realmente bien, porque estás a punto de disponer de agentes increíblemente inteligentes a una escala descomunal. Y lo que a mí me habría llevado, ya sabes, 100 000 años, podremos hacerlo mucho más rápido. Los científicos automatizados se están volviendo realmente buenos".
Optimismo sin límites
Desarrollado por Google en 2014, Inception v1 es un modelo mucho más simple que cualquiera de los que se encuentran hoy en la vanguardia. Cammarata y sus colegas han empezado a analizar LLM modernos y tienen previsto publicar pronto los resultados técnicos de ese trabajo. Muchos investigadores están deseando conocer esos detalles. "Agradezco que haya analizado miles de ejemplos, pero incluso una cifra tan alta no sustituye a una evaluación rigurosa", afirma Potts, de la Universidad de Stanford.
Mientras tanto, algunos están rebajando con contundencia el entusiasmo. Jacob Hilton, del Alignment Research Center, un laboratorio de investigación sin ánimo de lucro con sede en Berkeley, que ha colaborado con Cammarata en el pasado, no cree que sus afirmaciones sean tan importantes como se está dando a entender.
En una serie de publicaciones en X, Hilton señala que los investigadores comprenden menos del 0,01 % del funcionamiento interno de los LLM de primer nivel. "Siempre agradezco el optimismo sin límites de Nick [Cammarata] cuando nos vemos, pero por desgracia esto está ofreciendo al público una imagen poco realista del estado de este campo", escribió. "Para lograr una comprensión total, debemos ir más allá de las neuronas y explicar cómo se conectan entre sí para formar circuitos. ¿Cómo va esto? Si aspiramos a una comprensión plena, ¡las cosas no pintan nada bien!".
Neel Nanda, de Google DeepMind, que fue uno de los pioneros de la interpretabilidad mecanicista junto a Cammarata, también se muestra escéptico. "Es un trabajo interesante, pero no creo que suponga un cambio significativo en la visión general de la interpretabilidad", escribió en X.
Nanda coincide en que comprender qué hacen las neuronas individuales podría ayudar a los investigadores a averiguar por qué determinados modelos se comportan de forma errónea. Pero, al igual que Hilton, señala que las neuronas son solo una pieza de un puzle mucho mayor. "No estoy de acuerdo con las conclusiones más ambiciosas de algunas personas, como que esto suponga un avance sustancial hacia una ingeniería inversa ambiciosa [o] hacia resolver la interpretabilidad", escribió.
Cammarata admite que mucha gente ha llevado demasiado lejos lo que dijo: "No es una noticia infinitamente buena; no está todo resuelto", afirma. "Hay muchas preguntas abiertas, como hasta qué punto importan las combinaciones de neuronas frente a analizarlas de una en una".
Cammarata afirma que su publicación en el blog llegó en un momento en el que la gente busca esperanza. En concreto, considera que la comunidad de seguridad de la IA (los investigadores y responsables políticos más preocupados por que los modelos potentes conlleven enormes riesgos) necesita un salvavidas ahora mismo. Piensan que el panorama pinta mal y que, incluso si las cosas salen bien, será por pura suerte y no porque hayamos solucionado nada, señala: "La verdad es que no percibo mucho optimismo".
Por eso Cammarata cree que lo que tiene que decir importa. La tarea de averiguar cómo funciona esta tecnología y, por tanto, cómo controlarla, apenas acaba de comenzar. Pero, al menos, no es una causa perdida. "Creo que nuestro trabajo consiste, en cierto modo, en intentar pensar como la red neuronal", afirma. "Mi intuición es que las cosas saldrán bastante bien, porque, en cierto sentido, fue diseñada para ser leída".

