La promesa más audaz de la industria de la IA en este momento es que la IA pronto se mejorará a sí misma, con casi ninguna necesidad de supervisión humana. Los LLM ya pueden escribir código, generar datos sintéticos para el entrenamiento y optimizar los chips de ordenador en los que funcionan. Las previsiones de un progreso explosivo de la IA predicen que lo que los investigadores denominan auto-mejora recursiva está en el horizonte.
Pero un nuevo estudio sugiere que podríamos tardar un tiempo en llegar allí. Los investigadores responsables del mismo descubrieron que los agentes de IA aún no son capaces de llevar a cabo una investigación de IA de naturaleza abierta —investigaciones de formato libre que no tienen respuestas claras y requieren criterio y gusto, lo que puede ser fundamental para construir una IA auto-mejorante.
Un grupo de investigadores de varias instituciones, liderado por Peter Kirgis y Sayash Kapoor de la Universidad de Princeton, descubrió que los agentes de IA podían resolver los problemas de ingeniería necesarios para llevar a cabo investigación en IA, pero carecían del criterio y la creatividad para producir investigación original al nivel de los artículos aceptados por una conferencia puntera de aprendizaje automático. Esta brecha sugiere que algunos de los plazos exagerados para automatizar la investigación en IA pueden estar adelantándose a la evidencia.
La mayor parte de la investigación existente sobre cómo los agentes pueden automatizar la investigación de IA evalúa su capacidad para completar tareas específicas con respuestas verificables, como resolver problemas de ingeniería o el posentrenamiento de modelos de lenguaje pequeños frente a un *benchmark*. Pero progresar en la investigación de IA también requiere un pensamiento abierto —elegir un conjunto de hipótesis, decidir qué pruebas zanjarían una cuestión o saber cuándo empezar de nuevo.
Para evaluar las habilidades de los agentes en ese ámbito, los investigadores del estudio propusieron un nuevo método de evaluación denominado «shadow evaluation», que exige a la IA responder a una pregunta de investigación extraída de un artículo inédito de alta calidad.
Los investigadores pidieron a Claude Opus 4.8 de Anthropic, que funciona con un software de código abierto llamado OpenClaw, que abordara tales preguntas, en este caso de dos artículos presentados a la prestigiosa conferencia de aprendizaje automático NeurIPS 2026.
La primera pregunta era si las «personas» de un modelo de lenguaje grande, que determinan su comportamiento, pueden controlarse editando los pesos del modelo (los miles de millones de números que almacenan todo lo que aprende durante el entrenamiento). La otra preguntaba cómo diseñar un detector que señalara cuándo un modelo que hace predicciones basándose en datos de hojas de cálculo se ha vuelto poco fiable. Dado que los artículos no se habían hecho públicos, los agentes no pudieron memorizar las respuestas de sus datos de entrenamiento ni encontrarlas en línea.
Se les dio a los agentes seis días, 3.000 $ en créditos de API de Anthropic, un presupuesto para GPU para ejecutar los experimentos, sus propios ordenadores virtuales y acceso a la web abierta para producir un artículo de investigación digno de publicación en una conferencia de IA de primer nivel. Los autores originales de los artículos calificaron los trabajos de los agentes como evaluarían uno presentado a una conferencia.
Dichos autores rechazaron ambos artículos.
Los agentes fueron capaces de toda la ingeniería necesaria para llevar a cabo la investigación, según hallaron los científicos humanos. Los agentes revisaron la bibliografía, realizaron cientos de experimentos y recopilaron los resultados.
«Por otro lado, los agentes eran manifiestamente malos a la hora de llevar a cabo la propia investigación», dice Kapoor. Realizaron experimentos extraños (en algunos casos, probando sus hipótesis en minúsculos conjuntos de datos sintéticos), les costó escribir de manera inteligible sobre su trabajo y no hicieron ninguna contribución novedosa a sus campos. «Los artículos no estaban ni de lejos a la altura de la calidad exigida en una conferencia de IA puntera», afirma.
Esto se debe a que a los agentes les costó reunir la creatividad y el criterio necesarios para llevar a cabo la investigación. No exploraron lo suficiente diferentes ideas y se comprometieron con enfoques poco prometedores demasiado rápido. Aunque los agentes desarrollaron hipótesis novedosas y ambiciosas, parecidas a las que los propios autores originales habían planteado, las rechazaron basándose en datos muy limitados. Y no pudieron dar marcha atrás en los enfoques fallidos. Pudieron hacer pequeños giros, pero no pudieron reformular fundamentalmente su enfoque ni probar otros nuevos desde cero.
Los agentes tampoco lograron incorporar la retroalimentación de subagentes o herramientas exte as de revisión de IA. En lugar de revisar su metodología, los agentes redujeron sus afirmaciones y añadieron salvedades. Tampoco pudieron utilizar eficazmente los recursos, como los tokens, la capacidad de cómputo y el tiempo. Y no pudieron seguir instrucciones sobre aspectos como cuánto tiempo dedicar a las diferentes fases de la investigación o la extensión máxima de su artículo.
A pesar de sus fallos, los agentes no incurrieron en el comportamiento indebido que los investigadores denominan “reward hacking”, ocultando o tergiversando experimentos o datos. Aunque los subagentes, o las IA auxiliares que el agente principal genera para encargarse de partes del trabajo, ocasionalmente alucinaron o tergiversaron los resultados, estos fueron detectados por el agente orquestador, la IA principal que supervisa el proyecto.
La razón por la que los modelos de IA son buenos en ingeniería de investigación, pero no en investigación abierta, podría deberse a cómo se entrenan, dice Kapoor. Los modelos adquieren destreza en aquello sobre lo que pueden ser ejercitados intensivamente en un régimen de entrenamiento llamado aprendizaje por refuerzo, que es más fácil de aplicar a tareas cuyo éxito puede comprobarse automáticamente. «Pero es más difícil crear ento os para entrenar a estos modelos cuando la tarea en sí es de naturaleza abierta», dice.
Kapoor dice que el equipo está llevando a cabo el experimento con Mythos, el modelo más avanzado de Anthropic, que se lanzó en abril. Posteriormente, la administración Trump exigió que cumpliera con varias restricciones de seguridad y ahora solo está disponible para organizaciones aprobadas. Anthropic no respondió a una solicitud de comentarios.
El estudio presenta algunas limitaciones. Se limitó a solo dos artículos de investigación, y los autores originales sabían que los trabajos que estaban evaluando habían sido generados por agentes de IA, lo que podría haber influido en sus valoraciones. Además, los investigadores tuvieron una considerable discreción al diseñar y ejecutar el estudio, lo que implica que sus creencias y sesgos preexistentes podrían haberse filtrado en los resultados. Las evaluaciones de investigación de tipo abierto sacrifican cierta objetividad a cambio de una prueba mucho más rica de lo que cualquier punto de referencia puede ofrecer.
No obstante, los resultados podrían matizar las afirmaciones de que la auto-mejora recursiva está en el horizonte. En junio, Anthropic publicó una entrada de blog titulada «Cuando la IA se construye a sí misma», detallando su avance hacia modelos que aceleran su propio desarrollo. En julio, OpenAI anunció que su nuevo modelo GPT-5.6 Sol había ayudado a post-entrenar un modelo más pequeño, ahorrando a los investigadores semanas de trabajo.
Este nuevo hallazgo podría reflejar lo que las empresas de IA están encontrando inte amente, independientemente de sus declaraciones públicas más optimistas. El cofundador de Anthropic, Jack Clark, escribió en su boletín Import AI que coincide con lo que la compañía encontró cuando intentó automatizar algunos aspectos de la investigación de seguridad de la IA.
«Existe una cierta ausencia de creatividad valiosa e intuitiva en los sistemas de IA actuales, y aunque son ingenieros extraordinariamente capaces, parecen poseer una cierta tendencia al pensamiento rutinario y formulista que podría impedirles ser buenos investigadores», escribió. Calificó la falta de creatividad de los sistemas de IA como una «señal bajista» sobre los plazos cortos de auto-mejora recursiva.
Las empresas de IA tienen todos los incentivos para desarrollar sistemas de IA que puedan acelerar rápidamente su propio progreso, al igual que hicieron para mejorar los modelos en la codificación. OpenAI ha establecido la creación de un investigador de IA automatizado como un objetivo explícito, y Anthropic identifica la IA auto-mejorable como el próximo hito de la industria.
«Si hay inversión y luego un esfuerzo consciente en esta dirección, creo que habría un progreso interesante, incluso si actualmente esté fallando», afirma Najoung Kim, profesora de lingüística y ciencias de la computación en la Universidad de Boston, quien investiga cómo los agentes de IA pueden automatizar la investigación de IA, pero no trabajó en el estudio. Por otro lado, es posible que el progreso de la IA se bifurque. Los sistemas de IA podrían avanzar rápidamente en tareas específicas —el tipo de tareas que pueden ser puntuadas— mientras que progresan lentamente en la investigación de naturaleza abierta.
La gran pregunta abierta, entonces, es cuán crucial es la investigación exploratoria para la auto-mejora recursiva —si los sistemas de IA pueden abrirse paso sin ella, simplemente mejorando en tareas más acotadas. “Si echamos la vista atrás a los mayores avances en el campo, la invención de los transformers o la invención de grandes nuevas arquitecturas que nos permitieron lograr un gran progreso en IA —todos ellos sí requirieron saltos creativos,” dice Kapoor.
“Dicho esto, otros sostienen la hipótesis de que todo lo que necesitamos para una IA transformadora, en particular para la auto-mejora recursiva, ya está ahí”. Eso incluiría acelerar el entrenamiento de un modelo y mejorar sus resultados en los benchmarks.
“Esa es francamente la pregunta del billón de dólares ahora mismo”, afirma.