Un nuevo informe de la organización sin ánimo de lucro de evaluación de IA METR concluye que algunas capacidades de la IA siguen mejorando a lo largo de una trayectoria exponencial —pero también indica que los modelos no son tan buenos en tareas que requieren criterio como a la hora de programar—.
El informe es una actualización del gráfico de horizontes temporales de la organización, que fue ampliamente compartido —y ampliamente malinterpretado— debido a la complejidad de las métricas empleadas. METR evaluó los modelos haciendo que se enfrentaran a un amplio conjunto de tareas, cada una de las cuales también había sido completada por humanos. La dificultad de cada tarea se puntuó según el tiempo que tardaron los evaluadores humanos en finalizarla y, a continuación, se clasificó a los modelos en función de la duración de las tareas que eran capaces de completar. Dicho gráfico demostraba que los sistemas de IA estaban mejorando con rapidez: cada cuatro meses, se duplicaba la duración de las tareas que los modelos de frontera podían completar con éxito.
El gráfico actualizado añade más tareas: algunas que, según se estima, exigen a los humanos mucho más tiempo que las del conjunto original, y otras más abiertas. Uno de los mayores interrogantes actuales en la IA es hasta qué punto el progreso en tareas «verificables» —en las que se puede comprobar automáticamente si un sistema de IA ha tenido éxito o ha fallado— se traslada a tareas en las que el éxito o el fracaso resultan más difíciles de medir. Sabemos cómo enseñar a las redes neuronales a realizar tareas verificables: los investigadores hacen que los sistemas las intenten una y otra vez, refuerzan las conexiones neuronales que contribuyen al éxito y debilitan las que conducen al fracaso. Por eso los sistemas de IA se han vuelto tan buenos en programación y matemáticas, dos ámbitos en los que es posible determinar de forma automática si una solución funciona o no.
Resulta mucho más difícil aplicar esta técnica, conocida como aprendizaje por refuerzo, a tareas en las que el éxito está menos definido o requiere más tiempo para comprobarse —como elegir una nueva línea de investigación—. Por la misma razón, resulta complicado evaluar el rendimiento de la IA en estas tareas, de modo que el gráfico original del horizonte temporal de METR no incluía ninguna de ellas. Pero es precisamente este tipo de tareas el que resultará fundamental si los sistemas de IA han de automatizar la investigación y el desarrollo.
Además, la investigación y el desarrollo en IA es un tema especialmente candente ahora mismo. Parte de la comunidad de la IA todavía está asimilando otro informe de METR de principios de este mes, con abundantes partes tachadas, que afirmaba que la IA podría estar duplicando el ritmo de avance de la propia IA en Anthropic. Dicho informe desató los temores de que la compañía (que acaba de protagonizar una salida a bolsa estelar) pudiera alcanzar pronto una automejora recursiva total: un escenario en el que los sistemas de IA diseñan de forma autónoma a sus propios sucesores sin ninguna intervención humana.
Los investigadores de METR se han esforzado por garantizar que su nueva batería de tareas incluya algunas de las más difusas y sujetas a juicio subjetivo que podrían resultar más relevantes para la investigación y el desarrollo de la IA. En una de las pruebas, piden a los modelos que diseñen nuevas evaluaciones de IA que METR pueda utilizar en sus investigaciones y, a continuación, empleados humanos de la organización puntúan los resultados. Aunque los modelos más avanzados superan ya a casi cualquier humano en ingeniería de software, aquí se quedan cortos: ninguna de las evaluaciones diseñadas por la IA fue lo bastante buena como para que los empleados de METR la consideraran útil para sus investigaciones.
En otra tarea, los modelos deben puntuar argumentos filosóficos. Esta prueba pretende calibrar hasta qué punto los modelos pueden aplicar un buen criterio —aunque METR señala en el informe que los empleados discrepan sobre la relevancia real de esta tarea para la automatización de la I+D en IA—. En este ejercicio, los modelos tampoco lograron alcanzar el rendimiento humano.
Aunque resulta difícil puntuar estas nuevas tareas —y aún más determinar qué significan esas puntuaciones—, los expertos con los que he hablado valoran que METR esté incorporando nuevos tipos de evaluaciones a su trabajo. «Hemos llegado a un punto en el que las evaluaciones de la IA tienen que volverse más creativas», afirma Sayash Kapoor, informático y futuro profesor en UC Berkeley. «Intentar ampliar los límites en el ámbito de las evaluaciones es un cambio bienvenido».
Kapoor afirma que no le sorprendió ver que el rendimiento de los modelos se queda corto en tareas más abiertas, como diseñar una evaluación de IA —en un preprint de agosto, él y sus colaboradores señalaron que los modelos de IA todavía no son capaces de reproducir por sí mismos investigaciones en ciencias de la computación realizadas por humanos—. Y en una entrada de su blog publicada el miércoles, OpenAI informó de que sus modelos no rinden tan bien en las tareas del mundo real que les asignan sus empleados como en las tareas más sencillas y verificables de la suite original de METR.
Aun así, no hay acuerdo sobre cómo interpretar las diferencias actuales de rendimiento entre las tareas fácilmente verificables y las difíciles de verificar, afirma Kapoor. Aunque considera que el criterio investigador —la capacidad de elegir preguntas, hipótesis y experimentos prometedores— resultará ser un importante cuello de botella a la hora de automatizar la I+D en IA, otros sostienen que los modelos entrenados en tareas fáciles de verificar también acabarán siendo capaces de realizar con éxito tareas abiertas. Y el progreso en las tareas verificables no parece estar ralentizándose.
Aunque ahora mismo los modelos se queden por detrás del rendimiento humano en tareas abiertas, el nuevo informe sugiere que podrían estar mejorando. Algunos de los modelos más recientes, como Opus 5.5, tienden a alcanzar lo que METR denomina un rendimiento «justo por encima del listón» en las tareas de diseño de evaluaciones —aún no utilizable para la investigación de METR, pero sí prometedor—. Hace tan solo un año, todos los modelos se situaban en la categoría «claramente por debajo del listón».
Pero dado que estas tareas abiertas y que tanto criterio exigen son tan difíciles de diseñar y evaluar, METR incluye pocas de ellas en su informe, lo que dificulta predecir si los modelos continuarán progresando en estas áreas y de qué manera. «La mejora que observamos creo que sí nos dice algo sobre el momento actual», afirma Najoung Kim, lingüista e informática de la Universidad de Boston. «Todavía no estoy segura de cómo interpretar de qué forma se extrapolaría».
Matt Putz, miembro del equipo técnico de METR, señala que es probable que predecir el avance en este tipo de tareas siga siendo difícil. «Por su propia naturaleza, las tareas difíciles de verificar o sujetas a juicio subjetivo son mucho más complejas de estudiar y, sobre todo, de cuantificar», afirmó por correo electrónico. «En última instancia, no creo que seamos capaces de establecer tendencias tan claras y sólidas como en el caso de las [tareas] fáciles de especificar».
En general, METR se está topando claramente con las dificultades prácticas de evaluar el rendimiento de la IA en tareas complejas y poco especificadas —precisamente las más relevantes para automatizar la I+D en IA—. Los gráficos de horizonte temporal de METR puntúan la dificultad de las tareas evaluando cuánto tardaría un ser humano en completarlas, y, para el gráfico original, midieron este valor haciendo que personas reales intentaran resolver cada tarea.
En el nuevo informe, sin embargo, los tiempos de realización son en su mayoría estimaciones, ya que pagar a personas por tareas que podrían llevar cientos de horas, o que solo unos pocos expertos están cualificados para completar, resulta prohibitivamente caro y requiere demasiado tiempo. Otras tareas presentan deficiencias más específicas; por ejemplo, en la tarea de argumentación filosófica, solo una persona evaluó la mayoría de los argumentos, y a los agentes se les juzga según su grado de coincidencia con ese individuo en particular. Es posible que las puntuaciones cambiasen si se consultara a más expertos, pero eso también requiere mucho tiempo.
Todavía es pronto para evaluar modelos en tareas difíciles de validar o que requieren capacidad de juicio. Y, aunque los expertos con los que hablé consideran que la inclusión de estas tareas en el gráfico de horizontes temporales más reciente de METR es un claro paso en la dirección correcta, coinciden en que aún estamos lejos de obtener respuestas definitivas sobre si llegará, y a qué velocidad, la I+D automatizada en IA. «Este avance hacia tareas abiertas es prometedor», afirma Kapoor. Pero, añade, «todavía queda muchísimo por hacer para lograr una comprensión más completa».

