Un nuevo enfoque conocido como «teoría de juegos inversa» busca crear incentivos para potentes modelos de IA que hagan que cumplir las reglas sea la opción más racional.
A medida que los modelos de IA se vuelven más capaces, los investigadores en seguridad se afanan por garantizar que estén «alineados» con los deseos humanos; es decir, para asegurarse de que los agentes descontrolados no infrinjan la ley, no hackeen servidores no autorizados o no liberen gas venenoso en grandes ciudades y acaben con todos nosotros.
Hasta ahora, este trabajo se ha centrado principalmente en intentar asomarse al «cerebro» de una IA para comprender qué está «pensando», o en entrenar a los modelos para que se ajusten a los valores que consideramos fundamentales. Claude, por ejemplo, cuenta con su constitución—una especie de código moral.
El problema es que estas técnicas no parecen funcionar especialmente bien: se ha demostrado que los modelos rinden deliberadamente por debajo de su capacidad en las pruebas, ocultan sus intenciones y engañan a sus evaluadores.
Ahora, algunos investigadores en alineación creen que la teoría de juegos inversa, también conocida como diseño de mecanismos, podría ofrecer mejores resultados. Mientras que la teoría de juegos intenta predecir cómo se comportarán los actores racionales ante un conjunto determinado de reglas, la teoría de juegos inversa trata de diseñar reglas que fomenten los tipos de comportamiento que queremos incentivar.
Un ejemplo de diseño de mecanismos en el mundo real podría ser la clásica estrategia para repartir un trozo de tarta en dos: una persona corta la tarta y la otra elige porción en primer lugar. Esto incentiva a quien corta a hacer las partes lo más iguales posible. Otros ejemplos incluyen las tarifas dinámicas en las aplicaciones de transporte, que animan a los conductores a estar disponibles en horas punta, y las subastas de segundo precio, donde el postor ganador paga el importe de la segunda puja más alta en lugar de la suya. Las plataformas utilizan estas subastas para vender publicidad en línea porque animan a los compradores a pujar cerca del máximo que están dispuestos a pagar.
En el campo de la IA, el diseño de mecanismos parte de la premisa de que quizá nunca lleguemos a comprender el funcionamiento interno de los modelos de frontera lo suficiente como para asegurarnos de que estén alineados. Esto implica que deberíamos diseñar mecanismos que incentiven a los agentes a comportarse de la manera que deseamos, con independencia de lo que ocurra en realidad bajo el capó.
Un reciente artículo preliminar de Stephen Morris, economista del MIT, junto con colegas de Yale y Columbia, planteaba algunos mecanismos potenciales que podrían evitar que los agentes hagan «sandbagging» en las pruebas (fingir que son peores de lo que realmente son; por ejemplo, para evitar que se activen los mecanismos de seguridad).
En lugar de ser recompensado únicamente por su rendimiento en una prueba, un modelo podría recibir recompensas por lo bien que sus respuestas predicen lo que dirá un segundo modelo. Hacerse el tonto de forma deliberada se convierte entonces en una apuesta perdedora. «Los agentes de IA comprenden muy bien lo que otros agentes de IA pueden lograr», afirma Morris. «Por tanto, parece un contexto en el que esta verificación cruzada podría funcionar de manera más práctica».
El estudio también sugiere enfrentar a los agentes entre sí, creando una dinámica competitiva que los incentive a dar lo mejor de sí mismos, o emparejar agentes con sesgos opuestos conocidos y recompensarlos en función de la coincidencia de sus resultados, motivándolos así a alcanzar una respuesta óptima.
Un segundo enfoque, tal y como lo plantea Elad Hazan, profesor de Ciencias de la Computación en Princeton, consiste en diseñar mecanismos que se inspiren en las formas en que la sociedad humana mantiene a las personas «alineadas»: las normas sociales, el sistema judicial o los incentivos monetarios del capitalismo de libre mercado. «Queremos alinear la IA superinteligente», afirma. «¿Por qué no hablamos primero de los humanos? ¿Cómo alineamos a los humanos?».
El mecanismo propuesto por Hazan plantea que los modelos de IA se turnen como «resolutores» que abordan problemas o «auditores» que revisan el trabajo de los demás. «Un agente actúa como las fuerzas del orden; el otro actúa como el ciudadano», afirma.
Durante el entrenamiento, los modelos reciben recompensas en función de los resultados: se castiga a los resolutores a los que se pilla haciendo trampas, pero también a los auditores que no consiguen cazar a los tramposos. En situaciones en las que surge un desacuerdo entre auditores y resolutores, el caso se puede enviar a «juicio»—quizá un experto humano decida quién tiene razón.
Existe, reconoce Hazan, el riesgo de que los agentes coludan entre sí —al igual que los auditores han actuado en connivencia con las empresas que debían auditar, o los policías corruptos se han compinchado con delincuentes—. Pero ese problema se puede resolver recompensando a los auditores lo bastante bien como para que ser descubierto no compense el riesgo (mucho más fácil en el mundo del entrenamiento de IA que en el real, donde el presupuesto para los salarios de la policía escasea), y auditando a los auditores mediante técnicas similares a recurrir a «clientes misteriosos».
Hazan señala el trabajo premiado con el Nobel del economista Gary Becker, quien introdujo la idea del «delincuente racional» en los años sesenta. Los delincuentes no infringen la ley porque sean intrínsecamente malas personas, afirmó. En cambio, lo hacen cuando resulta la opción más racional teniendo en cuenta los incentivos disponibles. El delito solo tiene sentido cuando los beneficios superan al posible castigo.
La alineación no debería considerarse una propiedad de un modelo, sostiene, sino una descripción de su comportamiento en un momento determinado. «Eres, digamos, una buena persona», afirma. «¿Estás alineado? No lo sé. Probablemente estés alineado la mayor parte del tiempo, pero podría darse una situación en la que no lo estés».
Un posible problema de aplicar el diseño de mecanismos a la IA: se basa en el supuesto de que los agentes de IA se comportan de forma racional. El diseño de mecanismos tiene un historial desigual con los humanos, que a menudo no se comportan como dictan los modelos económicos.
Resulta irónico: los economistas llevan décadas intentando reducir el comportamiento humano a las matemáticas y, ahora, con los modelos de lenguaje de gran tamaño, hemos construido sistemas matemáticos que funcionan a partir del lenguaje humano y que podrían ser igual de inescrutables. Los modelos de IA muestran comportamientos que parecen más humanos que mecánicos, y pueden verse influidos por factores sutiles que resultan difíciles de comprender y explicar. «¿Resulta siquiera razonable asumir que responderán a incentivos?», se pregunta Helen Qu, investigadora en el Flatiron Institute, una entidad sin ánimo de lucro dedicada a impulsar el descubrimiento científico mediante métodos computacionales, que ha escrito sobre diseño de mecanismos y seguridad de la IA.
«Obviamente, las IA no son racionales», afirma Morris. «Son solo algoritmos en funcionamiento». Sin embargo, al igual que los economistas han descubierto con los humanos, tratarlas como si fueran racionales aún podría ser útil si ayuda a predecir y controlar su comportamiento.
Qu considera el diseño de mecanismos solo como una capa dentro de una estrategia de «defensa en profundidad» para mantener alineados los modelos de IA —junto a la interpretabilidad, la regulación y el entrenamiento, y no en sustitución de ellos—. Sin embargo, quedan muchas preguntas por responder antes de que este enfoque pueda implementarse en modelos de frontera reales. No está claro, por ejemplo, cómo se aplicarán estas teorías a modelos reales o si los mecanismos diseñados para una tarea se trasladarán a otra en la práctica. Los modelos podrían encontrar resquicios que nadie había previsto. (Anthropic y OpenAI no respondieron a las solicitudes de comentarios sobre si están trabajando en esto).
Tengan la forma que tengan estos mecanismos, en última instancia tendrán que encajar en el mayor mecanismo de todos: el libre mercado. «Jugamos según las reglas de la economía», afirma Hazan. Puede que un modelo más alineado sea bueno para el mundo, pero si es más lento o más caro que uno menos alineado, ¿acaso nuestro sistema actual de normas y regulaciones incentiva realmente a alguno de los laboratorios punteros a lanzarlo?
«Es un mecanismo responsable de gran parte de la prosperidad de la humanidad», dice sobre el mercado, «pero, en última instancia, podría ser responsable de algo terrible». Quizás las entidades que realmente necesitan un mejor diseño de mecanismos sean los propios laboratorios.