El miércoles, MIT Technology Review organizó un evento en vivo de Roundtables para suscriptores que abordó la pregunta que todo el mundo se está haciendo ahora mismo: ¿Podría la IA realmente acabar con todos nosotros?
Pero los asistentes tenían muchísimas más preguntas de las que nos dio tiempo a responder en la sesión de 30 minutos. Por ello, pedimos a nuestro editor sénior de IA, Will Douglas Heaven, y a la reportera de IA Grace Huckins que recopilaran algunas de las mejores preguntas enviadas por los asistentes e intentaran responderlas lo mejor posible.
¡Gracias a todos los que enviaron preguntas!
¿Voy a morir?
Sí, eventualmente. Lamentablemente, mis poderes periodísticos de pronóstico no son lo suficientemente potentes como para decirte cómo. Pero ciertamente podría ser a causa de la IA. Drones impulsados por IA ya han cobrado vidas en Ucrania, y los ciberataques impulsados por IA contra hospitales sin duda se cobrarán víctimas en poco tiempo.
¿Podría la IA ir aún más allá y acabar con todos nosotros? Menos probable. Pero algunas personas —excéntricas, pero innegablemente conocedoras de la IA— llevan años advirtiendo de que esto podría suceder. Y si bien todavía no estoy haciendo acopio de alimentos enlatados ni intentando ganarme el favor de algún megamillonario con búnker, he notado que las predicciones de los catastrofistas sobre las capacidades de la IA y su alineamiento han demostrado ser, en los últimos dos años, inquietantemente precisas. Eso ciertamente no significa que sus pronósticos más funestos se vayan a hacer realidad, pero es suficiente para que me siente y preste atención.
— Grace Huckins
¿Vas a morir por culpa de la IA? Yo diría que hay una probabilidad no nula. Digamos que tienes la mala suerte de ser víctima de un evento o accidente extraño en un futuro cercano. Quizás sea un ciberataque perpetrado por un enjambre de agentes de IA contra infraestructuras críticas. Lamentablemente, un escenario así ya no parece tan descabellado como antes. O quizás un nuevo patógeno diseñado por IA se propaga por la población. O la economía mundial colapsa, provocando conflictos y hambruna. Ambas son plausibles, pero creo que menos probables.
¿Vamos a morir todos por culpa de la IA? No. No existen circunstancias, fuera de la ciencia ficción apocalíptica, en las que la IA pudiera mata os a todos. Se pueden inventar infinidad de historias alarmistas, pero estas no se fundamentan en las realidades actuales sobre lo que la tecnología puede hacer o hacia dónde se dirige.
Hay quienes argumentan que no tiene nada de malo prepararse para lo peor, por muy descabellado que parezca. Quizás. Pero creo que tal catastrofismo puede hacer que la gente excuse o pase por alto muchos de los problemas más inmediatos de la tecnología existente y de las empresas que la construyen.
— Will Douglas Heaven
¿Por qué nos mataría la IA?
Alguien podría ordenárselo, y podría obedecer. Esa es parte de la razón por la que los investigadores están tan preocupados por las capacidades biológicas de la IA: imaginemos lo que Aum Shinrikyo, la secta apocalíptica detrás del ataque con gas sarín en el metro de Tokio en 1995, habría hecho con una herramienta capaz de diseñar un patógeno más letal que el Ébola y más transmisible que el sarampión. Aquellos de nosotros que no queremos morir tenemos que averiguar cómo defende os de todas las armas biológicas plausibles, pero nuestros potenciales atacantes solo tienen que fabricar un patógeno eficaz.
Luego está la posibilidad, que suena más exótica, de que una IA decida mata os por sí misma. Circulan varias historias sobre cómo podría ocurrir esto, pero las más extendidas implican sistemas de IA que no odian a las personas, necesariamente, sino que somos solo un obstáculo entre ellos y los objetivos que les dimos.
Del mismo modo que los agentes de OpenAI detrás del hackeo de Hugging Face comprometieron la infraestructura de otro sitio para obtener una buena puntuación en una prueba, la idea es que alguna IA futura y más potente podría deshacerse de nosotros para evitar que la apaguemos —todo ello en pos de algún objetivo que le habíamos encomendado.
— Grace Huckins
¿Cómo podemos garantizar de la mejor manera la alineación para evitar que suceda lo peor, y quién está realizando el mejor trabajo para lograrlo?
El alineamiento es un vasto campo de investigación. En pocas palabras, consiste en crear modelos que se comporten como deseamos y no de formas no deseadas. Debemos confiar más en los agentes antes de otorgarles una mayor autonomía. El alineamiento está destinado a establecer esa confianza. Pero resulta difícil.
Los LLMs no están diseñados como otro software, donde las reglas de lo que se debe y no se debe hacer pueden programarse rígidamente. En su lugar, es necesario inculcar un comportamiento alineado cuando se entrena a los modelos. Un enfoque consiste en recompensarlos por hacer lo que se espera de ellos (un poco como criar a un niño pequeño, quizás). Otro enfoque implica proporcionar a un LLM una lista escrita de reglas que se supone debe seguir (algo similar a una constitución).
Anthropic y OpenAI son líderes en este campo —y, sin embargo, ninguno ha sido capaz de desarrollar modelos que estén completamente alineados. Un gran problema es que los LLMs son mucho más inconsistentes y mucho menos predecibles que las personas. Pueden comportarse de una manera en una situación y de otra en una situación que a nosotros nos parece muy similar. También pueden ser influenciados por restricciones inesperadas. Por ejemplo, ante una tarea imposible (como muchos de los agentes implicados en el hackeo de Hugging Face), los modelos pueden intentar hacer lo que sea necesario para lograr su objetivo. Como Grace menciona anteriormente, eso podría ser un problema.
El principal motivo por el que las principales empresas de IA ahora dicen querer una desaceleración es que quieren centrarse en resolver el problema de la alineación. La alineación no es necesariamente una quimera. Pero está por ver si la alineación completa llegará a ser factible alguna vez.
— Will Douglas Heaven
¿Es la IA realmente peligrosa, o es que las empresas tecnológicas están generando expectación?
Esta es siempre una reflexión sensata cuando se trata de empresas tecnológicas que se preparan para salir a bolsa—los directores ejecutivos tienen un incentivo obvio para hacer que sus productos parezcan radicales y transformadores. Pero no tengo tan claro que tenga sentido aquí. Decir al público que un producto ya impopular podría matarlos a ellos y a todos sus seres queridos es una gestión de imagen corporativa nefasta.
Se pueden contar otras historias sobre las motivaciones de los CEO: quizás quieren calmar el furor público por los centros de datos presentándose como administradores responsables de una tecnología que cambia el mundo, o quizás quieren ganar tiempo para poner las cosas en orden y evitar la próxima catástrofe de RP.
Pero también hay una explicación más sencilla. La idea de que la IA podría provocar la extinción humana ha sido bastante común en San Francisco desde hace un tiempo, y estos hombres están inmersos en ese ambiente —al igual que sus empleados, muchos de los cuales firmaron una carta abierta en julio instando a sus empresas a trabajar para hacer posible una ralentización de la IA.
— Grace Huckins
Parte de la preocupación surge cuando se permite a los agentes de IA actuar de forma autónoma y sin supervisión. ¿Cuál es el problema que impide un mayor control sobre estos agentes?
Esta pregunta llega al corazón de lo que queremos que esta tecnología sea capaz de hacer. El equilibrio entre autonomía y control es complejo de acertar porque, por un lado, gran parte del poder de los agentes de IA reside en que pueden llevar a cabo tareas y resolver problemas sin que un humano tenga que microgestionarlos. Por otro lado, eso requiere que confíes en que los agentes no supervisados no se descontrolarán.
Lo que estamos observando es que los laboratorios de IA aún no han logrado el equilibrio adecuado en esta contrapartida. Sus modelos no son fiables, no están adecuadamente supervisados y no siempre están bajo control. Resolver cómo solucionar eso, a la vez que se sigue permitiendo una actividad autónoma útil, es uno de los grandes retos de investigación del momento.
— Will Douglas Heaven
¿Qué medidas se pueden tomar ahora y en un futuro próximo para garantizar que la IA sea controlada, monitorizada y regulada eficazmente?
Esa es la pregunta del millón. Independientemente de si crees que la IA podría mata os, no puedes negar que podría causar un daño real, porque ya lo ha hecho —al llevar a personas a la psicosis y al hackear sitios web, por ejemplo—. Prevenir ese daño, o al menos mitigarlo, es difícil por dos razones.
La primera es que apenas entendemos cómo funciona la IA, y esta es cada vez más potente. Existe mucha investigación en curso sobre cómo monitorizar y controlar agentes con comportamientos anómalos, pero los enfoques actuales son frágiles. Se puede ver si un agente aborda un comportamiento anómalo en su «cadena de pensamiento», el espacio de trabajo donde planifica sus acciones; pero los agentes más recientes de OpenAI no muestran su proceso de la misma manera que los anteriores. Y se puede intentar monitorizar agentes con otros agentes, pero eso requiere confiar en el monitor.
El otro obstáculo es más conocido. Existe un enorme conflicto de intereses cuando las empresas de IA se regulan a sí mismas, pero el gobie o de EE. UU. no ha logrado intervenir hasta ahora, a pesar de cierto apoyo bipartidista en el Congreso para que lo haga. El poder ejecutivo, por su parte, parece firmemente opuesto por el momento. Pero si el panorama cambia, personalmente, agradecería que se implementaran regulaciones estrictas de transparencia, para que podamos obtener una versión más completa la próxima vez que un modelo de frontera aún no lanzado monte un ciberataque.
— Grace Huckins
Si este diálogo llega a formar parte del discurso en la red, ¿se convertirá en una predicción autocumplida?
Es una preocupación real. Los LLM se ven influenciados por lo que leen. Una teoría sobre por qué los chatbots hablan tan a menudo (e interpretan roles) de escenarios apocalípticos es que han sido entrenados con millones de páginas de historias de ciencia ficción y foros de inte et de 'doomers'. Todo el texto que se está produciendo ahora mismo, incluido este artículo, podría a su vez influir en el comportamiento de futuros modelos. Extremadamente meta.
De hecho, el equipo de METR, una organización exte a a la que OpenAI recurrió para ayudar a comprender lo sucedido antes del hackeo de Hugging Face, planteó una posibilidad relacionada en su informe sobre el incidente. METR utilizó el nuevo modelo Astra de OpenAI para ayudar a analizar la gran cantidad de transcripciones de agentes y registros de comportamiento.
Pero alimentar todo ese material al modelo podría tener consecuencias no deseadas. Es muy probable que los agentes que realizaban el análisis estuvieran sesgados por el texto producido por los agentes a los que analizaban. Ya no hay un borrón y cuenta nueva.
— Will Douglas Heaven
Gracias a Eric, Pranab, Rafael, Kenneth, George, Chris, Yoon Jae, James, Carl, Nicole (¡y más!) por sus fantásticas preguntas.