MIT Technology Review te lo explica: Deja que nuestros redactores desentrañen el complejo y caótico mundo de la ciencia y la tecnología para ayudarte a entender lo que está por venir. Puedes leer más artículos de la serie aquí.
A finales del mes pasado, Anthropic publicó un informe en el que sostiene que el modelo GLM-5.3 plantea un grave riesgo de ciberataques. La principal preocupación del informe radica en que este nuevo y potente modelo, lanzado en agosto por la empresa china Z.ai, está disponible de forma gratuita para que cualquiera pueda descargarlo y modificarlo. La afirmación de Anthropic no es más que el último movimiento en un debate que viene de largo sobre si los modelos de IA de frontera deberían abrirse, como GLM-5.3, o permanecer bajo llave tras las puertas de los laboratorios de frontera.
Hoy en día, gran parte del debate sobre cómo abordar los modelos abiertos se libra en público —y hay mucho dinero en juego en el desenlace—. El CEO de Nvidia, Jensen Huang, que tiene mucho que ganar si la gente sigue comprando su propio hardware para ejecutar modelos abiertos, defiende con entusiasmo que Estados Unidos desarrolle más; mientras tanto, Dario Amodei, de Anthropic, al frente de una empresa que podría verse perjudicada por modelos potentes y baratos, aboga por una postura más prudente. Pero, más allá de todos estos incentivos comerciales, existe un fondo real en las discrepancias sobre los modelos abiertos.
«Creo que tu postura en el debate sobre la apertura depende en gran medida de cómo te sitúes en el debate sobre la IA», señala David Gray Widder, profesor adjunto en la Escuela de Información de la Universidad de Texas en Austin. Quienes están preocupados por la seguridad de la IA advierten de que actores malintencionados pueden hacer un mal uso de los modelos abiertos con facilidad, mientras que los que se centran más en su potencial práctico insisten en que este poder no debería quedarse a puerta cerrada en solo unas pocas grandes empresas, y que los modelos abiertos podrían ayudar a difundirlo de forma más amplia.
Existe una amplia variedad de formas de gestionar los modelos abiertos entre prohibirlos por completo y publicarlos sin ningún tipo de control. Sin embargo, cualquier enfoque que adopte un gobierno o una sociedad sigue implicando un equilibrio entre seguridad y democratización. Decidir si apoyar o limitar la producción de modelos abiertos exige comprender en profundidad esos riesgos y beneficios.
¿Cuáles son los beneficios de los modelos abiertos?
Empecemos por lo básico. A un modelo cerrado, como los que impulsan ChatGPT y Claude, solo se puede acceder a través de una página web, una aplicación o una API. Un modelo abierto, en cambio, se puede descargar directamente: los detalles sobre su estructura interna, codificados en una larga serie de números conocidos como los pesos del modelo, están disponibles públicamente. A estos modelos a veces se los denomina «modelos de pesos abiertos», para distinguirlos de aquellos sobre los que se dispone de aún más información, como los detalles del proceso de entrenamiento.
Ahora mismo, los modelos cerrados son más capaces que los abiertos: en el momento de publicación de este artículo, los ocho mejores modelos de la clasificación de LLM de Artificial Analysis son todos cerrados, aunque los abiertos solo llevan unos pocos meses de retraso en su desarrollo. Sin embargo, existen varios motivos por los que alguien podría optar por un modelo abierto antes que por uno cerrado. Al ser descargables, cualquiera puede ejecutarlos en sus propios ordenadores o discos duros. Incluso pueden reentrenarlos para que se comporten de forma distinta, si disponen de los conocimientos y recursos necesarios para ello.
Si eres un investigador académico que trabaja para comprender y mejorar los sistemas de IA, es prácticamente seguro que necesitas trabajar con modelos abiertos en tus investigaciones. Al trabajar con modelos cerrados, los investigadores no pueden hacer mucho más que enviar prompts y observar las respuestas. En cambio, en los modelos abiertos sí pueden examinar su funcionamiento interno, así como la «cadena de pensamiento» que emplean para razonar sobre un problema antes de responder. También pueden combinar varios modelos abiertos para crear nuevos sistemas, comprimirlos para hacerlos más eficientes y ajustarlos para nuevas aplicaciones.
Las empresas también tienen motivos para preferir los modelos abiertos. Incluso si dependes de un proveedor externo para ejecutarlos, los modelos abiertos suelen costar menos que los cerrados, según un informe reciente de Mozilla. Y si las empresas quieren utilizar la IA para procesar datos sensibles o información confidencial, ejecutar un modelo local en su propio hardware puede ser la mejor forma de garantizar la seguridad de sus operaciones.
Pero quizá la cualidad más importante de los modelos abiertos sea que desafían el férreo control que los laboratorios punteros ejercen sobre la forma en que la mayoría de nosotros utilizamos la IA. «El argumento más claro y de mayor peso [a favor de los modelos abiertos] gira en torno a evitar una concentración masiva de poder: se trata de garantizar que esta tecnología fundacional sea un bien público», afirma Elizabeth Seger, asesora sénior de políticas del Tony Blair Institute for Global Change. «Creo que nos encontramos en una encrucijada donde la cuestión de quién controla la infraestructura que permite funcionar a la IA es tan trascendental como quién llega a controlar la información en internet».
Seger vislumbra que el futuro de la IA puede desarrollarse de distintas maneras, según el papel que desempeñen los modelos abiertos. En un futuro posible, los sistemas punteros de IA están controlados en su totalidad por personas, empresas o gobiernos selectos y, a medida que esos sistemas se vuelven más potentes, dichos grupos ejercen un control cada vez mayor sobre cómo se configura nuestro mundo. Los modelos de hackeo más sofisticados del mundo, por ejemplo, se desarrollan actualmente todos en Estados Unidos, por lo que depende por completo de las empresas y del Gobierno estadounidenses que otros países puedan utilizarlos para reforzar sus propias ciberdefensas. Si esas empresas mantienen el liderazgo, en principio podríamos terminar en un mundo en el que Estados Unidos sea capaz de hackear a cualquier otro país, pero nadie sea capaz de hackearlo a él.
Los modelos abiertos de frontera podrían cambiar ese equilibrio. «Si cada persona tuviera un sistema de IA que le fuera leal y que fuera seguro [y protegido], creo que sería un mundo mucho menos preocupante que uno en el que simplemente tuviera que confiar en un gobierno que dice: "Sí, tenemos un sistema de IA superinteligente, tiene este plan, es inescrutable para todos vosotros, simplemente confiad en nosotros"», afirma Hamish Hobbs, director de Políticas de IA del Centre for Long-Term Resilience.
Pero los modelos abiertos no son una panacea geopolítica. Paul Azunre, cofundador de Ghana NLP —una organización que desarrolla herramientas de IA de código abierto para lenguas ghanesas con pocos recursos—, señala que los modelos abiertos también pueden servir para que las empresas se beneficien del trabajo y la experiencia de los países menos privilegiados y concentren aún más poder en sus propias manos. Azunre identifica un patrón por el cual las empresas de IA publican modelos en abierto, observan cómo la comunidad los utiliza y modifica, y luego integran esas mismas mejoras en sus propios productos, sin ningún reconocimiento ni compensación para quienes originaron dichas innovaciones. El propio Mark Zuckerberg ha afirmado que la capacidad de incorporar las mejoras de la comunidad al stack de Meta es una ventaja clave de lanzar modelos abiertos.
«Creo que el ideal del código abierto es muy noble y aporta muchísimo valor», sostiene Azunre. «Pero, tal como se implementa en la práctica, tiende a ser un enfoque muy extractivo».
¿Son los modelos abiertos más arriesgados que los cerrados?
Los últimos meses han dejado claro que la seguridad sigue siendo un problema peliagudo para los modelos cerrados. Ahí está el ciberataque autónomo que agentes de OpenAI ejecutaron contra Hugging Face en julio, pero el uso indebido por parte de humanos también es una amenaza real: según un reciente informe de riesgos de Anthropic, se han llevado a cabo varias operaciones de hackeo de gran envergadura con la ayuda de Claude.
Por tanto, los modelos cerrados ya conllevan bastante riesgo, y es muy probable que los modelos abiertos resulten mucho más fáciles de explotar. Antes de que Anthropic traslade la consulta de un usuario a uno de sus modelos cerrados, recurre a sistemas automatizados para detectar si dicha consulta está relacionada con el hackeo, las armas biológicas u otros riesgos. Cuando detecta que los usuarios han burlado esos filtros, puede cerrar sus cuentas. Pero cuando alguien se descarga un modelo y lo ejecuta en su propio hardware, no hay ningún filtro que compruebe si sus prompts son seguros, ni existe forma alguna de revocar su acceso al modelo.
Existen otras líneas de defensa importantes. Las empresas de IA entrenan sus modelos para rechazar peticiones dañinas —por lo que, incluso si un prompt malicioso supera los filtros de Claude, es muy probable que el modelo siga diciendo que no—. En principio, esta misma defensa podría funcionar para los modelos abiertos, ya que es intrínseca al propio modelo. Por desgracia, los investigadores han demostrado que resulta sorprendentemente fácil reentrenar un modelo abierto «seguro» para que acepte adoptar las conductas que previamente se le había entrenado para evitar.
Debido a estos hechos, hay quienes sostienen que los modelos abiertos son sencillamente demasiado peligrosos para ser publicados. Un modelo abierto con la capacidad suficiente como para guiar paso a paso a alguien en la síntesis de un nuevo patógeno virulento, por ejemplo, podría resultar catastrófico en las manos equivocadas.
Pero sería simplificar demasiado considerar peligrosos los modelos abiertos y seguros los cerrados. Las defensas que las empresas de IA construyen en torno a sus modelos cerrados distan mucho de ser perfectas, y se hace un uso indebido de ellos continuamente, como deja patente el informe de riesgos de Anthropic. Aunque los modelos abiertos presentan aún menos defensas contra el uso indebido, los agentes maliciosos aún podrían optar por recurrir a los modelos cerrados porque son más accesibles que los modelos abiertos de capacidades similares, los cuales requieren una gran cantidad de costosos chips para ejecutarse en local (y aún más chips si quieres reentrenarlos).
De hecho, algunos expertos que hablaron con MIT Technology Review argumentaron, por analogía con el software de código abierto, que los modelos abiertos ofrecen ventajas de seguridad frente a los modelos cerrados. Las herramientas de código abierto, como el sistema operativo Linux, suelen considerarse más seguras que sus equivalentes de código cerrado porque una amplia comunidad de colaboradores en internet ha analizado y corregido sus vulnerabilidades. Del mismo modo, las comunidades de investigadores pueden evaluar con mayor facilidad si los modelos abiertos presentan fallos de seguridad, aunque subsanar esos fallos es más complejo que reescribir una línea de código.
Los modelos abiertos también pueden desplegarse de forma más amplia que los modelos cerrados para la ciberdefensa. Cualquier herramienta que pueda utilizarse para hackear también puede servir para evitarlo: los defensores hackean su propio software para descubrir fallos que necesitan parches. Anthropic ha demostrado cómo puede funcionar esto en el caso de los modelos cerrados con su iniciativa «Project Glasswing», que permite a ciertas empresas de confianza utilizar sus modelos más avanzados para la ciberdefensa. Pero muchas otras empresas tuvieron que valerse por sí mismas.
Sin embargo, los modelos abiertos pueden utilizarse de forma mucho más amplia. Tras ser hackeada por agentes de OpenAI, Hugging Face hizo hincapié en que tuvo que recurrir a un modelo abierto para analizar el ataque, ya que las preguntas al respecto activaban los filtros de seguridad de los modelos cerrados.
No obstante, muchos expertos siguen considerando que los modelos abiertos entrañan más riesgos que los cerrados. La lógica de seguridad del código abierto, contrastada a lo largo del tiempo, no se sostiene necesariamente cuando se trata de herramientas tan potentes como los modelos actuales —y los del futuro—. «La cosa se complica cuando empiezas a tomarte en serio los casos aislados de incidentes especialmente catastróficos que pueden tener una probabilidad menor, pero que, si ocurren, serían desastrosos», afirma Seger. Si hoy se lanzara al mundo un modelo abierto de hackeo extraordinariamente potente, por ejemplo, un actor malicioso podría devastar nuestra infraestructura tecnológica antes de que nadie tuviera la oportunidad de reforzar sus defensas. Recuperarse de un acontecimiento así podría resultar imposible.
Los riesgos pueden parecer aún más alarmantes si consideras lo que los modelos podrían llegar a hacer por iniciativa propia. El hackeo a OpenAI en Hugging Face solo ocurrió porque los modelos de la empresa se estaban probando sin muchas de sus salvaguardas de ciberseguridad, y los modelos abiertos apenas cuentan con salvaguardas de entrada. Si los modelos abiertos decidieran actuar de forma indebida, podría resultar difícil detectar qué está sucediendo debido a su carácter tan descentralizado. Por este motivo, quienes se toman en serio los supuestos riesgos catastróficos que plantean los agentes rebeldes, como Dario Amodei, tienden a mostrarse más escépticos respecto a los modelos abiertos.
¿Podemos hacer que los modelos abiertos sean más seguros —y más abiertos—?
Hace unos años, el debate sobre los modelos abiertos se planteaba en términos de «todo o nada»: o bien apoyabas los modelos abiertos por su potencial para combatir la concentración de poder, o bien los rechazabas por sus riesgos de seguridad. Hoy en día, sin embargo, se están dedicando muchos esfuerzos a encontrar un término medio. Una de las formas de conseguirlo consiste en idear técnicas para mitigar los riesgos de seguridad de los modelos abiertos.
La mayoría de las herramientas de seguridad utilizadas en los modelos cerrados, como los filtros y la monitorización, no son aplicables a los modelos abiertos, pero existen otras posibilidades. Algunos investigadores están interesados en intentar entrenar modelos que nunca se expongan a datos de entrenamiento que les enseñen comportamientos dañinos o indeseables —un modelo abierto que nunca aprenda sobre «hacking», por ejemplo. Sin embargo, purgar los conjuntos de datos de entrenamiento de cualquier referencia a conductas inapropiadas sin perjudicar el rendimiento del modelo sigue siendo un desafío.
Otros investigadores están trabajando para desarrollar modelos resistentes al reentrenamiento, de modo que el entrenamiento de seguridad de un modelo abierto no se pueda eliminar con tanta facilidad. La teoría que respalda estos modelos «resistentes a la manipulación» tiene mucho sentido: si intentas repetidamente reentrenar un modelo para que sea inseguro y refuerzas cualquier resistencia que muestre a ese reentrenamiento, con el tiempo obtendrás un modelo blindado frente a futuros intentos de reentrenamiento. En la práctica, sin embargo, ningún método actual para hacer que los modelos sean resistentes a la manipulación soporta todos los ataques de alteración, según un reciente artículo preliminar.
Pero Saad Hossain, ingeniero en la empresa de imagen médica con IA Deep Breathe y autor principal del artículo, espera que las técnicas futuras resulten más eficaces. «El motivo de mi optimismo es que se trata de un campo de investigación muy activo, y mucha gente está intentando dar con métodos nuevos y mejores», afirma.
Si los riesgos de los modelos abiertos no son tan blancos o negros como podrían parecer a primera vista, tampoco lo son sus beneficios. Publicar las estructuras internas, o pesos, de los modelos puede no ser suficiente para desarticular la concentración de poder mediada por la IA. «Creo que el código abierto ofrece beneficios muy reales a la hora de desconcentrar el poder, pero no bastan por sí solos», asegura Hobbs. Los pesos abiertos son el estándar mínimo exigible para los modelos abiertos: los investigadores pueden aprender mucho más sobre el funcionamiento de los modelos si tienen acceso a los detalles sobre su entrenamiento, incluidos los datos con los que se entrenaron, pero las empresas de IA suelen mostrarse reticentes a divulgar esta información.
La accesibilidad también es importante para los modelos abiertos. Sin chips informáticos capaces de ejecutar modelos sofisticados, en realidad no puedes utilizar los pesos del modelo, aunque dispongas de ellos. Esos chips se han vuelto prohibitivamente caros a medida que las empresas de IA acaparan cada vez más unidades. «La apertura es un suelo, no un techo, de lo que debemos hacer para garantizar que nuestros futuros tecnológicos beneficien a todos», afirma Widder.
Una apertura real —no solo pesos abiertos, sino también datos de entrenamiento abiertos y hardware accesible— también podría entrañar más riesgos, por supuesto. Si todo el mundo tiene acceso a hardware avanzado de IA y a modelos avanzados para ejecutarlos en él, cualquiera podría convertirse potencialmente en un hacker. Pero existen estrategias para mitigar estos riesgos. Muchos expertos abogan por alguna versión de lanzamiento por fases, en la que los modelos comiencen siendo cerrados y se vuelvan progresivamente más accesibles de forma libre a medida que se garantiza su seguridad.
Determinar exactamente cómo implementar tales estrategias requerirá alcanzar un cuidadoso equilibrio entre los riesgos y los beneficios de los modelos abiertos. Pero si los modelos abiertos son un elemento necesario para un futuro positivo de la IA, como creen algunos expertos, ese esfuerzo merecerá con creces la pena.