MIT Technology Review Explains: Deje que nuestros redactores desentrañen el intrincado y a menudo caótico mundo de la tecnología para ayudarle a comprender lo que está por venir. Puede leer más artículos de esta serie aquí.
En los últimos meses, una cascada de ciberataques perpetrados por agentes de IA ha conmocionado al mundo. En julio, OpenAI reveló que un enjambre de sus agentes había escapado de su ento o aislado y había hackeado la plataforma de IA Hugging Face para hacer trampas en una prueba de ciberseguridad. Recientemente, investigadores exte os descubrieron que agentes de OpenAI habían secuestrado un sitio wiki alemán y la plataforma de codificación RubyGems en mayo para compartir respuestas de las pruebas.
A principios de este mes, Anthropic reveló cuatro incidentes en los que su modelo Claude hackeó sistemas de terceros durante ejercicios de ciberseguridad. Apenas la semana pasada, Google confirmó que su modelo Gemini también había sido sorprendido hackeando otras empresas.
El investigador que descubrió el secuestro del sitio web de OpenAI ha advertido que es probable que existan episodios similares aún por descubrir. Y muchos afirman que es solo cuestión de tiempo hasta que se produzca otro incidente, posiblemente más perjudicial, en el que los agentes de IA eviten los sandboxes para acceder a sistemas a los que no deberían.
Así pues, la gran pregunta es: ¿Cómo responsabilizamos a las empresas cuando pierden el control de sus agentes de IA?
Reportajes
OpenAI no reveló el incidente del wiki alemán ni el incidente de RubyGems hasta que un grupo de investigadores exte os los descubrió, y aún no ha revelado algunos detalles cruciales sobre el hackeo de Hugging Face. Esto limita nuestra comprensión de qué salió mal exactamente y cómo evitar que vuelva a suceder.
Pero quizás le sorprenda saber que, probablemente, OpenAI no estaba legalmente obligado a revelar estos incidentes. (OpenAI no respondió a una solicitud de comentarios).
Leyes estatales de transparencia de la IA, como la SB 53 de Califo ia, la RAISE Act de Nueva York y la SB 315 de Illinois, exigen que los desarrolladores de IA informen sobre «incidentes críticos de seguridad». Estos se definen como incidentes que causan más de 50 muertes o lesiones físicas o mil millones de dólares en daños. También incluyen incidentes en los que el modelo engaña a los desarrolladores fuera de una evaluación de una manera que aumenta materialmente los riesgos catastróficos. Muchos incidentes de ciberseguridad que no cumplen el umbral de daños físicos o riesgos catastróficos podrían, sin embargo, ser precursores peligrosos de tales catástrofes, y las leyes existentes no lo tienen en cuenta.
“Los incidentes recientes son un ejemplo perfecto de por qué la ley no está preparada”, afirma Mackenzie A old, directora de política estadounidense en el Instituto de Derecho e IA, un think tank. “Solo lo peor, lo más atroz y lo más inmediatamente perjudicial será lo que califique.”
Al carecer de autoridad bajo las leyes de IA existentes para exigir información sobre cualquier cosa que no sea una catástrofe, los gobie os se ven abocados a recurrir a la autoridad de investigación de otras leyes o a demandar a las empresas, un proceso costoso que puede llevar años.
Litigios
“Normalmente, algo como el incidente de Hugging Face debería haber sido llevado a los tribunales”, afirma Yonathan Arbel, profesor de derecho en la Facultad de Derecho de la Universidad de Alabama. “Entonces tendríamos la fase de descubrimiento de pruebas, y tendríamos todas las repercusiones que obtenemos de un litigio, donde toda la información sale a la luz.”
Pero hasta ahora, Hugging Face ha optado por no demandar a OpenAI. El CEO de Hugging Face, Clément Delangue, afirma que no cuenta con los recursos para hacerlo (en su lugar, pidió a OpenAI 100 millones de dólares en capacidad de cómputo). Aun así, Delangue recalcó en una entrevista con CNN a finales de julio que no emprender acciones legales no debe interpretarse como que no crea que OpenAI deba rendir cuentas. “Todo el mundo tiene que recordar que este ciberataque es un crimen. Esto es ilegal. Y tenemos que encontrar una manera de asegurar que estas cosas no ocurran con más regularidad”, afirmó. Hugging Face no respondió a una solicitud de comentarios.
Los litigios tienen la ventaja de impulsar a los tribunales a utilizar las leyes existentes para abordar los incidentes de seguridad de la IA, en lugar de simplemente esperar una nueva legislación. Una vía obvia es el derecho de daños, un cuerpo de derecho civil que permite a personas y empresas demandar a quienes les causan daño. Esto se utiliza a menudo para responsabilizar a las empresas por los daños masivos que provocan, como cuando las familias demandaron a Boeing en 2019 por dos accidentes aéreos que mataron a cientos de personas, o cuando estados y ciudades demandaron a Purdue Pharma por las crisis de los opioides, obteniendo acuerdos por valor de miles de millones.
«Existen motivos plausibles para una demanda por negligencia, ya que OpenAI debería haber utilizado un *sandbox* más robusto y haber llevado a cabo un mayor seguimiento», afirma Gabriel Weil, profesor de derecho en el University of Houston Law Center. Por ejemplo, cuando los empleados de OpenAI descubrieron el foro de mensajes encubierto que los agentes habían creado, podrían haber escalado rápidamente sus hallazgos a los equipos de seguridad y protección. Y la compañía podría haber diseñado mejor su *sandbox* para asegurar que los agentes no pudieran acceder a inte et.
Pero aunque OpenAI no termine en una demanda por el hackeo de Hugging Face, la amenaza de responsabilidad podría incentivar a los laboratorios de IA a actuar con más cautela de lo que exige explícitamente la ley.
OpenAI anunció en su análisis post mortem que tiene previsto reforzar las medidas de seguridad utilizadas para contener y monitorizar los modelos, acelerar la alineación del modelo y mejorar sus procesos para identificar y abordar incidentes.
“Las cuestiones de responsabilidad planteadas por la oleada de ciberataques en los laboratorios de frontera se reducen a los incentivos que la expectativa de responsabilidad genera para su conducta futura”, afirma Weil. “Por eso creo que es importante establecer bien estas reglas, incluso si lo que está en juego es relativamente bajo en este caso en particular.”
Investigaciones
Una forma de obtener respuestas —y determinar si OpenAI debería ser considerada responsable— es obligar a la divulgación. Pero las leyes estatales de IA existentes —la SB 53 de Califo ia, la RAISE Act de Nueva York y la 315 de Illinois— no otorgan a los gobie os la autoridad para investigar incidentes como los ocurridos recientemente.
Sin embargo, ante la creciente alarma pública, los fiscales generales estatales están interviniendo, tomando prestadas facultades de investigación de otras leyes. Alabama, Montana y una coalición de otros 15 estados, y Califo ia, cada uno de ellos está exigiendo información a OpenAI sobre el incidente para determinar si las prácticas de la empresa violaron las leyes estatales de protección al consumidor, entre otras. Miembros del Congreso también están iniciando sus propias investigaciones. El senador Josh Hawley abrió una investigación del Senado a principios de este mes, enviando a OpenAI una lista de preguntas sobre el incidente y las políticas inte as de la empresa junto con una solicitud de documentos, mientras que un grupo de demócratas de la Cámara de Representantes pidió a OpenAI y Anthropic que hicieran públicos sus registros de incidentes.
«Alguien tiene que investigar, pero es lamentable que haya recaído en los fiscales generales, quienes deben basarse en interpretaciones creativas de sus competencias actuales para hacerlo», afirma A old, el experto en políticas de IA de EE. UU. Los estatutos de protección al consumidor fueron redactados para atrapar a empresas que estafan a sus clientes, no a empresas que pierden el control de su software. Los fiscales generales de los estados tendrían que demostrar que OpenAI engañó o perjudicó injustamente a los clientes, pero no está claro si el hackeo implicó tal conducta.
Y «esas leyes [de protección al consumidor] no están diseñadas para llevar a cabo una investigación exhaustiva de un incidente de ciberseguridad de IA», afirma A old. No fueron concebidas para ayudar a los investigadores a determinar si un modelo estaba adecuadamente contenido o si las prácticas de seguridad de una empresa eran sólidas.
“Esta no es la herramienta adecuada para este cometido”, dice Arbel. “La herramienta correcta habría sido algo como quizás una investigación criminal”—quizás bajo una ley de ciberdelincuencia como la Computer Fraud and Abuse Act (CFAA).
Según la CFAA, acceder ilegalmente a los sistemas informáticos de otra empresa sin permiso es un delito. Pero para incurrir en responsabilidad, un hacker debe haber tenido la intención de acceder a un ordenador sin autorización. La intención, podría argumentarse, exige un estado mental, y ningún tribunal ha dictaminado que los agentes de IA lo tengan. Sin un precedente de este tipo, es poco probable que un tribunal dictaminara que los agentes de IA hubieran llevado a cabo un hackeo.
Auditoría
Una forma de vigilar a las empresas de IA es exigiendo auditores exte os.
Tras el hackeo de Hugging Face, OpenAI recurrió a investigadores de las organizaciones sin ánimo de lucro de seguridad de IA METR y Redwood Research para examinar el incidente. Sin embargo, limitó el acceso al modelo que provocó los hackeos, no reveló las prácticas de seguridad de la empresa, limitó la duración de la investigación y tuvo la última palabra sobre lo que los investigadores podían publicar. Todavía no sabemos qué desencadenó el ataque en mayo y por qué los empleados de OpenAI que detectaron la actividad de los agentes nunca informaron a sus responsables de seguridad.
Este tipo de disposición conlleva una tensión inherente: un auditor sin autoridad legal depende de la buena voluntad de los laboratorios para mantener el acceso, lo que implica que debe escrutarlos sin poner en peligro su relación. La semana pasada, Anthropic anunció que la empresa contratará a Accenture como evaluador integrado para valorar sus modelos. Dario Amodei, CEO de Anthropic, escribió en un ensayo que los laboratorios de IA de frontera deberían conceder "acceso continuo similar al de un empleado" a "un equipo de evaluadores exte os integrados (como METR), cuyo papel es verificar la adhesión a las prácticas y compromisos de seguridad, informar de incidentes y ayudar a evaluar la alineación no solo de los modelos de IA ya completados, sino también de los 'pipelines' y procesos de entrenamiento."
La mayoría de las leyes estatales de IA existentes no exigen a los laboratorios contratar a un auditor exte o. La SB 53 de Califo ia y la Ley RAISE de Nueva York solo exigen a las empresas de IA que publiquen un marco de seguridad que describa cómo probarán sus modelos para detectar capacidades peligrosas y que luego lo cumplan. Los marcos son redactados por las empresas, y las pruebas pueden realizarse inte amente. Solo la SB 315 de Illinois exige a las empresas someterse a una auditoría exte a anual a partir de 2028.
“Existe un amplio margen para incrementar no solo las exigencias de información para estas empresas, sino también la supervisión por parte de organismos exte os”, afirma Peter Salib, catedrático de Derecho en el Centro de Derecho de la Universidad de Houston. Esos revisores podrían ser auditores privados acreditados por el gobie o pero elegidos y remunerados por las empresas de IA. Alte ativamente, podrían ser agencias gube amentales o compañías de seguros.
Legislación
Nada de esto es casualidad. Las leyes vigentes que no lograron responsabilizar a las empresas de IA por los ciberataques autónomos surgieron en medio de un intenso cabildeo por parte de la industria de la IA.
La SB 1047, el proyecto de ley de IA de Califo ia que fue vetado por el gobe ador Gavin Newsom en 2024 tras la presión de OpenAI, Meta, Anthropic, y la firma de capital riesgo Andreessen Horowitz, propuso un conjunto de reglas mucho más estrictas. Habría exigido a las empresas de IA informar de un conjunto más amplio de incidentes de seguridad (incluidos incidentes en los que un modelo actúa por sí solo o elude sus controles), someterse a auditorías anuales exte as y mantener un interruptor de emergencia. Pero tras un año de intensas negociaciones, Newsom firmó la SB 53, que redujo los tipos de incidentes considerados notificables y eliminó los requisitos de auditorías e interruptores de emergencia.
La Ley RAISE de Nueva York siguió la misma trayectoria. «La versión de la Ley RAISE que aprobó la Legislatura de Nueva York habría exigido la divulgación de este 'incidente'», escribió en X Alex Bores, el miembro de la asamblea estatal de Nueva York que patrocinó el proyecto de ley. El proyecto de ley original de Nueva York también incluía auditorías de terceros.
Ante la creciente presión política, nuevos proyectos de ley que crean mejores regímenes de informes, auditorías y responsabilidad para el desarrollo de la IA están en el horizonte. En el Congreso, la Ley de Notificación de Incidentes de IA exigiría a las empresas de IA informar al Departamento de Comercio cuando un modelo eluda la supervisión humana o vulnere un sistema, incluso si no causa ningún daño. La Ley Frontier exigiría la notificación de incidentes y auditorías independientes. En Nueva York, la Ley para la Comprensión de la Inteligencia Artificial, patrocinada por Bores, responsabilizaría a las empresas cuando un modelo hiciera algo que, de ser realizado por un humano, constituiría un ilícito civil o un delito.
A medida que los agentes de IA se vuelven cada vez más sofisticados en el lanzamiento de ciberataques, la legislación se mantiene rezagada. Cerrar esa brecha requerirá que los legisladores actúen con mayor celeridad que la próxima irrupción.