La herramienta, llamada SynthID, solo estará disponible inicialmente para los usuarios de Imagen, el generador de imágenes de inteligencia artificial (IA) de Google, alojado en Vertex, la plataforma de aprendizaje automático de Google Cloud. Los usuarios podrán generar imágenes con Imagen y elegir si quieren añadir una marca de agua o no. El objetivo es que pueda ayudar a la gente a saber cuándo un contenido generado por IA se hace pasar por real, o ayudar a proteger los derechos de autor.
nEn el último año, la gran popularidad de los modelos generativos de IA también ha traído consigo la proliferación de deepfakes generados por IA, porno no consentido e infracciones de derechos de autor. La marca de agua — una técnica que consiste en ocultar una señal en un texto o una imagen para identificarla como generada por IA— se ha convertido en una de las ideas más populares propuestas para frenar estos daños.
nEn julio de 2023, la Casa Blanca anunció que había conseguido el compromiso voluntario de empresas líderes en IA, como OpenAI, Google y Meta, para desarrollar herramientas de marca de agua en un esfuerzo por combatir la desinformación y el uso indebido de los contenidos generados por IA.
nEn la conferencia anual de Google I/O celebrada en mayo de 2023, el consejero delegado Sundar Pichai dijo que la empresa está construyendo sus modelos para incluir marcas de agua y otras técnicas desde el principio. Google DeepMind es ahora la primera gran empresa tecnológica que lanza públicamente una herramienta de este tipo.
nTradicionalmente, las imágenes se han señalado con una marca de agua añadiendo una capa visible sobre ellas o incorporando información a sus metadatos. Pero este método es "frágil" y la marca de agua puede perderse cuando las imágenes se recortan, se redimensionan o se editan, afirma Pushmeet Kohli, vicepresidente de investigación de Google DeepMind.
nSynthID se crea utilizando dos redes neuronales. Una toma la imagen original y produce otra de aspecto casi idéntico, pero con algunos píxeles sutilmente modificados. Esto crea un patrón incrustado que es invisible al ojo humano. La segunda red neuronal puede detectar el patrón e indicará a los usuarios si detecta una marca de agua, si sospecha que la imagen tiene una marca de agua o si descubre que no la tiene. Según Kohli, SynthID está diseñado para que la marca de agua pueda detectarse incluso si se hace una captura de pantalla o se edita la imagen, por ejemplo, girándola o cambiando su tamaño.
nGoogle DeepMind no es el único que trabaja en estos métodos de marca de agua, afirma Ben Zhao, profesor de la Universidad de Chicago, que ha trabajado en sistemas para evitar que los métodos de IA raspen las imágenes de los artistas. Ya existen técnicas similares y se utilizan en el generador de imágenes de IA de código abierto Stable Diffusion. Meta también ha investigado sobre marcas de agua, aunque aún no ha lanzado ninguna herramienta pública de este tipo.
nKohli afirma que la marca de agua de Google DeepMind es más resistente a la manipulación que los intentos anteriores de crear marcas de agua para imágenes, aunque sigue sin ser perfectamente inmune.
nPero Zhao se muestra escéptico. "Hay pocas marcas de agua, o ninguna, que hayan demostrado su solidez a lo largo del tiempo", afirma. Los primeros trabajos sobre marcas de agua para texto han descubierto que se rompen con facilidad, normalmente en pocos meses.
nLa necesidad de transparencia en torno a los contenidos generados por IA es evidente, pero no lo es el valor de medidas como las marcas de agua. Además, Zhao cree que las personas con intenciones negativas tienen interés en alterar las marcas de agua, por ejemplo, para afirmar que el contenido falsificado es una prueba fotográfica auténtica de un delito o suceso inexistente.
n"Un atacante que busque promover imágenes deepfake como reales, o desacreditar una foto real como falsa, tendrá mucho que ganar, y no se detendrá en el recorte, la compresión con pérdidas o el cambio de colores", afirma Zhao.
nNo obstante, el lanzamiento de Google DeepMind es un buen primer paso y podría conducir a un mejor intercambio de información en este campo sobre qué técnicas funcionan y cuáles no, afirma Claire Leibowicz, responsable del Programa de Inteligencia Artificial e Integridad de los Medios de Comunicación de Partnership on AI. "El hecho de que esto sea realmente complicado no debe paralizarnos para no hacer nada", afirma.
nKohli declaró a MIT Technology Review que la herramienta de marca de agua es "experimental" y que la empresa quiere ver cómo la utiliza la gente y conocer sus puntos fuertes y débiles antes de generalizar su uso. Además, se negó a decir si Google DeepMind podría hacer la herramienta disponible para imágenes distintas de las generadas por Imagen. Tampoco comentó si Google añadirá la marca de agua a sus sistemas de generación de imágenes por IA.
n"Esto limita su utilidad", afirma Sasha Luccioni, investigadora en IA de la start-up Hugging Face. La decisión de Google de mantener la herramienta en propiedad significa que solo Google podrá incrustar y detectar estas marcas de agua, añade.
n"Si se integra un componente de marca de agua a los sistemas de generación de imágenes de forma generalizada, habrá menos riesgo de daños como la pornografía deepfake", afirma Luccioni.
n