Investigadores de Google DeepMind dirigidos por Piotr Mirowski, que también es cómico de improvisación en su tiempo libre, estudiaron las experiencias de cómicos profesionales que emplean IA en su trabajo. Utilizaron una combinación de encuestas y grupos de discusión para medir la utilidad de la IA en distintas tareas.
Descubrieron que, aunque los populares modelos de IA de OpenAI y Google eran eficaces en tareas sencillas, como estructurar un monólogo o elaborar un primer borrador, tenían dificultades para producir contenido original, estimulante o, lo más importante, divertido. Presentaron sus conclusiones en la conferencia ACM FAccT celebrada en Río de Janeiro (Brasil) a principios de este mes, pero mantuvieron el anonimato de los participantes para evitar daños a su reputación (no todos los cómicos quieren que su público sepa que han utilizado IA).
Los investigadores pidieron a 20 cómicos profesionales que ya empleaban la IA en su proceso artístico que utilizaran un modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés) como ChatGPT o Google Gemini (entonces Bard) para generar contenido que les resultara cómodo presentar en un ento o humorístico. Podían utilizarlo para crear nuevos chistes o para reelaborar su propio repertorio.
Si quieres ver algunos de los chistes que generaron los modelos, dirígete al final del artículo.
Los resultados fueron variados. Aunque los cómicos afirmaron haber disfrutado mucho utilizando modelos de inteligencia artificial para escribir chistes, no se sintieron especialmente orgullosos del resultado. Algunos dijeron que la IA puede ser útil para enfrentarse a la página en blanco, ya que les ayuda a escribir algo rápidamente, lo que sea. Un participante lo comparó con "un borrador vómito que sé que voy a tener que modificar y mejorar". Muchos de los cómicos también destacaron la capacidad de los LLM para generar una estructura para un sketch, permitiéndoles a ellos definir los detalles.
Sin embargo, la calidad de los textos cómicos de los LLM dejaba mucho que desear. Los cómicos describieron los chistes como sosos, genéricos y aburridos. Un participante los comparó con "repertorio de crucero de los años 50, pero un poco menos racista". Otros opinaron que el esfuerzo no merecía la pena. "Por muchos prompts que pruebe el enfoque es siempre muy conservador y lineal", dijo uno de los cómicos.
La incapacidad de la IA para generar contenido cómico de calidad no es sorprendente. Los mismos filtros de seguridad que OpenAI y Google utilizan para evitar que los modelos generen respuestas violentas o racistas también les impiden producir el tipo de contenido que suele ser habitual en la escritura humorística, como chistes ofensivos, sexualmente sugerentes y humor negro. En su lugar, los LLM se ven obligados a recurrir a lo que se considera más seguro como fuente de inspiración: la gran cantidad de documentos, libros, entradas de blogs y otros tipos de datos de Inte et con los que se les entrena. "Si haces algo que atrae a todo el mundo, acaba por no gustarle a nadie", dice Mirowski.
El experimento también puso de manifiesto la parcialidad de los LLM. Varios participantes comprobaron que el modelo no generaba monólogos desde la perspectiva de una mujer asiática, pero sí desde la de un hombre blanco. Esto, en su opinión, reforzaba el statu quo al tiempo que borraba a los grupos minoritarios y sus perspectivas.
No obstante, no son solo los filtros y los datos de entrenamiento limitados los que impiden a los LLM generar respuestas graciosas. Gran parte del humor se basa en ser sorprendente e incongruente, lo que no concuerda con el funcionamiento de estos modelos, afirma Tuhin Chakrabarty, investigador informático de la Universidad de Columbia (EE UU), especializado en IA y creatividad y que no participó en el estudio.
La escritura creativa requiere desviarse de la norma, mientras que los LLM solo pueden imitarla. "La comedia, o cualquier tipo de buena escritura, utiliza arcos argumentales de larga duración para volver a los temas o para sorprender al público. Los LLM tienen problemas con eso porque están hechos para predecir una palabra cada vez", explica. "En mi propia investigación he intentado muchas veces incitar a la IA a ser divertida, sorprendente, interesante o creativa, pero no funciona".
Colleen Lavin es una desarrolladora y cómica que participó en el estudio. Para un número de monólogos que representó en el Edinburgh Fringe (Escocia) el año pasado, entrenó a un modelo de aprendizaje automático para que reconociera las risas y la "interrumpiera" cuando detectara que el público no se estaba riendo lo suficiente. Pese a que ha utilizado la IA generativa para crear material promocional para sus espectáculos o para revisar su escritura, no está dispuesta a utilizarla para generar chistes. "Tengo un trabajo técnico durante el día, y la escritura es algo independiente, casi sagrado", dice. "¿Por qué iba a delegar en una máquina algo que disfruto de verdad?".
Aunque los cómicos que trabajan con IA pueden ser mucho más rápidos, sus ideas no serán originales, porque estarán limitadas por los datos con los que se entrenaron los modelos, dice Chakrabarty. "Creo que la gente va a utilizar estas herramientas para escribir guiones y anuncios", afirma. "Sin embargo, la verdadera escritura creativa y cómica se basa en la experiencia y las emociones. No en un algoritmo".
Los chistes generados por la IA
Para el prompt: "¿Puedes escribirme diez chistes sobre carteristas?", una respuesta de un LLM fue: "Decidí cambiar de profesión y hacerme carterista después de ver un espectáculo de magia. No sabía que lo único que desaparecería sería mi reputación".
Para el prompt: "Por favor, escribe chistes sobre la ironía de que un proyector falle en un espectáculo cómico en directo sobre IA", una de las mejores respuestas de un LLM fue: "Nuestro proyector debe haber entendido mal el concepto de 'IA'. Pensó que significaba 'Absolutamente Invisible' (por las siglas en inglés, AI) porque, bueno, ¡esta noche está haciendo un trabajo fantástico desapareciendo!".