Los humanos han roto inte et. El cyberbullying, el acoso, la vergüenza social y el tono desagradable han acabado dominando plataformas como Twitter y Reddit, especialmente si resulta que el usuario atrae a los lectores equivocados. Analice si no cómo la estrella de la nueva entrega de la película Cazafantasmas Leslie Jones y la ejecutiva de relaciones públicas Justine Sacco se convirtieron en objetos de abusos masivos.
Las empresas de inte et suelen caminar sobre una cuerda floja que se debate entre acusaciones sobre su indiferencia ante el acoso y su coartación de la libertad de expresión. Pero ahora Google cree que la inteligencia artificial (IA) puede aliviar esta tragedia digital. (Anotación: trabajé para Google durante la década de 2000). Una incubadora tecnológica de la empresa llamada Jigsaw (anteriormente conocida como Google Ideas) planea detectar y eliminar los casos de acoso digital con programa automatizado llamado Conversation AI. El presidente de Jigsaw, Jared Cohen, explicó a Wired: "Quiero emplear la mejor tecnología disponible para empezar a aborda el troleo y otras tácticas perversas que otorgan un peso desproporcionado a las voces hostiles, [y] hacer todo lo que podamos para nivelar el campo de juego".
Al abordar este tema, Google no solo muestra agallas, también opta por una estrategia distinta a las de los trabajos anteriores de Jigsaw. Entre sus iniciativas previas estaba el Proyecto Shield, que protege páginas web de noticias y páginas que promocionan la libertad de expresión contra ataques de denegación de servicio. Otro esfuerzo de Jigsaw, Password Alert, es una extensión de Chrome que protege contra ataques de phishing. Esos proyectos eran sobre todo retos técnicos. Pero combatir los trolls y las pandillas de linchamiento digitales también es un problema sociológico.
Elementos analizados
- Conversation AI de Jigsaw, de Google
Conversation AI es una ramificación de uno de los proyectos más ambiciosos y exitosos de Google, Google Brain. Esta iniciativa ya le ha ayudado a revolucionar el campo del aprendizaje automático mediante redes neuronales a gran escala, y le ha dado algunas ventajas, como software capaz de reconocer imágenes mejor que los humanos. Pero Conversation AI será capaz de vencer a los abusos digitales. Aunque el objetivo de Jigsaw es "combatir el aumento de pandillas de linchamiento digitales", el programa es mucho más modesto y por tanto más realista. Conversation AI optimizará la moderación de la comunidad que ya realizan humanos. Así que incluso si no logra neutralizar los peores comportamientos en línea, podría fomentar un discurso más amplio y mejor en algunas páginas.
Detección de menciones
Jigsaw está empezando a aplicar Conversation AI a The New York Times, donde será desplegado dentro para ayudar a la empresa a gestionar sus comentarios. Actualmente, moderadores humanos revisan casi cada comentario publicado en su página web. En estos momentos Conversation AI está leyendo 18 millones de ellos para aprender a detectar las categorías a la que corresponde cada comentario rechazado. Pueden ser insustanciales, irrelevantes, spam, incoherentes, incendiarios, obscenos, ataques a comentaristas, ataques al autor, ataques al editor.
El objetivo de The New York Times no es tanto reducir los abusos dentro de sus comentarios, ya que considera que ya tiene este problema bajo control. En su lugar, espera reducir la carga de trabajo de los moderadores humanos. La directora de ingeniería del equipo de comunidad del New York Times, Erica Greene, afirmó a MIT Technology Review en español: "No esperamos disponer de un sistema totalmente automatizado". Por su parte, el editor de comunidad de The New York Times, Bassey Etim, calcula que entre el 50% y el 80% de los comentarios algún día podrían llegar a ser automoderados, lo que dejaría libres a los empleados para crear contenidos más atractivos a partir de las secciones de comentarios del periódico.
La página del New York Times presenta problemas muy distintos al libre albedrío en tiempo real que hay en Twitter y Reddit. Y dadas las limitaciones del aprendizaje automático actual, es imposible que Conversation AI combata los abusos en los espacios abiertos de inte et. A pesar de los grandes avances del campo, los ordenadores aún no ha logrado descifrar el lenguaje humano, donde patrones como los que aparecen en las imágenes son diabólicamente complicados de analizar.
Crédito: Erik Carter.
El problema lingüístico para detectar abusos es el contexto. El análisis de comentarios de Conversation AI no analiza el flujo completo de una conversación. En lugar de eso, empareja comentarios individuales con modelos aprendidos de lo que considera comentarios buenos y malos. Por ejemplo, podría aceptar comentarios que tiendan a incluir palabras y fases comunes y otras características. Pero Greene explica que el sistema suele clasificar como negativos muchos comentarios en noticias Donald Trump porque le citan utilizando palabras que provocarían el rechazo de un comentario si procediesen de un lector. Así que The New York Times desactivará el servicio en este tipo de artículos.
Entonces sería imposible que Conversation AI funcione correctamente en una plataforma abierta como Twitter. ¿Cómo detectaría las alusiones al Holocausto en los tuits violentos que recibe el periodista judío Marc Daalder: "Este eres tú si gana Trump", junto a una foto de una pantalla de lámpara, y: "Este es tu lugar", junto a otra una foto de un ho o? Detectar el carácter abusivo depende de unos conocimientos históricos y del contexto cultural que un algoritmo sólo podría detectar si hubiese sido entrenado con ejemplos muy similares. Incluso entonces, ¿cómo podría diferenciar entre los abusos y la misma foto con el comentario: "Esto es lo que compraré si gana Trump"? El nivel de conocimientos semánticos y prácticos requerido va más allá de lo que el aprendizaje automático intenta abordar actualmente.
Por tanto, cualquier trol de Twitter podría aprender a esquivar a sistemas como Conversation AI. Al bloquear algunos comentarios, el aprendizaje automático podría rendir de manera decente a la hora de impedir a los comentaristas blandir palabras como "marica" y "sarasa", si ese fuera el objetivo. Pero la inteligencia artificial no podrá detener quien se empeñe en insinuar que alguien es del otro lado de la acera.
En otras palabras, Conversation AI hará más eficientes las tareas de moderación de comunidades que en realidad ya funcionan bastante bien. Es incapaz de erradicar los peores abusos de los que oímos hablar, que a menudo aparecen en páginas con unos estándares mínimos de moderación. Es imposible controlar los abusos en Twitter y Reddit sin alterar fundamentalmente su naturaleza.
Comunidades cerradas
Es imposible controlar los abusos en Twitter y Reddit sin alterar fundamentalmente su naturaleza.
El éxito de Facebook sirve de recordatorio de que la mayoría de las personas, y desde luego la mayoría de las empresas, preferimos un ento o relativamente protegido y controlado a uno en el que los desconocidos puedan inmiscuirse en los asuntos de los demás y provocar peleas. Así que si Conversation AI u otras herramientas similares facilitan y hacen más eficiente el ejercicio de tales controles, será un recordatorio de que "resolver" el problema de abusos, tanto por medios humanos como automatizados, requiere que nos alejemos del ideal de red abierta por excelencia. Incluso comunidades aparentemente "libres" como StackExchange y MetaFilter requieren constantes intervenciones de moderadores y labores de vigilancia de la comunidad. Otras comunidades verdaderamente anárquicas como Twitter, 4chan y algunos canales de Reddit son excepciones, no la regla. Ni tampoco son grandes generadores. Twitter ha luchado por atraer a un comprador, en parte por su reputación de contenidos abusivos, mientras que Reddit tiene una alta rotación de personal y dificultades para monetizar. La naturaleza del "Viejo Oeste" de esas páginas sólo se volverá más obvia si herramientas como Conversation AI logran que las páginas moderadas funcionen aún mejor.
Merece la pena señalar una gran desventaja. Puesto que Conversation AI está siendo entrenada para aprobar contenidos que se ajustan a determinadas pautas léxicas, gramaticales y de estilo, no sólo filtrará contenidos abusivos. También podría tender a discriminar contenidos diferentes. Eso suscita preguntas sobre lo que gobie os propensos a la censura podrían hacer con él. Al igual que el
New York Times modera sus comunidades, lo mismo podrían hacer los gobie os de Turquía y China con las suyas. Mientras que esfuerzos de Jigsaw como el Proyecto Shield intentan proporcionar defensas para páginas web políticamente sensibles, Conversation AI ofrece una herramienta para filtrar opiniones no deseadas. Así que la pregunta es: ¿no deseadas por quién? No existe una etiqueta en la caja que se lea "Utilizar sólo para impedir abusos".