Es una cuestión relevante para la própia fábrica de la cultura actual de inte et. La semana pasada, Twitter bloqueó a un periodista al que acusó de orquestrar una campaña contra una de las estrellas del reparto de la nueva versión femenina de los Cazafantasmas. Twitter dijo que introduciría nuevas directrices y herramientas para informar de abusos mediante su servicio. Desde luego, innumerables incidentes en Twitter y en otras partes de inte et pasan desapercibidos cada día.
Los investigadores, de hecho, están logrando algunos avances hacia una tecnología que pueda ayudar a poner fin a los abusos. Un equipo de Yahoo desarrolló recientemente un algoritmo capaz de detectar mensajes abusivos mejor que cualquier otro sistema automatizado hasta la fecha. Los investigadores generaron un conjunto de datos sobre comentarios de ese tipo mediante la recopilación de mensajes en artículos de Yahoo que fueron etiquetados como ofensivos por los propios editores de comentarios de la empresa.
El equipo de Yahoo empleó varias técnicas convencionales, incluidas las búsquedas de palabras clave abusivas, de la puntuación que a menudo parecía acompañar esoss mensajes y de pistas sintácticas sobre el significado de una frase.
Pero los investigadores también aplicaron un enfoque más avanzado al entendimiento automatizado del lenguaje natural. Emplearon una forma de representar el significado de las palabras como vectores de múltiples dimensiones. Este enfoque, conocido como "incrustación de palabras", permite que la semántica sea procesada de manera sofisticada. Por ejemplo, incluso aunque un comentario contenga palabras que no hayan sido identificadas como abusivas, las representaciones de esa cadena en el espacio vectoral pueden bastar para identificarla como tal.
Al juntarlo todo, el equipo pudo identificar mensajes abusivos (de su propio conjunto de datos) con una precisión de aproximadamente el 90%.
Detectar el 10% restante podría resultar complicado. Aunque los investigadores de inteligencia artificial (IA) están logrando importantes progresos en el entrenamiento de máquinas para analizar el lenguaje natural, la IA no ha conseguido que los ordenadores tengan el poder mental necesario para desentrañar el significado. Como demostró una competición celebrada durante una reciente conferencia de IA, los ordenadores no pueden descifrar las ambigüedades más sencillas de las frases.
Muchas empresas tecnológicas, incluidas Twitter, disponen de investigadores de IA dedicados a avanzar en áreas como el reconocimiento de imágenes y el análisis de textos. Pero hasta ahora, los esfuerzos para detectar abusos o acosos de manera sistemática han sido escasos. Twitter rehusó confirmar si su equipo de IA está trabajando activamente en el problema (aunque parece posible). Pero es improbable que la empresa lance una bala de plata que filtre todos los mensajes maliciosos. El problema con el cribado automatizado de las expresiones de odio es que las palabras están cargadas con significados que sólo pueden ser desentrañados con inteligencia real.
"Identificar automáticamente los abusos resulta sorprendentemente difícil", afirma el investigador especializado en abusos online en el Centro para el Análisis de Redes Sociales de Reino Unido Alex Krasodomski-Jones. El experto explica: "El lenguaje de los abusos es amorfo, cambia frecuentemente y a menudo es utilizado de maneras que no guardan ninguna connotación con los abusos, como cuando términos raciales o sexualmente cargados son agenciados por los grupos que antaño denigraban. Dados 10 tuis, un grupo de humanos raramente se pondrá de acuerdo en cuáles deben de calificarse de abusivos, así que podrás hacerte de una idea de lo difícil que resultaría para un ordenador".
Hasta que las máquinas cobren una inteligencia real, filtrar los mensajes de odio será imposible. Pero Krasodomski-Jones ofrece otra razón, más humana, por la que podríamos no querer una solución automatizada: "En un mundo en el que lo que leemos es dictado cada vez más por algoritmos y filtros, deberíamos cuida os de demandar más interferencias computacionales".