La antigua responsable de Producto de Facebook Frances Haugen, explica que decidió hablar públicamente después de ver que la dirección de Facebook priorizaba repetidamente los beneficios sobre la seguridad.
nAntes de dimitir en mayo de este año, revisó Facebook Workplace, la red social interna de los empleados de la empresa, y reunió una amplia variedad de informes e investigaciones en un intento de demostrar de manera concluyente que Facebook había optado deliberadamente por no solucionar los problemas en su plataforma.
nEl 5 de octubre testificó ante el Senado de EE. UU. sobre el impacto de Facebook en la sociedad, donde reiteró muchos de los hallazgos de la investigación interna y rogó al Congreso estadounidense que actuara.
nEn su primera declaración a los legisladores afirmó: "Estoy aquí hoy porque creo que los productos de Facebook perjudican a los niños, avivan la división y debilitan nuestra democracia. Estos problemas tienen solución. Es posible crear redes sociales más seguras, respetuosas con la libertad de expresión y más agradables. Pero hay una cosa que espero que todos sepan sobre estas divulgaciones, y es que Facebook puede cambiar, pero claramente no lo hará por sí solo".
nDurante su testimonio, Haugen culpó de muchos de los problemas a las decisiones de diseño de la plataforma y de los algoritmos de Facebook. Este es un llamativo cambio del enfoque para los legisladores sobre la política de contenido y la censura de Facebook, de lo que debería aparecer en Facebook y lo que no. Muchos expertos creen que esta estrecha visión conduce a la estrategia inútil de dar golpes en vano perdiendo el panorama general.
nHaugen continuó: "Soy una firme defensora de las soluciones no basadas en el contenido, porque esas soluciones protegerán a las personas más vulnerables del mundo", en referencia a la capacidad desigual de Facebook para hacer cumplir su política de contenido en otros idiomas diferentes del inglés.
nEl testimonio de Haugen se hace eco de muchos de los hallazgos de la investigación de MIT Technology Review publicada a principios de este año, basada en docenas de entrevistas con ejecutivos de Facebook, antiguos empleados y otros actuales, especialistas de la industria y expertos externos. Hemos combinado las partes más relevantes de nuestra investigación y otros informes para dar más contexto al testimonio de Haugen.
n¿Cómo funciona el algoritmo de Facebook?
nColoquialmente, usamos el término "algoritmo de Facebook" como si solo hubiera uno. De hecho, Facebook decide cómo segmentar los anuncios y clasificar el contenido basándose en cientos, quizás miles, de algoritmos. Algunos de esos algoritmos desentrañan las preferencias del usuario y aumentan ese tipo de contenido en los feeds. Otros detectan algunos tipos específicos de contenido inadecuado, como desnudos, spam o titulares de clickbait, y los eliminan o los llevan más abajo en el feed.
nTodos estos algoritmos se conocen como algoritmos de aprendizaje automático. Como escribí a principios de este año:
nnA diferencia de los algoritmos tradicionales, codificados por ingenieros, los algoritmos de aprendizaje automático se "entrenan" en los datos introducidos para aprender las correlaciones entre ellos. El algoritmo entrenado, conocido como modelo de aprendizaje automático, puede automatizar las futuras decisiones. Un algoritmo entrenado con datos de los clics en los anuncios, por ejemplo, podría aprender que las mujeres hacen clic en los anuncios de 'leggings' de yoga con más frecuencia que los hombres. El modelo resultante luego mostrará más de esos anuncios a las mujeres. En la actualidad, en una empresa basada en inteligencia artificial como Facebook, los ingenieros generan innumerables modelos con ligeras variaciones para ver cuál funciona mejor en un problema determinado.
n
Y debido a la enorme cantidad de datos de usuarios de Facebook, puede
nndesarrollar modelos capaces de aprender a deducir la existencia no solo de las categorías amplias como "mujeres" y "hombres", sino de las más detalladas como "las mujeres de entre 25 y 34 años a las que les gustaban las páginas de Facebook relacionadas con el yoga" y mostrarles anuncios específicos. Cuanto más detallada sea la segmentación o 'microtargeting', mayores serán las posibilidades de clic, lo que daría a los anunciantes un mayor rendimiento por su inversión.
n
Se aplican los mismos principios para clasificar el contenido en las noticias:
nnIgual que los algoritmos se podían entrenar para predecir quién haría clic en qué anuncio, también podían hacer lo mismo para predecir a quién le gustaría o compartiría qué publicación, y luego se daría más importancia a esas publicaciones. Si el modelo determinaba que a una persona le gustan mucho los perros, por ejemplo, las publicaciones de sus amigos sobre perros aparecerían más arriba en la sección de noticias de ese usuario.
n
Antes de que Facebook comenzara a usar algoritmos de aprendizaje automático, los equipos usaban otras tácticas de diseño para incrementar la participación. Experimentaban con el color de un botón o la frecuencia de las notificaciones para que los usuarios regresen a la plataforma. Pero los algoritmos de aprendizaje automático crean un ciclo de retroalimentación mucho más potente. No solo pueden personalizar lo que ve cada usuario, sino que también seguirán evolucionando con las preferencias cambiantes del usuario, mostrando constantemente lo que mantendrá más activa a cada persona.
n¿Quién ejecuta el algoritmo de Facebook?
nDentro de Facebook, no hay un equipo encargado de este sistema de clasificación de contenido en su totalidad. Los ingenieros desarrollan y agregan sus propios modelos de aprendizaje automático a la mezcla, en función de los objetivos de su equipo. Por ejemplo, los equipos que se centran en eliminar o rebajar el contenido inadecuado, conocidos como equipos de integridad, solo entrenarán modelos para detectar diferentes tipos de ese contenido.
nEsta fue una decisión que Facebook tomó desde el principio como parte de su cultura de "moverse rápido y romper cosas". Desarrolló una herramienta interna conocida como FBLearner Flow que facilitó a los ingenieros sin experiencia en aprendizaje automático desarrollar cualquier modelo que necesitaran. Un punto de datos estaba en uso por más de una cuarta parte del equipo de ingeniería de Facebook en 2016.
nMuchos de los antiguos y actuales empleados de Facebook con los que hemos hablado afirman que esto es parte de la razón por la que Facebook parece no poder manejar lo que les ofrece a los usuarios en las noticias. Los diferentes equipos pueden tener objetivos opuestos, y el sistema se ha vuelto tan complejo y difícil de gestionar que ya nadie puede realizar un seguimiento de todos sus distintos componentes.
nComo resultado, el principal proceso de control de calidad de la empresa se realiza a través de la experimentación y la medición. Como escribí antes:
nnLos equipos entrenan un nuevo modelo de aprendizaje automático en FBLearner, ya sea para cambiar el orden de la clasificación de las publicaciones o para captar mejor el contenido que viola las normas de la comunidad de Facebook (sus reglas sobre lo que está permitido en la plataforma y lo que no). Luego, prueban el nuevo modelo en un pequeño subconjunto de usuarios de Facebook para medir cómo cambian las métricas de participación, como la cantidad de 'Me gusta', comentarios y las veces en las que se comparten las publicaciones, explica el antiguo director de Ingeniería para la sección de noticias de 2016 a 2018, Krishna Gade.
nSi un modelo reduce demasiado la participación, acaba descartado. De lo contrario, se implementa y se monitoriza continuamente. Gade explicó en Twitter que sus ingenieros recibían notificaciones cada pocos días, cuando bajaban las métricas como el número de 'Me gusta' o los comentarios. Luego descifraban qué había causado el problema y si algún modelo tenía que volver a entrenarse.
n
¿Cómo la clasificación de contenido de Facebook ha llevado a la difusión de la desinformación y al discurso del odio?
nDurante su testimonio, Haugen volvió repetidamente a la idea de que el algoritmo de Facebook incita la desinformación, los discursos de odio e incluso la violencia étnica.
nEn el Senado, afirmó: "Facebook... sabe, lo han admitido públicamente, que la clasificación basada en la participación es peligrosa sin sistemas de integridad y seguridad, pero aun así no implementó esos sistemas de integridad y seguridad en la mayoría de los idiomas del mundo. Destroza a las familias. Y en los lugares como Etiopía, está literalmente avivando la violencia étnica".
nEsto es lo que hemos escrito sobre esto anteriormente:
nnLos modelos que maximizan la participación también favorecen la controversia, la desinformación y el extremismo: en pocas palabras, a la gente le gustan las cosas escandalosas. A veces, esto enciende las tensiones políticas existentes. Por ahora, el ejemplo más devastador es el caso de Myanmar (antes Birmania), donde las noticias falsas virales y el discurso de odio sobre la minoría musulmana rohingya llevaron el conflicto religioso del país a un genocidio en toda regla. Facebook admitió en 2018, después de años de restar importancia a su papel, que no había hecho lo suficiente "para ayudar a evitar que nuestra plataforma se utilice para fomentar la división e incitar a la violencia 'offline'".
n
Como mencionó Haugen, Facebook lo sabe desde hace tiempo. Algunos informes anteriores habían encontrado que la empresa llevaba estudiando ese fenómeno desde al menos 2016.
nnEn una presentación interna de ese año, publicada por 'The Wall Street Journal', la investigadora de la empresa Monica Lee descubrió que Facebook no solo albergaba gran cantidad de grupos extremistas, sino que también los promocionaba entre sus usuarios: "El 64 % de todas las adhesiones a grupos extremistas se deben a nuestras herramientas de recomendación", explicaba la presentación, principalmente gracias a los modelos detrás de las funciones "Grupos a los que podrías unirte" y "Descubrir".
nEn 2017, el veterano director de Productos de Facebook, Chris Cox, formó un nuevo grupo de trabajo para analizar si maximizar la participación de los usuarios en Facebook contribuía a la polarización política. Encontró que, efectivamente, había una correlación y que la reducción de la polarización tendría un impacto en la participación. En un documento de mediados de 2018 publicado por 'Journal', el grupo propuso varias posibles soluciones, como ajustar los algoritmos de recomendación para sugerir una serie más diversa de grupos a los que los usuarios se podrían unir. Pero también reconoció que algunas de esas ideas eran "anticrecimiento". La mayoría de las propuestas no siguieron adelante y el grupo de trabajo se disolvió.
n
En nuestras conversaciones, los empleados de Facebook también corroboraron estos hallazgos.
nnUn antiguo investigador de inteligencia artificial de Facebook que se unió en 2018 asegura que su equipo y él realizaban "estudio tras estudio" confirmando la misma idea fundamental: los modelos que maximizan la participación aumentan la polarización. Podían rastrear fácilmente la medida en la que los usuarios estaban de acuerdo o en desacuerdo en diferentes temas, con qué contenido les gustaba interactuar y cómo cambiaban sus posturas como consecuencia. Independientemente del tema, los modelos aprendían a alimentar a los usuarios con las visiones cada vez más extremas. "Con el tiempo, se vuelven más polarizados de una manera medible", afirma.
n
En su testimonio, Haugen también enfatizó varias veces cómo estos fenómenos eran mucho peores en las regiones donde no se hablaba inglés debido a la cobertura desigual de Facebook de diferentes idiomas: "En el caso de Etiopía hay 100 millones de personas y seis idiomas. Facebook solo opera en dos de esos idiomas en los sistemas de integridad. Esta estrategia de centrarse en los sistemas de contenido y lenguaje específicos para que la inteligencia artificial (IA) nos salve está condenada al fracaso".
nLa mujer continuó: "Entonces, invertir en formas que no se basen en el contenido para ralentizar la plataforma no solo protege nuestra libertad de expresión, sino que protege la vida de muchas personas".
nExploramos más este tema en otro artículo de principios de este año sobre las limitaciones de los grandes modelos de lenguaje o LLM:
nnA pesar de que los LLM tienen estas deficiencias lingüísticas, Facebook depende en gran medida de ellos para automatizar la moderación de su contenido a nivel mundial. Cuando estalló la guerra en Tigray en noviembre del año pasado, Gebru vio que la plataforma era incapaz de controlar la avalancha de desinformación. Es algo emblemático de un patrón persistente que los investigadores han observado en la moderación del contenido. Las comunidades que hablan idiomas no prioritarios para Silicon Valley (EE. UU.) sufren los entornos digitales más hostiles.
nGebru señaló que el daño no acababa ahí. Cuando las noticias falsas, el discurso de odio e incluso las amenazas de muerte no se moderan, se recogen como datos de entrenamiento para construir la próxima generación de LLM. Y esos modelos, repitiendo como loros lo que han aprendido, terminan regurgitando en internet estos patrones lingüísticos tóxicos.
n
¿Cómo se relaciona la clasificación de contenido de Facebook con la salud mental de los adolescentes?
nUna de las revelaciones más impactantes de los documentos de Facebook del Wall Street Journal fue la investigación interna de Instagram, que encontró que su plataforma empeoraba la salud mental entre las adolescentes. "El 32 % de las adolescentes dijeron que cuando se sentían mal con sus cuerpos, Instagram las hacía sentirse peor", escribieron los investigadores en una presentación de marzo de 2020.
nHaugen también conecta este fenómeno con los sistemas de clasificación basados en la participación, y ha señalado en el Senado que eso "está provocando que los adolescentes estén expuestos a más contenido de anorexia".
nY añadió: "Si Instagram es una fuerza tan positiva, ¿acaso hemos visto una época dorada de la salud mental de los adolescentes en los últimos 10 años? No, hemos visto tasas crecientes de suicidio y depresión entre los adolescentes. Existe una gran cantidad de investigaciones que respaldan la idea de que el uso de las redes sociales amplifica el riesgo de estos daños a la salud mental".
nEn nuestro informe anterior, un antiguo investigador de inteligencia artificial también notó que este efecto se extendía a Facebook.
nEl equipo de este investigador también descubrió que los usuarios con tendencia a publicar contenido melancólico o interactuar con él (un posible signo de depresión), podrían fácilmente pasar a buscar contenido cada vez más negativo, lo que podría empeorar aún más su salud mental.
nPero al igual que Haugen, este investigador descubrió que los directivos no estaban interesados en realizar cambios algorítmicos fundamentales.
nnEl equipo propuso ajustar los modelos de clasificación de contenido para que dejaran de maximizar solo la participación en el caso de estos usuarios y se les mostraran menos publicaciones deprimentes. "La pregunta para los directivos era: ¿Deberíamos optimizar la participación si descubrimos que alguien se encuentra en un estado mental vulnerable?", recuerda el investigador. (Una portavoz de Facebook respondió que no había podido encontrar documentación relacionada con esta propuesta).
nPero cualquier cosa que redujera la participación, incluso por razones como no agravar la depresión de un usuario, provocaba muchas dudas entre los líderes. Teniendo en cuenta que las evaluaciones de desempeño y los salarios de los empleados estaban vinculados al éxito de los proyectos, los propios empleados aprendieron rápidamente a descartar proyectos que recibían ese rechazo y continuar trabajando en los que se imponían desde arriba.
nPor otro lado, ese antiguo empleado no deja que su hija use Facebook.
n
¿Cómo lo arreglaremos?
nHaugen está en contra de dividir Facebook y de revocar la Sección 230 de la Ley de Decencia en las Comunicaciones de EE. UU., que protege a las plataformas tecnológicas de la responsabilidad por el contenido que alojan. En cambio, recomienda crear una exención más específica en la Sección 230 para la clasificación algorítmica, que, según ella, "eliminaría la clasificación basada en la participación". También aboga por volver al servicio cronológico de noticias en Facebook.
nLa directora de Proyectos de la organización sin ánimo de lucro que estudia los sistemas de clasificación de las redes sociales y su impacto en los derechos humanos Ranking Digital Rights, Ellery Roberts Biddle, cree que la idea se debería examinar cuidadosamente: "Considero que tendría una repercusión limitada. No creo que logre lo esperado".
nPara que eso resultara viable, Biddle opina que los legisladores y la sociedad deberían tener un nivel mucho mayor de transparencia sobre cómo funcionan los sistemas de clasificación de contenido y la segmentación de anuncios de Facebook. Y añade: "Entiendo la intención de Haugen, tiene sentido. Pero es complicado. En realidad, todavía no hemos abordado la cuestión de la transparencia en torno a los algoritmos. Hay mucho más por hacer".
nNo obstante, las revelaciones y el testimonio de Haugen han atraído una nueva atención a lo que muchos expertos y empleados de Facebook llevan diciendo durante años: que salvo que Facebook cambie el diseño básico de sus algoritmos, no se hará una mella significativa en los problemas de la plataforma.
nLa intervención de Haugen también plantea la posibilidad de que, si Facebook no consigue poner su propia casa en orden, los legisladores podrían forzarlo. La antigua trabajadora concluyó: "El Congreso puede cambiar las reglas de juego de Facebook y detener muchos daños que está causando actualmente. He hablado públicamente bajo un gran riesgo personal porque creo que todavía tenemos tiempo para actuar, pero debemos hacerlo ya".
n