UU.) que se siente algo triste y deprimido. Con un miembro del equipo haciendo el papel de Riley, los orientadores principiantes pueden profundizar en lo que le ocurre: podrían descubrir que teme confesar la verdad a la familia, que recientemente se lo contó a sus amigos y que no le salió bien, y que había tenido pensamientos suicidas antes, aunque no en ese preciso momento.
nPero desde hace un tiempo, el papel de Riley no lo hace un empleado del Proyecto Trevor, sino una inteligencia artificial (IA).
nAl igual que el trabajador original, esta versión de Riley, entrenada en miles de transcripciones procedentes de estos juegos de roles entre orientadores y el personal de la organización, todavía necesita que la convenzan para que se abra, creando una situación que podría poner a prueba lo que los principiantes han aprendido sobre las mejores formas de ayudar a los adolescentes LGBTQ.
nSe supone que los orientadores no deben presionar a Riley para que se abra, el objetivo consiste en dar validez a los sentimientos de Riley y, si es necesario, ayudar a desarrollar un plan para mantenerle a salvo.
nLas líneas directas de atención de crisis y los servicios de chat hacen una promesa fundamental: poner en contacto a la persona que pide con un ser humano real capaz de ayudarla. Pero la necesidad puede superar la capacidad incluso de los servicios más exitosos.
nEl Proyecto Trevor cree que 1,8 millones de jóvenes LGBTQ en Estados Unidos piensan seriamente en suicidarse cada año. Los 600 orientadores existentes para sus servicios basados en chat no pueden manejar tanta demanda. Es por eso que el grupo, al igual que un número cada vez mayor de organizaciones de salud mental, recurrió a herramientas impulsadas por inteligencia artificial para intentar satisfacer a todos los usuarios.
nEs un avance que tiene mucho sentido, pero al mismo tiempo plantea preguntas sobre lo bien que puede funcionar la actual tecnología de inteligencia artificial en situaciones en las que lo que está en juego son las vidas de personas vulnerables.
nAsumir los riesgos y evaluarlos
nEl Proyecto Trevor cree comprender este equilibrio y destaca lo que Riley no hace. El director de IA e Ingeniería de la organización, Dan Fichter, explica: "No nos propusimos ni nos proponemos diseñar un sistema de inteligencia artificial que sustituya a los orientadores, o que interactúe directamente con una persona que podría estar en crisis". La conexión humana es muy importante en todos los servicios de la salud mental, pero podría ser especialmente significativa para las personas a las que atiende el Proyecto Trevor. Según una investigación de 2019 de la propia organización, los jóvenes LGBTQ con al menos un adulto que acepta su vida tal y como es tenían un 40 % menos de probabilidades de informar un intento de suicidio en el año anterior.
nEl juego de roles para la formación impulsado por IA, denominado simulador de contacto en crisis y respaldado por fondos y ayuda de ingeniería de Google, es el segundo proyecto que la organización ha desarrollado de esta manera: también utiliza un algoritmo de aprendizaje automático para ayudar a determinar quién está en mayor riesgo de peligro. (El Proyecto Trevor probó varios otros enfoques, incluidos muchos que no usaban la inteligencia artificial, pero el algoritmo simplemente dio las predicciones más precisas sobre quién experimentaba la necesidad más urgente).
nLa evaluación de riesgos impulsada por inteligencia artificial en los servicios de prevención del suicidio no es nueva: The New York Times informó a finales del año pasado que el Departamento de Asuntos de los Veteranos de EE. UU. también utiliza el aprendizaje automático para identificar a los veteranos en riesgo en sus prácticas clínicas.
nLas opiniones sobre la utilidad, la precisión y el riesgo de usar la IA de esta manera varían. En algunos ento os específicos, la IA puede ser más precisa que los trabajadores humanos para evaluar el riesgo de suicidio, sostiene el profesor de psicología de la Universidad Estatal de Florida (EE. UU.) Thomas Joiner, que estudia el comportamiento suicida. En el mundo real, que cuenta con más variables, la IA parece funcionar igual de bien que los humanos. Pero, en cambio, la IA es capaz de evaluar a más personas a un ritmo más rápido.
nPor lo tanto, resulta conveniente utilizarla para ayudar a los orientadores humanos, no para sustituirlos. El Proyecto Trevor todavía depende de los expertos humanos para realizar las evaluaciones de riesgo completas de los jóvenes que utilizan sus servicios. Y cuando los orientadores terminan sus juegos de roles con Riley, esas transcripciones se revisan por un trabajador humano.
nCómo funciona
nEl simulador de contacto en situaciones de crisis se desarrolló porque realizar juegos de roles consume mucho tiempo del personal y solo puede hacerse en horario laboral, aunque la mayoría de los orientadores planean trabajar como voluntarios en tu os de noche y fines de semana.
nPero, a pesar de que el objetivo era capacitar a una mayor cantidad de orientadores más rápido y adaptarse mejor a sus horarios, la eficiencia no era la única meta. Los desarrolladores querían que el juego de roles pareciera natural y que el chatbot se adaptara ágilmente a los errores de los voluntarios. Parecía que una buena opción para el desafío eran los algoritmos de procesamiento del lenguaje natural, que recientemente se habían vuelto realmente buenos para imitar las conversaciones humanas. Después de probar varias opciones, el Proyecto Trevor se decidió por el algoritmo GPT-2 de OpenAI.
nEl chatbot usa GPT-2 para sus habilidades básicas de conversación. El modelo ha sido entrenado con datos de 45 millones de páginas web, lo que le ha enseñado la estructura elemental y la gramática del inglés. El Proyecto Trevor lo entrenó sobre esa base con todas las transcripciones de las conversaciones anteriores de los juegos de roles de Riley, lo que dio al bot los materiales necesarios para simular a una persona.
nDurante todo el proceso de desarrollo, el equipo se sorprendía de lo bien que se desempeñaba el chatbot. A pesar de que no existe una base de datos que almacene los detalles de la biografía de Riley, el chatbot mantenía la coherencia porque cada transcripción reflejaba la misma historia.
nPero también hay algunos inconvenientes en cuanto el uso de la IA, especialmente con los contextos sensibles sobre comunidades vulnerables. Se sabe que GPT-2 y otros algoritmos de lenguaje natural como este, incorporan algunas ideas profundamente racistas, sexistas y homófobas. Más de un chatbot se ha equivocado desastrosamente de esta manera, siendo el más reciente el chatbot surcoreano denominado Lee Luda que representaba a un estudiante universitario de 20 años. Después de ganar rápidamente mucha popularidad e interactuar con cada vez más usuarios, el sistema empezó a usar insultos para describir la comunidad queer y las personas discapacitadas.
nEl Proyecto Trevor es consciente de esto y por ese motivo diseñó algunas formas de limitar los posibles problemas. Si bien Lee Luda estaba programado a conversar con los usuarios sobre cualquier tema, Riley tiene un enfoque muy limitado. Los voluntarios no se desviarán demasiado de las conversaciones en las que han sido entrenados, y eso minimiza las posibilidades de un comportamiento impredecible.
nTambién facilita las comprobaciones exhaustivas del chatbot, algo que el Proyecto Trevor afirma que lleva a cabo. "Estos casos de uso tan específicos y bien definidos, y diseñados de manera inclusiva, no representan un gran riesgo", asegura el investigador de DeepMind Nenad Tomasev.
nDe humano a humano
nEsta no es la primera vez que el campo de la salud mental intenta aprovechar el potencial de la IA para ofrecer asistencia ética e inclusiva sin dañar a las personas a las que debería ayudar. Los investigadores han desarrollado algunas formas prometedoras de detectar la depresión a partir de una combinación de señales visuales y auditivas. Aunque no pueden comprarse con un profesional humano, los "bots" de terapia se están planteando como alte ativas para aquellos que no pueden acceder a un terapeuta o se sienten incómodos a la hora de confiar en una persona.
nCada uno de estos desarrollos y otros similares requieren un debate sobre cuánta participación deberían tener las herramientas de inteligencia artificial en el trato con las personas vulnerables. Y parece ser que, de momento, hay consenso sobre que la tecnología no es del todo adecuada para sustituir la ayuda humana.
nNo obstante, Joiner cree que esto podría cambiar con el tiempo. Si bien actualmente es una mala idea reemplazar a los orientadores humanos con copias en forma de IA, "eso no significa que sea una restricción permanente", resalta. Afirma que la gente ya "tiene amistades y relaciones artificiales" con servicios de IA. En su opinión, podría ser una posibilidad en el futuro siempre que no se engañe a las personas para que crean que están teniendo una conversación con un humano cuando en realidad hablan con una IA.
nMientras tanto, Riley nunca tendrá una relación directa con los jóvenes que envían mensajes de texto al Proyecto Trevor: solo servirá como una herramienta de formación de los voluntarios. La responsable de productos de Inteligencia Artificial y Datos del grupo, Kendra Gaunt, concluye: "La conexión interpersonal entre nuestros orientadores y las personas que acuden a nosotros es esencial para todo lo que hacemos. Pienso que eso nos hace realmente únicos, y es algo que no creo que ninguno de nosotros quiera sustituir o cambiar".
n