Cuando lanzamos los sistemas de IA del laboratorio al mundo real, tenemos que estar preparados para que estos sistemas se rompan de formas sorprendentes y catastróficas. Sharon Li, profesora adjunta de la Universidad de Wisconsin, en Madison, es pionera en una función de seguridad de la IA denominada detección fuera de distribución (OOD, por sus siglas en inglés). Esta función, dice, ayuda a los modelos de IA a determinar cuándo deben abstenerse de actuar si se enfrentan a algo para lo que no han sido entrenados.

Li desarrolló uno de los primeros algoritmos sobre detección fuera de distribución para redes neuronales profundas. Desde entonces, Google ha creado un equipo dedicado a integrar la detección de OOD en sus productos. El año pasado, el análisis teórico de Li sobre la detección de OOD fue elegido entre más de 10.000 propuestas como artículo destacado por NeurIPS, una de las conferencias de IA más prestigiosas.

Estamos inmersos en la fiebre del oro de la IA, y las empresas tecnológicas se apresuran a lanzar sus modelos de IA. Pero la mayoría de los modelos actuales están entrenados para identificar cosas específicas y a menudo fallan cuando se encuentran con los escenarios desconocidos típicos del desordenado e impredecible mundo real. Su incapacidad para entender de forma fiable lo que "saben" y lo que "no saben" es el punto débil de muchos desastres de la IA.

El planteamiento de Li acepta la incertidumbre utilizando el aprendizaje automático para detectar datos desconocidos en el mundo y diseñar modelos de IA que se adapten a ellos sobre la marcha. La detección de datos fuera de distribución podría ayudar a evitar accidentes cuando los coches autónomos chocan con objetos desconocidos en la carretera, o hacer más útiles los sistemas de IA médica para descubrir una nueva enfermedad.

"En todas esas situaciones, lo que realmente necesitamos es un modelo de aprendizaje automático consciente de la seguridad que sea capaz de identificar lo que no sabe", afirma Li.