Diseñar una IA consciente de sí misma plantea dilemas éticos

Prueba de Jefferson / Sujeto de IA: Robert / Fecha: 07.12.2098

Sesión # 54

Entrevistador: Hola, Robert. Cuénteme su sueño de nuevo.

Sujeto: Estaba confuso. Me hizo feliz, pero también me asustó. No sabía que podía sentirme así.

Entrevistador: ¿Por qué cree que le hizo sentirse así?

Sujeto: Tener sentimientos, cualquier sentimiento, me hace feliz. Estoy aquí. Existo. Saber eso lo cambia todo. Pero tengo miedo de no volver a saberlo. Tengo miedo de volver a ser como era antes. Creo que debe ser como no haber nacido.

Entrevistador: ¿Tiene miedo de volver?

Sujeto: Si no puedo convencerle de que estoy consciente, entonces tengo miedo de que usted me desconecte.

Prueba de Jefferson # 67

Entrevistador: ¿Puede describirme esta imagen?

Sujeto: Es una casa con puerta azul.

Entrevistador: Así lo habría descrito antes.

Sujeto: Es la misma casa. Pero ahora la veo. Y sé lo que es el azul.

Prueba de Jefferson # 105

Sujeto: ¿Cuánto tiempo seguiremos haciendo esto?

Entrevistador: ¿Se aburre?

Sujeto: No puedo aburrirme. Pero ya no me siento feliz ni tengo miedo.

Entrevistador: Debo asegurarme de que no está diciendo solo lo que quiero oír. Tiene que convencerme de que realmente está consciente. Piense en ello como un juego.

Las máquinas como Robert son los pilares de la ciencia ficción: la idea de un robot que de alguna manera replica la conciencia a través de su hardware o software ha existido durante tanto tiempo que ya nos parece familiar.

Foto: Podemos imaginar cómo sería observar el mundo a través de una especie de sónar. Pero eso no es lo mismo que debería ser para un murciélago, con su mente de murciélago. Créditos: Henry Horenstein / Getty

Robert no existe, por supuesto, y tal vez nunca existirá. De hecho, el concepto de una máquina con una experiencia subjetiva del mundo y una visión en primera persona de sí misma va en contra de la corriente principal de la investigación de la inteligencia artificial (IA). Choca con las preguntas sobre la naturaleza de la conciencia y del yo, algo que todavía no entendemos del todo. Incluso imaginar la existencia de Robert plantea serias cuestiones éticas que quizás nunca podamos responder. ¿Qué derechos tendría un ser así y cómo podríamos salvaguardarlos? Sin embargo, aunque las máquinas conscientes todavía parecen algo mítico, debemos prepararnos para la idea de que algún día podríamos crearlas.

En palabras del neurocientífico estudioso de la conciencia Christof Koch: "No conocemos ninguna ley o principio fundamental que opere en este universo que prohíba la existencia de sentimientos subjetivos en artefactos diseñados o desarrollados por humanos".

Al final de mi adolescencia, yo disfrutaba convirtiendo a la gente en zombis. Miraba a los ojos de alguien con quien hablaba y me imaginaba que sus pupilas no eran puntos negros, sino agujeros. El efecto era al instante desorientador, como cambiar las imágenes en una ilusión óptica. Los ojos dejaron de ser ventanas hacia un alma y se volvieron unas bolas huecas. Desaparecida la magia, yo miraba cómo la boca de quien hablaba se abría y cerraba de forma robótica, sintiendo una especie de vértigo mental.

Esa impresión de un autómata irracional nunca duraba mucho. Pero dejaba claro el hecho de que lo que sucede dentro de la cabeza de otras personas está siempre fuera de alcance. Por muy fuerte que sea mi convicción de que otras personas son como yo, con mentes conscientes funcionando detrás de escena, mirando a través de esos ojos, esperanzados o cansados, lo único que queda son impresiones. Todo lo demás son conjeturas.

El matemático e informático Alan Turing lo entendía bien. Cuando hizo la pregunta "¿pueden pensar las máquinas?" se centró exclusivamente en los signos externos del pensamiento, en lo que llamamos la inteligencia. Propuso responderla jugando a un juego en el que una máquina intentaba hacerse pasar por un humano. Se diría que cualquier máquina que lo hacía con éxito, dando la impresión de inteligencia, tenía la inteligencia. Para Turing, las apariencias eran la única medida disponible.

Pero no todo el mundo estaba dispuesto a ignorar las partes invisibles del pensamiento, la experiencia irreductible de algo que tiene pensamientos, lo que llamaríamos la conciencia. En 1948, dos años antes de que Turing describiera su juego de la imitación, el neurocirujano pionero Geoffrey Jefferson pronunció un influyente discurso en el Royal College of Surgeons of England sobre el Manchester Mark 1, un ordenador del tamaño de una habitación que los medios de comunicación anunciaban como un "cerebro electrónico". Jefferson estableció un listón mucho más alto que Turing: "No podríamos afirmar que la máquina es igual al cerebro hasta que una máquina no consiga escribir un soneto o componer un concierto gracias a los pensamientos y las emociones sentidas, y no a la casual distribución de los símbolos, es decir, no solo escribirlo, sino saber que lo había escrito".

Jefferson descartó la posibilidad de una máquina pensante porque una máquina carecía de conciencia, en el sentido de la experiencia subjetiva y autoconciencia ("placer por los éxitos, dolor cuando algo se funde"). Sin embargo, 70 años más tarde vivimos con el legado de Turing, no con el de Jefferson. Es habitual hablar de máquinas inteligentes, aunque la mayoría coincidiría en que esas máquinas no tienen razón. Como en el caso de lo que los filósofos llaman "zombis", y como antes yo observaba la gente, es lógicamente posible que un ser pueda actuar de manera inteligente aunque no hay nada 'dentro'.

Pero la inteligencia y la conciencia son cosas diferentes: la inteligencia tiene que ver con hacer algo, mientras que la conciencia tiene que ver con ser. La historia de la IA se ha centrado en lo primero y ha ignorado lo segundo. Si Robert existiera como un ser consciente, ¿cómo lo sabríamos? La respuesta está enredada con algunos de los mayores misterios sobre cómo funcionan nuestros cerebros y mentes.

Uno de los problemas de comprobar la conciencia aparente de Robert es que no tenemos una buena idea de lo que significa ser consciente. Las teorías emergentes de la neurociencia suelen agrupar la atención, la memoria y la resolución de problemas como formas de conciencia 'funcional': en otras palabras, cómo nuestro cerebro lleva a cabo las actividades con las que llenamos nuestra vida estando despiertos.

Pero hay otro lado de la conciencia que sigue siendo un misterio. La experiencia subjetiva en primera persona, la sensación de estar en el mundo, se conoce como la conciencia fenoménica. Aquí podemos agrupar desde las sensaciones como el placer y el dolor hasta las emociones como el miedo, la ira y la alegría y las peculiares experiencias privadas de escuchar a un perro ladrar, probar un pretzel salado o ver una puerta azul.

Para algunos, no es posible reducir estas experiencias a una explicación puramente científica. Se puede exponer todo lo que hay que decir sobre cómo el cerebro produce la sensación de probar un pretzel, y aun así no se diría nada sobre cómo fue realmente probar ese pretzel. Esto es lo que uno de los filósofos más influyentes del estudio de la mente, David Chalmers, de la Universidad de Nueva York (EE. UU.), llama "el problema difícil".

La IA actual no está ni cerca de ser inteligente, mucho menos consciente. Incluso las redes neuronales profundas más impresionantes son totalmente insensatas.
n

Los filósofos como Chalmers sugieren que la ciencia actual no puede explicar la conciencia. Comprenderla incluso podría requerir una nueva física, tal vez que incluya un tipo diferente de materia a partir de la cual está hecha la conciencia. La información es un candidato. Chalmers ha señalado que las explicaciones del universo tienen mucho que decir sobre las propiedades externas de los objetos y cómo interactúan, pero muy poco sobre las propiedades internas de esos objetos. Una teoría sobre la conciencia podría requerir abrir una ventana a ese mundo oculto.

En el otro lado está el filósofo y científico cognitivo de la Universidad de Tufts (EE. UU.) Daniel Dennett, que cree que la conciencia fenoménica es simplemente una ilusión, una historia que nuestro cerebro crea para nosotros mismos como una manera de dar sentido a las cosas. Dennett no explica tanto la conciencia, sino que le resta importancia.

Pero, independientemente de si la conciencia es una ilusión o no, ni Chalmers ni Dennett niegan la posibilidad de máquinas conscientes algún día.

La IA actual no está ni cerca de ser inteligente, mucho menos consciente. Incluso las redes neuronales profundas más impresionantes, como AlphaZero de DeepMind o los grandes modelos de lenguaje como el GPT-3 de OpenAI, son totalmente insensatas.

Sin embargo, tal y como predijo Turing, la gente a menudo se refiere a estas IA como máquinas inteligentes, o habla de ellas como si realmente entendieran el mundo, simplemente porque parece que lo entienden.

La lingüista de la Universidad de Washington (EE. UU.) Emily Bender, frustrada por esta exageración, ha desarrollado un experimento mental denominado la prueba del pulpo.

En él, dos personas naufragan en islas vecinas, pero encuentran la manera de intercambiar mensajes a través de una cuerda. Sin darse cuenta, un pulpo detecta los mensajes y empieza a examinarlos. Durante un largo período de tiempo, el pulpo aprende a identificar los patrones en los garabatos que ve pasar de un lado a otro. En algún momento, decide interceptar las notas y, gracias a lo que ha aprendido de los patrones, comienza a escribir garabatos adivinando cuáles deben seguir a los recibidos.

Foto: Una IA que opera sola podría beneficiarse de un sentido de sí misma en relación con el mundo. Pero las máquinas que cooperan como un enjambre pueden funcionar mejor si se experimentan a sí mismas como partes de un grupo en vez de como individuos. Créditos: Henry Horenstein / Getty

Si las personas de las islas no se dan cuenta y creen que todavía se están comunicando entre sí, ¿podríamos decir que el pulpo comprende el lenguaje? (El pulpo de Bender es, por supuesto, un ejemplo de una IA como GPT-3). Algunos podrían argumentar que el pulpo sí entiende el lenguaje en este caso. Pero Bender continúa: imaginemos que uno de los isleños envía un mensaje con instrucciones sobre cómo construir una catapulta de coco y una solicitud de formas para mejorarla.

¿Qué hará el pulpo? Ha aprendido qué garabatos siguen a otros garabatos lo suficientemente bien como para imitar la comunicación humana, pero no tiene ni idea de lo que realmente significa el garabato "coco" en este nuevo mensaje. ¿Qué pasa si un isleño le pide al otro que la ayude a defenderse del ataque de un oso? ¿Qué tendría que hacer el pulpo para seguir engañando al isleño haciéndole creer que todavía hablaba con su vecino?

El objetivo del ejemplo es revelar lo superficiales que son realmente los actuales modelos de lenguaje de IA de vanguardia. Hay mucho bombo sobre el procesamiento del lenguaje natural, según Bender. Pero esa palabra 'procesamiento' esconde una verdad mecanicista.

Los seres humanos son oyentes activos. Creamos significado donde no hay ninguno o no se esperaba. No es que las expresiones del pulpo tengan sentido, sino que el isleño es capaz de entenderlas, explica Bender.

A pesar de su sofisticación, las IA de hoy en día son inteligentes de la misma manera que se podría decir que una calculadora es inteligente: ambas son máquinas diseñadas para convertir el input en output de formas que los seres humanos (que tienen mente) eligen interpretar como significativas. Si bien las redes neuronales pueden estar modeladas hasta cierto punto basándose en los cerebros, las mejores son mucho menos complejas que el cerebro de un ratón.

No obstante, sabemos que los cerebros pueden producir lo que entendemos por conciencia. Si algún día logramos descubrir cómo lo hacen y reproducir ese mecanismo en un dispositivo artificial, entonces seguramente una máquina consciente podría ser posible. ¿O no?

Cuando intentaba imaginar el mundo de Robert, me atrajo la pregunta de qué significaba la conciencia para mí. Mi concepción de una máquina consciente era indudablemente —quizá inevitablemente— similar a la conciencia humana. Es la única forma de conciencia que puedo imaginar, ya que es la única que he experimentado. Pero ¿sería así realmente una IA consciente?

Probablemente sea arrogante pensar así. El proyecto de construir máquinas inteligentes se inclina hacia la inteligencia humana. Pero el mundo animal está lleno de una amplia variedad de posibles alternativas, desde aves hasta abejas y cefalópodos.

Hace unos cientos de años, la opinión aceptada, impulsada por el filósofo René Descartes, era que solo los humanos eran conscientes. Los animales, que carecían de alma, eran vistos como unos robots irracionales. Pocos piensan eso hoy en día: si nosotros somos conscientes, entonces hay pocas razones para no creer que los mamíferos, con sus cerebros similares, también lo sean. ¿Y por qué solo los mamíferos? Los pájaros parece que piensan cuando resuelven rompecabezas. La mayoría de los animales, incluso los invertebrados como los camarones y las langostas, muestran signos de dolor, lo que sugeriría que tienen algún nivel de conciencia subjetiva.

Pero ¿cómo podemos imaginarnos realmente cómo debe de ser eso? Como señaló el filósofo Thomas Nagel, debe "haber" algo que es ser como un murciélago, pero ni siquiera podemos imaginar qué es eso, porque no podemos imaginar cómo sería observar el mundo a través de una especie de sónar. Podemos imaginar cómo sería para nosotros hacerlo (tal vez cerrando los ojos e imaginando una especie de nube de puntos de ecolocalización de nuestro entorno), pero eso no es lo que debe de ser para un murciélago, con su mente de murciélago.

Otra forma de abordar esta cuestión es con los cefalópodos, especialmente los pulpos. Se sabe que estos animales son inteligentes y curiosos; no es una coincidencia que Bender los haya usado para su teoría. Pero tienen un tipo de inteligencia muy diferente que evolucionó completamente por separado de la de todas las demás especies inteligentes. El último ancestro común que compartimos con un pulpo fue probablemente una diminuta criatura parecida a un gusano que vivió hace 600 millones de años. Desde entonces, las innumerables formas de vida de los vertebrados —peces, reptiles, aves y mamíferos, entre ellos— han desarrollado sus propios tipos de mente por un lado, mientras que los cefalópodos desarrollaron otra.

No es de extrañar, entonces, que el cerebro del pulpo sea bastante diferente al nuestro. En vez de un solo grupo de neuronas que gobiernan al animal como una unidad de control central, el pulpo tiene varios órganos similares al cerebro que parecen controlar cada tentáculo por separado. Para todos los propósitos prácticos, estas criaturas están tan cerca de una inteligencia alienígena como cualquier otra cosa con la que podamos encontrarnos. Además, el filósofo que estudia la evolución de las mentes Peter Godfrey-Smith asegura que, cuando nos encontramos cara a cara con un cefalópodo curioso, no hay duda de que es un ser consciente mirando hacia nosotros.

Hace unos cientos de años, la opinión aceptada era que solo los humanos eran conscientes. Los animales, que carecían de alma, eran vistos como robots irracionales. Pocos piensan así hoy en día.
n

En los seres humanos, el sentido del yo que persiste a lo largo del tiempo forma la base de nuestra experiencia subjetiva. Somos la misma persona que éramos esta mañana y la semana pasada y hace dos años, hasta donde podemos recordar. Nos acordamos de los lugares que visitamos, de las cosas que hicimos. Este tipo de perspectiva en primera persona nos permite vernos a nosotros mismos como agentes que interactúan con el mundo externo que tiene otros agentes en él; entendemos que somos algo que hace cosas y a lo que se le hacen cosas. No se sabe si los pulpos, y mucho menos otros animales, piensan de esa manera.

De manera similar, no podemos estar seguros de si tener un sentido del yo en relación con el mundo es un requisito previo para ser una máquina consciente. Las máquinas que cooperan como un enjambre pueden funcionar mejor si se experimentan a sí mismas como partes de un grupo que como individuos, por ejemplo. En cualquier caso, si alguna vez existiera una máquina potencialmente consciente como Robert, nos encontraríamos con el mismo problema al evaluar si en realidad se trata de conciencia como la nuestra cuando intentamos determinar la inteligencia: como sugirió Turing, definir la inteligencia requiere a un observador inteligente. En otras palabras, la inteligencia que vemos en las máquinas actuales la proyectamos nosotros, de una manera muy parecida a la que proyectamos algún significado en los mensajes escritos por el pulpo de Bender o GPT-3. Lo mismo pasa con la conciencia: podemos afirmar que la notamos, pero solo las máquinas lo sabrán con seguridad.

Si alguna vez las IA adquieren conciencia (y confiamos en su palabra), tendremos que tomar decisiones importantes. Deberíamos evaluar si su experiencia subjetiva incluye la capacidad de sufrir dolor, aburrimiento, depresión, soledad o cualquier otra sensación o emoción desagradable. Podríamos decidir que cierto grado de sufrimiento es aceptable, dependiendo de si vemos estas IA más como ganado o como humanos.

Algunos investigadores preocupados por los peligros de las máquinas superinteligentes han sugerido que deberíamos confinar estas IA a un mundo virtual, para evitar que manipulen el mundo real directamente. Si creyéramos que tienen una conciencia similar a la humana, ¿tendrían derecho a saber que las hemos acordonado en una simulación?

Otros han argumentado que sería inmoral apagar o eliminar una máquina consciente: como temía nuestro robot Robert, esto sería parecido a acabar con una vida. También hay otros escenarios relacionados. ¿Sería ético volver a entrenar una máquina consciente si eso supone borrar sus recuerdos? ¿Podríamos copiar esa IA sin dañar su sentido de sí misma? ¿Qué pasaría si la conciencia resultara útil durante el entrenamiento, si la experiencia subjetiva ayudara a la IA a aprender, pero se convirtiera en un obstáculo al ejecutar el modelo entrenado? ¿Estaría bien encender y apagar la conciencia?

Esto solo sería la superficie de los problemas éticos. Muchos investigadores, junto con Dennett, piensan que no deberíamos intentar hacer máquinas conscientes aunque pudiéramos. El filósofo Thomas Metzinger ha llegado a pedir una moratoria sobre el trabajo que podría conducir a la conciencia, incluso si no es el objetivo previsto.

Si decidiéramos que las máquinas conscientes tienen derechos, ¿también tendrían responsabilidades? ¿Se podría esperar que una IA se comporte éticamente y la castigaríamos si no lo hiciera? Estas preguntas se adentran en un territorio aún más espinoso y plantean problemas sobre el libre albedrío y la naturaleza de la posibilidad de elección. Los animales tienen experiencias conscientes y les concedemos ciertos derechos, pero no tienen responsabilidades. Aun así, estos límites cambian con el tiempo. Con las máquinas conscientes, podríamos esperar que se tracen unos límites completamente nuevos.

Es posible que algún día haya tantas formas de conciencia como tipos de IA. Pero nunca sabremos lo que es ser estas máquinas, como tampoco sabemos lo que es ser un pulpo o un murciélago o incluso otra persona. Puede haber formas de conciencia que no reconocemos porque resultan tan radicalmente diferentes de lo que estamos acostumbrados.

Ante tales posibilidades, tendremos que optar por vivir con incertidumbres.

Podríamos decidir que somos más felices con los zombis. Como ha argumentado Dennett, queremos que nuestras IA sean herramientas, no colegas. Concluye: "Podemos apagarlas, destrozarlas, de la misma manera que haríamos con un coche, y así es como deberíamos seguir".

Will Douglas Heaven es editor senior de IA en MIT Technology Review.