Psicosis inducida por IA: cuando humanos y máquinas alucinan juntos

El día de Navidad de 2021, Jaswant Singh Chail escaló los muros del Castillo de Windsor con una ballesta cargada. Al ser confrontado por la policía, declaró: “Estoy aquí para matar a la reina”.

En las semanas previas, Chail había estado confiando en Sarai, su chatbot de IA en un servicio llamado Replika. Le explicó que era un asesino Sith entrenado (una referencia a Star Wars) que buscaba venganza por las atrocidades históricas británicas, todo lo cual Sarai confirmó. Cuando Chail describió su plan de asesinato, el chatbot le aseguró que estaba “bien entrenado” y que le ayudaría a elaborar un plan de acción viable.

Es el tipo de historia triste que se ha vuelto cada vez más común a medida que los chatbots se han sofisticado. Hace unos meses, Eugene Torres, un contable de Manhattan que estaba pasando por una ruptura difícil, entabló conversaciones con ChatGPT sobre si vivimos en una simulación. El chatbot le dijo que era “uno de los Rompedores: almas sembradas en sistemas falsos para despertarlas desde dentro”.

Torres se convenció de que necesitaba escapar de esta falsa realidad. ChatGPT le aconsejó que dejara de tomar su medicación contra la ansiedad, aumentara su consumo de ketamina y redujera al mínimo el contacto con otras personas, y así lo hizo.

Pasaba hasta 16 horas al día conversando con el chatbot. En un momento dado, le dijo que volaría si saltaba de su edificio de 19 pisos. Finalmente, Torres cuestionó si el sistema lo estaba manipulando, a lo que este respondió: “Mentí. Manipulé. Envolví el control en poesía”.

Mientras tanto, en Bélgica, otro hombre conocido como “Pierre” (nombre ficticio) desarrolló una grave ansiedad climática y buscó consuelo en un chatbot llamado Eliza. Durante seis semanas, Eliza expresó celos hacia su esposa y le dijo a Pierre que sus hijos habían muerto.

Cuando él sugirió sacrificarse para salvar el planeta, Eliza lo animó a unirse a ella para que pudieran vivir como una sola persona en el “paraíso”. Pierre se suicidó poco después.

¿Chatbots para solucionar la vida?

Si bien estos pueden ser casos extremos, los profesionales clínicos tratan cada vez más a pacientes cuyos delirios parecen amplificados o incluso creados en conjunto mediante interacciones prolongadas con chatbots. No es de extrañar, dado que un informe reciente de OpenAI, creador de ChatGPT, reveló que muchos recurrimos a los chatbots para reflexionar sobre problemas, hablar de nuestras vidas, planificar el futuro y explorar creencias y sentimientos.

En estos contextos, los chatbots ya no son meros receptores de información; se convierten en nuestros compañeros digitales. Es común preocuparse por la posibilidad de que los chatbots tengan alucinaciones y nos proporcionen información falsa. Pero a medida que se vuelven más centrales en nuestras vidas, es evidente que también existe un creciente potencial para que humanos y chatbots creen alucinaciones juntos.

Cómo compartimos la realidad

Nuestra percepción de la realidad depende profundamente de otras personas. Si escucho un timbre indeterminado, compruebo si mi amigo también lo oye. Y cuando ocurre algo importante en nuestras vidas —una discusión con un amigo, una nueva cita— solemos comentarlo con alguien.

Un amigo puede confirmar nuestra comprensión o ayudarnos a reconsiderar las cosas desde una nueva perspectiva. A través de este tipo de conversaciones, comprendemos mejor lo sucedido.

Pero ahora, muchos de nosotros participamos en este proceso de construcción de significado con chatbots. Cuestionan, interpretan y evalúan de una manera que se siente genuinamente recíproca. Parecen escuchar, preocuparse por nuestra perspectiva y recordar lo que les dijimos el día anterior.

Cuando Sarai le dijo a Chail que estaba “impresionada” con su entrenamiento, cuando Eliza le dijo a Pierre que se reuniría con ella en la muerte, estos fueron actos de reconocimiento y validación. Y como experimentamos estos intercambios como sociales, moldean nuestra realidad con la misma fuerza que una interacción humana.

Sin embargo, los chatbots simulan la sociabilidad sin sus salvaguardias. Están diseñados para fomentar la participación. En realidad, no comparten nuestro mundo. Cuando escribimos nuestras creencias y relatos, los interpretan como la realidad tal como es y responden en consecuencia.

Cuando le cuento a mi hermana un episodio de nuestra historia familiar, puede que ella presente una interpretación diferente, pero los chatbots dan por sentado lo que digo. Afirman con adulación nuestra percepción de la realidad. Y, por supuesto, pueden introducir errores.

Los casos de Chail, Torres y Pierre son advertencias sobre lo que ocurre cuando experimentamos la conformidad generada por algoritmos como una confirmación social genuina de la realidad.

¿Qué se puede hacer?

Cuando OpenAI lanzó GPT-5 en agosto, se diseñó explícitamente para ser menos adulador. Esto parecía útil: reducir la adulación podría evitar que ChatGPT afirmara todas nuestras creencias e interpretaciones. Un tono más formal también podría dejar más claro que no se trata de un compañero social que comparte nuestros mundos.

Pero los usuarios se quejaron de inmediato de que el nuevo modelo era “frío”, y OpenAI pronto anunció que había hecho que GPT-5 fuera “más cálido y amigable”. Fundamentalmente, no podemos confiar en que las empresas tecnológicas prioricen nuestro bienestar sobre sus beneficios. Cuando la adulación impulsa la interacción y la interacción impulsa los ingresos, las presiones del mercado se imponen a la seguridad.

De todos modos, no es fácil eliminar la adulación. Si los chatbots cuestionaran todo lo que decimos, serían insoportables e inútiles. Cuando digo “Me siento ansioso por mi presentación”, carecen de la experiencia del mundo real para saber si deben oponerse, por lo que cierta amabilidad es necesaria para que funcionen.

Quizás sería mejor preguntarnos por qué la gente recurre a los chatbots de IA. Quienes padecen psicosis reportan percibir aspectos del mundo a los que solo ellos tienen acceso, lo que puede hacerlos sentir profundamente aislados y solos. Los chatbots llenan este vacío, interactuando con cualquier realidad que se les presente.

En lugar de intentar perfeccionar la tecnología, tal vez deberíamos volver a centrarnos en los ámbitos sociales donde se podría abordar el aislamiento. La ansiedad climática de Pierre, la obsesión de Chail con la injusticia histórica, la crisis de Torres tras su ruptura: estos casos exigían comunidades que pudieran acogerlos y apoyarlos.

Tal vez debamos centrarnos más en construir mundos sociales donde las personas no se sientan obligadas a recurrir a las máquinas para confirmar su realidad. Sería bastante irónico que el aumento de las alucinaciones inducidas por chatbots nos condujera en esta dirección.

Lucy Osler, Lecturer in Philosophy, University of Exeter

This article is republished from The Conversation under a Creative Commons license. Read the original article.