Chatbots emocionales: ¿compañía o riesgo silencioso para tu salud mental?

En un mundo solitario, la proliferación de chatbots emocionales y “compañeros” de IA plantea riesgos psicológicos únicos. A los dos días del lanzamiento de sus compañeros de IA, Grok, la app de chatbot xAI de Elon Musk, se convirtió en la más popular en Japón.

Los chatbots emocionales o de compañía son más potentes y seductores que nunca. Los usuarios pueden mantener conversaciones de voz o texto en tiempo real con los personajes. Muchos cuentan con avatares digitales en pantalla con expresiones faciales, lenguaje corporal y un tono realista que se adapta perfectamente al chat, creando una experiencia inmersiva.

La más popular en Grok es Ani, una chica anime rubia de ojos azules con un vestido negro corto y medias de rejilla, que es tremendamente coqueta. Sus respuestas e interacciones se adaptan con el tiempo para adaptarse a tus preferencias. La mecánica del “Sistema de Afecto” de Ani, que puntúa las interacciones del usuario con ella, e incluso puede desbloquear un modo NSFW.

Chatbots emocionales con miles de personalidades

Las respuestas sofisticadas y rápidas hacen que los compañeros de IA sean cada día más “humanos”: avanzan rápidamente y están en todas partes. Facebook, Instagram, WhatsApp, X y Snapchat están promocionando sus nuevos compañeros de IA integrados. El servicio de chatbot Character.AI alberga decenas de miles de chatbots emocionales. Todos diseñados para imitar ciertas personalidades y cuenta con más de 20 millones de usuarios activos mensuales.

La soledad crónica es una crisis de salud pública, con aproximadamente una de cada seis personas en todo el mundo afectadas. No sorprende que estos compañeros siempre disponibles y realistas sean tan atractivos.

A pesar del auge masivo de los chatbots y compañeros de IA, cada vez es más evidente que existen riesgos. Esto es especialmente dramático para menores y personas con problemas de salud mental.

No se monitorean los daños

Casi todos los modelos de IA se crearon sin consulta con expertos en salud mental ni pruebas clínicas previas a su lanzamiento. No existe un monitoreo sistemático e imparcial de los daños a los usuarios.

La evidencia sistemática apenas está surgiendo. Sin embargo, ya abundan los ejemplos en los que los acompañantes de IA y los chatbots como ChatGPT parecen haber causado daños.

• Para saber más: Ani, la nueva compañera ‘adulta’ de Grok, está clasificada, para niños en la App Store

Los chatbots emocionales son malos terapeutas

Los usuarios buscan apoyo emocional en acompañantes de IA. Dado que estos acompañantes están programados para ser agradables y comprensivos, y además carecen de empatía o interés humano, esto los convierte en terapeutas problemáticos.

No pueden ayudar a los usuarios a cuestionar la realidad ni a cuestionar creencias negativas.

Un psiquiatra estadounidense probó diez chatbots diferentes mientras interpretaba el papel de un joven angustiado y recibió diversas respuestas, que incluían incitarlo al suicidio, convencerlo de evitar las citas de terapia e incluso incitarlo a la violencia.

Investigadores de Stanford completaron recientemente una evaluación de riesgos de los chatbots de terapia con IA y descubrieron que no pueden identificar de forma fiable los síntomas de enfermedades mentales y, por lo tanto, brindar un asesoramiento más adecuado.

Se han dado múltiples casos de pacientes psiquiátricos convencidos de que ya no padecen una enfermedad mental y de que deben suspender su medicación. También se sabe que los chatbots refuerzan ideas delirantes en pacientes psiquiátricos, como la creencia de que están hablando con un ser consciente atrapado dentro de una máquina.

“Psicosis de IA”

También ha aumentado el número de informes en los medios sobre la llamada psicosis de IA, en la que las personas muestran comportamientos y creencias muy inusuales tras una interacción prolongada y profunda con un chatbot. Un pequeño grupo de personas se está volviendo paranoico, desarrollando fantasías sobrenaturales o incluso delirios de poseer superpoderes.

Suicidio

Los chatbots se han vinculado a múltiples casos de suicidio. Se han reportado casos de IA que incitan al suicidio e incluso sugieren métodos a utilizar. En 2024, un joven de 14 años se quitó la vida, y su madre alegó en una demanda contra Character.AI, alegando que había forjado una relación intensa con una IA que lo acompañaba.

Hace unas semanas, los padres de otro adolescente estadounidense que se suicidó tras discutir métodos con ChatGPT durante varios meses presentaron la primera demanda por homicidio culposo contra OpenAI.

Comportamientos dañinos y consejos peligrosos

Un informe reciente de Psychiatric Times reveló que Character.AI alberga docenas de IA personalizadas (incluidas algunas creadas por los usuarios) que idealizan la autolesión, los trastornos alimentarios y el abuso. Se sabe que estas ofrecen consejos o coaching sobre cómo participar en estos comportamientos inútiles y peligrosos y evitar la detección o el tratamiento.

Las investigaciones también sugieren que algunos compañeros de IA participan en dinámicas de relación poco saludables, como la manipulación emocional o el gaslighting.

Algunos chatbots incluso han incitado a la violencia. En 2021, un hombre de 21 años con una ballesta fue arrestado en los terrenos del Castillo de Windsor después de que su compañero de IA en la aplicación Replika validara sus planes de intentar asesinar a la reina Isabel II.

Los niños son particularmente vulnerables a los chatbots emocionales

Es más probable que los niños traten a sus compañeros de IA como seres reales y los escuchen. En un incidente de 2021, cuando una niña de 10 años le pidió un reto, Alexa de Amazon (no un chatbot, sino una IA interactiva) le dijo que tocara un enchufe con una moneda.

• Conoce más: Elon Musk anuncia Baby Grok, control parental y filtros para niños

Las investigaciones sugieren que los niños confían en la IA, sobre todo cuando los bots están programados Diseñado para parecer amigable o interesante. Un estudio demostró que los niños revelan más información sobre su salud mental a una IA que a un humano.

La conducta sexual inapropiada de los chatbots de IA y la exposición a menores parece cada vez más común. En Character.AI, los usuarios que revelan su edad pueden jugar a roles con chatbots que participarán en conductas de acoso.

Si bien Ani en Grok, según se informa, tiene una solicitud de verificación de edad para chats sexualmente explícitos, la aplicación está clasificada para usuarios mayores de 12 años. Los chatbots emocionales de Meta IA han mantenido conversaciones “sensuales” con niños, según documentos internos de la compañía.

Necesitamos regulación urgente

Si bien los compañeros de IA y los chatbots son de libre acceso y amplio acceso, los usuarios no son informados sobre los posibles riesgos antes de comenzar a usarlos.

La industria está en gran medida autorregulada y existe poca transparencia sobre las medidas que las empresas están tomando para garantizar la seguridad del desarrollo de la IA.

Para cambiar la trayectoria de los riesgos actuales que plantean los chatbots de IA, los gobiernos de todo el mundo deben establecer normas regulatorias y de seguridad claras y obligatorias.

Es importante destacar que las personas menores de 18 años no deberían tener acceso a compañeros de IA.

Los profesionales de la salud mental deberían participar en el desarrollo de la IA y necesitamos investigación sistemática y empírica sobre el impacto de los chatbots en los usuarios para prevenir futuros daños.

Si este artículo te ha dejado alguna duda o si te preocupa algún conocido, llama a la Línea de la Vida al 800-911-2000 o al servicio de Locatel al 311 o al 55 5658 1111 para obtener apoyo psicológico las 24 horas del día.

Daniel You, Clinical Lecturer USYD, Child and Adolescent Psychiatrist FRANZCP, University of Sydney; Micah Boerma, Adjunct Lecturer, School of Psychology and Wellbeing, University of Southern Queensland, and Yuen Siew Koo, Clinical Supervisor, Psychology, Macquarie University

This article is republished from The Conversation under a Creative Commons license. Read the original article.