Todas las cuestiones éticas y legales sobre el uso de los chatbots como psicólogos
El uso de la inteligencia artificial en el ámbito de la salud mental ha dado lugar a una creciente línea de investigación sobre sus implicaciones éticas y legales. Algunas de estas cuestiones están vinculadas al propio funcionamiento de la IA, como la discriminación y la no maleficencia. La discriminación se deriva del hecho de que los prejuicios humanos preexistentes pueden incorporarse a los algoritmos, reforzando así formas ya existentes de desigualdad social. Por no maleficencia se entiende el riesgo de que, debido a un mal funcionamiento, el dispositivo deje de operar correctamente o cause daño a un ser humano. Resulta por lo tanto necesario debatir si los dispositivos de IA incorporada deberían someterse a los mismos procesos de evaluación que los dispositivos médicos antes de su uso clínico. Sin embargo, una excesiva estandarización de la asistencia podría conllevar consecuencias negativas ya que no tendría en cuenta la complejidad de las necesidades individuales.
Complicaciones humanas
No obstante, también existe un sesgo estructural en el comportamiento humano, ya que las personas tienden a confiar en la IA sin verificar la corrección de sus respuestas. Un estudio de 2020 demostró que los individuos son más propensos a obedecer cuando es un robot quien solicita una acción.
Este fenómeno puede generar resultados positivos en el apoyo a personas con trastornos del espectro autista o en procesos de cambio conductual complejo. Sin embargo, también suscita preocupaciones relacionadas con la posible manipulación o coerción de los usuarios. Estas preocupaciones se ven reforzadas por la novedad del dispositivo y la ausencia de interlocutores con quienes contrastar alternativas.
Imagen generada por IA
Responsabilidad
Finalmente, el desarrollo de la IA en el ámbito de la atención a la salud mental debería incorporar un deber de cuidado y responsabilidad. Basándose en la ética del cuidado propuesta por Tronto, los desarrolladores deben, en primer lugar, reconocer las necesidades de los usuarios, que pueden ser diversas y cambiar a lo largo del tiempo. Asimismo, deben garantizar que la IA promueva el bienestar y minimice los riesgos, incorporando la participación de los usuarios y considerando las diferencias culturales. La competencia del cuidado exige una supervisión continua del sistema y la posibilidad de apoyo humano, mientras que la capacidad de respuesta implica atender al feedback de los usuarios para mejorar la asistencia. Por último, el principio de “cuidar con” promueve un desarrollo colaborativo, inclusivo y basado en la responsabilidad compartida.
Medidas legales
La privacidad constituye un elemento central en la relación paciente–profesional de la salud, y los proveedores deben informar de manera clara cómo se protegerá la confidencialidad de los datos. El uso de chatbots comerciales basados en modelos de lenguaje de gran escala (LLM), como ChatGPT, puede implicar riesgos significativos para la privacidad del paciente. Dichos riesgos varían según el sistema jurídico, debido a los distintos estándares aplicables al tratamiento de información sanitaria identificable y sensible obtenida a través de Internet. No obstante, las interfaces intuitivas, la naturaleza conversacional de estos sistemas y la tendencia de los usuarios a antropomorfizarlos pueden comprometer los procesos de consentimiento informado, incrementando la propensión a compartir información sensible. A ello se suma el riesgo potencial de ciberataques y vigilancia no autorizada.
Foto por Getty Images
Legislación y disposiciones en EESS
Desde el punto de vista de las medidas legales contra la IA, resulta especialmente interesante el caso de los Estados Unidos. Al otro lado del océano se está consolidando un auténtico movimiento regulador en relación con el uso de la inteligencia artificial en la salud mental. Se trata de un movimiento legislativo extraordinariamente rápido que, a través de normas específicas o posibles restricciones, revela una nueva conciencia. Lo que parecía una «conversación con un algoritmo» se está convirtiendo en un gesto terapéutico que afecta a la salud de las personas. La naturaleza federal del sistema permite a cada estado actuar de forma autónoma, ya que no existe una ley nacional sobre inteligencia artificial. Por lo tanto, según los analistas, existen tres enfoques: el de la prohibición, el regulatorio y el de las responsabilidades clínicas.
- Prohibición: hace algunos meses, en el estado de Illinois fue aprobado el Wellness and Oversight for Psychological Resources Act (WOPR Act). El Departamento de Regulación Financiera y Profesional del Estado declaró: «Ninguna tecnología puede proporcionar comunicación terapéutica sin la supervisión de un profesional autorizado». En el término comunicación terapéutica se incluyen una serie de elementos que van más allá de los diagnósticos o las prescripciones explícitas. Por ejemplo, el asesoramiento emocional, la orientación psicológica básica o el apoyo moral.
- Regulatorio: en algunos estados como New York, recientemente involucrado en la regularización de los AI Companions, la legislación avanza mediante sistemas de autorización. Tal como describe el National Law Review, se han introducido la obligación de informar claramente al usuario de que está interactuando con una máquina, protocolos específicos para la gestión de situaciones de riesgo y un sistema de responsabilidad diseñado para evitar que los chatbots intervengan en crisis psicológicas sin la competencia adecuada.
- Responsabilidades clínicas: en Nevada, Utah y California crece la idea de que el chatbot terapéutico deba ser considerado un dispositivo sanitario digital, sujeto a normas y controles equivalentes a los aplicables a los servicios psicológicos tradicionales. Algunos observadores consideran que este enfoque podría convertirse en el más influyente, especialmente debido a las implicaciones relacionadas con las responsabilidades profesionales.
Europa y el enfoque cauteloso
Europa, después de numerosas dudas y controversias, opta por una regulación unitaria basada en la gestión del riesgo, promulgando el Reglamento Europeo sobre Inteligencia Artificial. El documento establece que cualquier sistema de inteligencia artificial debe clasificarse en función de su impacto potencial en la seguridad, los derechos y el bienestar del usuario.
Por lo tanto, un chatbot emocional puede convertirse en «de alto riesgo» si realiza funciones que afectan a la salud psicológica o si interactúa con usuarios vulnerables. En 2024, el Consejo de Europa aprobó el primer tratado internacional sobre inteligencia artificial, sentando las bases para la regulación de la IA emocional. El tratado introduce algunos principios fundamentales, como la supervisión humana, la protección de las personas vulnerables y la transparencia de los algoritmos.
Sin embargo, Mental Health Europe sostiene que es necesaria una intervención más específica. El análisis del MIT SERC «AI Companions & EU Law» pone de relieve que los AI Companions corren el riesgo de crear un peligroso vacío legal. No son dispositivos médicos, no son productos recreativos y no son simples agentes conversacionales. Son algo intermedio y son capaces de desarrollar una relación emocional profunda con el usuario.
El CIGI (Centre for International Governance Innovation) ha publicado un análisis muy crítico que habla abiertamente de la «urgencia global«. Los chatbots terapéuticos se están adoptando en todo el mundo a un ritmo más rápido que la capacidad de los legisladores para seguir sus efectos.
Foto por Comisión Europea
Futuras decisiones
Ya no es posible considerar que un chatbot sea un simple producto tecnológico cuando es capaz de interactuar, aconsejar e incluso influir en una persona. Se trata, de hecho, de una combinación de psicología, tecnología y salud pública, y por ello es tan potente como riesgosa. La inteligencia artificial está ocupando el vacío dejado por un sistema que no logra intervenir adecuadamente. Mientras las instituciones no consigan colmar esta carencia mediante la provisión de servicios eficaces, las personas en situación de vulnerabilidad continuarán dialogando con la IA como si se tratara de un terapeuta.
Resulta, por tanto, necesario decidir si este fenómeno se desarrollará sin un marco normativo. Asimismo, debe determinarse si la salud mental constituye un ámbito en el que la libertad absoluta de la tecnología no puede considerarse ni aceptable ni segura. Resulta así imprescindible la introducción de regulaciones éticas y legislativas destinadas a la protección de las personas.