El incierto camino hacia la medicina del futuro entre la eficiencia de los datos y la ética del error

¿Quién paga los errores del algoritmo? Como ocurre con todas las innovaciones de gran impacto, la inteligencia artificial, si no se gestiona correctamente, tiene un potencial de peligrosidad enorme.

El algoritmo ha tomado el relevo como nueva herramienta del sistema sanitario, aunque puede cometer errores. Pero su entrada en hospitales como La Fe o el Clínico de Valencia trae consigo un vacío legal que la tecnología es incapaz de llenar. Cuando el veredicto médico depende de un sistema de datos, el protocolo de responsabilidad se rompe. La pregunta ya no es clínica, sino legal: ¿a quién pedimos cuentas cuando la máquina se equivoca?

El laberinto legal: ¿quién es el responsable si el algoritmo falla?

El marco legal actual es una realidad que ya condiciona la gestión sanitaria local. En España, la creación de la AESIA (Agencia Española de Supervisión de la Inteligencia Artificial) ha convertido al país en pionero en la vigilancia de estos sistemas. La AESIA tiene potestad para sancionar y para exigir que cualquier IA médica sea explicable. O sea, que un humano pueda entender por qué la máquina tomó una decisión.

A nivel local, se ha desarrollado la Estrategia de Inteligencia Artificial de la Comunitat Valenciana y el reciente plan de Salud Digital (2024-2027). La Generalitat no solo busca eficiencia, sino implantar lo que llaman «humanismo tecnológico». En centros como La Fe o el Hospital Clínico Universitario, esto se traduce en proyectos como el «anillo radiológico». Este permitirá que una IA ayude a detectar patologías en tiempo real, pero siempre bajo la supervisión de un clínico. La estrategia valenciana es clara: la IA es una herramienta de apoyo, no un sustituto de la firma del médico.

Sin embargo, la práctica plantea dilemas: ¿qué sucede cuando un paciente sufre daños graves tras seguir un tratamiento sugerido por una IA de diagnóstico? La respuesta hoy nos sitúa en una zona gris. Aunque la AESIA vigile el software, si el médico sigue una recomendación errónea de la máquina por exceso de confianza (el llamado «sesgo de automatización«), la justicia aún no tiene claro si la culpa es del programador que diseñó el código, del hospital que lo compró o del médico que no lo cuestionó.

El vacío de la «caja negra»

Uno de los mayores obstáculos para la justicia no es la ausencia de leyes, sino la opacidad técnica que define a la tecnología de vanguardia. La mayoría de los sistemas de deep learning que se introducen en la sanidad funcionan como cajas negras. Se trata de estructuras lógicas muy profundas y ramificadas. Por eso, incluso sus propios desarrolladores encuentran difícil explicar paso a paso por qué el algoritmo seleccionó un diagnóstico específico en lugar de otro. Esta carencia de explicabilidad rompe de raíz la cadena de causalidad necesaria en cualquier proceso judicial.

La opacidad genera un escenario donde las responsabilidades tienden a diluirse entre los diferentes actores del sistema. Por un lado, la empresa desarrolladora suele blindar su producto bajo la categoría jurídica de simple herramienta de apoyo. Así pueden desplazar la carga de la decisión final al facultativo. Por otro lado, el médico se enfrenta al fenómeno psicológico del sesgo de automatización. El sesgo subraya la tendencia humana a no cuestionar la aparente infalibilidad de una pantalla. El hospital también asume un papel crítico, ya que su responsabilidad es garantizar una implementación que no excluya la vigilancia humana constante.

La respuesta europea: el AI Act

La Unión Europea ha ratificado el reglamento de inteligencia artificial (AI Act), una ley que regula esta tecnología. Su enfoque no es técnico, sino de seguridad: clasifica a la IA aplicada a la medicina como de «alto riesgo». Para que un sistema sanitario de IA sea legal en la Unión, debe cumplir con tres pilares: transparencia, supervisión humana y robustez técnica.

El fabricante de la inteligencia artificial está obligado por ley a diseñar el software de manera que un médico pueda entender cómo ha llegado a esa conclusión y pueda anular o corregir la decisión de la máquina en cualquier momento. La ley europea elige el camino de la protección del ciudadano.

El AI Act exige que los datos utilizados para entrenar a estas inteligencias artificiales sean de alta calidad y libres de sesgos. De hecho, quieren evitar que el algoritmo discrimine por cuestiones de etnia o género.

Imagen de: https://artificialintelligenceact.eu/es/ai-act-explorer/

Perspectiva 2035: ¿qué pasará en diez años?

Hacia el año 2035, la inteligencia artificial se habrá consolidado como el tejido conectivo de una Medicina 5P: poblacional, preventiva, predictiva, personalizada y participativa. En este horizonte, el hospital dejará de ser un lugar reactivo para convertirse en un centro de gestión de datos en tiempo real, capaz de detectar anomalías bioquímicas meses antes de que aparezcan los síntomas. El objetivo futuro es construir una «seguridad social del dato» que garantice que el historial clínico de un paciente sea un bien público protegido, asegurando que los algoritmos operen bajo estándares éticos estrictos. Sin embargo, el mayor reto en este camino será la preservación del humanismo clínico. El riesgo real de la digitalización es la paulatina deshumanización del acto médico. La ética futura debe garantizar que la IA funcione como un aliado que libere al sanitario de las tareas administrativas y mecánicas.

Una reflexión abierta

La integración de la inteligencia artificial en la medicina no es una opción, es un proceso irreversible. Sin embargo, el éxito de esta convivencia no se medirá por la potencia de los procesadores, sino por la solidez de las leyes y la integridad de la ética. La inteligencia artificial es una herramienta con la capacidad de erradicar errores diagnósticos, pero también con el potencial de diluir la responsabilidad humana en un mar de códigos. La pregunta final no es si la IA es capaz de curar, sino si la sociedad está dispuesta a aceptar que una máquina tome decisiones sobre su vida.