A medida que más y más personas recurren a los chatbots de inteligencia artificial para obtener asesoramiento médico rápido y disponible a cualquier hora del día en cualquier día del año, crece la preocupación acerca de hasta qué punto estos consejos son válidos y qué constancia queda de los casos en los que resultan ineficaces o incluso contraproducentes. En un nuevo estudio se ha investigado esta última cuestión.
El estudio lo ha realizado un equipo integrado, entre otros, por Kaicheng Yang, de la Universidad de Binghamton en Nueva York, y Matthew R. DeVerna, de la Universidad de Stanford en California, ambas instituciones en Estados Unidos.
Los autores del estudio han investigado qué sucede cuando un chatbot da malos consejos de salud a alguien. Una de las primeras cosas que se constatan es que el daño es difícil de detectar porque la conversación transcurre en las entrañas de la empresa de inteligencia artificial, sin opciones fáciles para que el usuario advierta del error a los responsables del chatbot ni para que los investigadores externos puedan rastrear sus causas.
“Recibimos muchos consejos médicos de estos chatbots, pero nadie —literalmente nadie— los revisa. Si hay un error u otro problema, simplemente no hay forma de que la gente lo sepa”, sentencia Yang.
Los investigadores dan el ejemplo de un hombre de 60 años que le preguntó a ChatGPT cómo reducir el cloruro en su dieta y sustituyó la sal de mesa por bromuro de sodio. El hombre terminó hospitalizado por intoxicación con bromuro tras experimentar alucinaciones y paranoia. El problema que destaca este estudio es que, debido a que el hombre recibió este consejo de un chatbot y no pudo recuperar la conversación, sus médicos no tenían forma de saber exactamente qué se le dijo, lo que hizo casi imposible reconstruir con precisión lo sucedido.
La ausencia de un sistema de transparencia para las empresas de inteligencia artificial (IA) en lo que respecta a la visibilidad externa de los consejos de salud que generan para los pacientes, impide activamente la supervisión de dicha información médica generada por inteligencia artificial. “Los daños no solo son posibles, sino que están estructuralmente ocultos para los médicos, investigadores y reguladores legales que, de otro modo, podrían detectarlos y corregirlos”, señalan los autores del estudio.
Yang, DeVerna y sus colegas también destacan una faceta clave de los chatbots que generan respuestas a preguntas de salud: pueden expresar con total seguridad cosas que solo son suposiciones, simplificar en exceso la información o basarse en información obsoleta o en afirmaciones que son falsas pero que circulan mucho por internet.
Con el fin de combatir todo esto, los autores del estudio proponen varios métodos para aumentar la transparencia y la responsabilidad de las empresas de IA. Señalan que las empresas de IA deberían dar a los usuarios acceso a sus propias conversaciones sobre salud para que puedan compartir esta información con los médicos y así investigar mejor el proceso que condujo a una situación perjudicial. También recomiendan que dichas empresas desarrollen un sistema de divulgación que permita identificar e investigar las recomendaciones sanitarias, así como validarlas o rechazarlas.
Los autores del estudio sugieren que deberían crearse leyes que extendieran la responsabilidad por negligencia médica a las empresas responsables de chatbots con inteligencia artificial que dan consejos médicos.
El estudio se titula “The Invisible Risks of AI-Generated Health Information”. Y se ha publicado en la revista académica Nature Health.
