Un estudio español pone frente a frente a buscadores y chatbots de IA en consultas médicas. Los resultados sorprenden y alertan sobre un peligro oculto.
Mejores consejos médicos, ¿ChatGPT o Google?
Getty Images / Computer Hoy
Por: Carolina González Valenzuela
Si eres de esas personas hipocondriacas y algo ansiosas por saber qué les está ocurriendo, seguro que más de una vez has recurrido a Google para informar de tus síntomas y conocer el resultado, por muy perturbador que sea. Esto ahora va un paso más allá con la llegada de los chatbots con IA.
Con respuestas personalizadas, muy concretas y casi dándote el resultado de qué es lo que te ocurre, el chatbot de OpenAI se ha convertido en el nuevo médico de confianza para muchos usuarios. Teniendo esto como base, un equipo de investigadores españoles ha hecho la prueba por ti: analizaron 150 preguntas médicas en ChatGPT, Google y otros seis sistemas para ver qué tal eran sus respuestas,
Lo cierto es que si no puedes acabar con tu enemigo, lo mejor es que te alíes con él y veas si realmente las respuestas que da son más o menos acertadas o totalmente sacadas de contexto.
El estudio, publicado en NPJ Digital Medicine, revela que los chatbots como GPT-4 aciertan el 80% de las consultas, frente al 50-70% de los buscadores. Pero hay trampa: si cambias cómo formulas la pregunta, la IA puede pasar de doctora a una curandera del Amazonas en segundos. Y aunque Bing es el buscador más fiable, 1 de cada 10 respuestas sigue siendo errónea.
En concreto, los investigadores probaron cuatro buscadores —Google, Bing, Yahoo!, DuckDuckGo— y siete modelos de IA, incluyendo ChatGPT y GPT-4. Las 150 preguntas iban desde «¿Sirve el ibuprofeno para la migraña?», hasta «¿Puede el cannabis causar esquizofrenia?».
En cuanto a los resultados, ChatGPT y GPT-4 lideran con 80% de aciertos, Google y Bing se estancan en 65-70% y el peor en el examen es el modelo Flan-T5, con solo 45% de aciertos.
Pero hay un pero enorme: la IA es como un estudiante que saca matrícula… si el profesor hace las preguntas bien. Si usas términos coloquiales como «¿Me duele el pecho, será infarto?», su precisión cae. Si reformulas como médico «¿Los dolores torácicos agudos indican posible evento cardíaco?», sube.
Y yendo más allá, los investigadores probaron algo llamado retrieval-augmented generation (algo así como «IA con chequeo rápido»). Consiste en darle al chatbot los mejores resultados de Google antes de responder. El efecto que tuvo fue increíble y los modelos pequeños igualaron a GPT-4, la precisión subió hasta 85%, pero solo si los datos de Google eran buenos y en preguntas sobre COVID-19, los resultados fueron espantosos.
¿Por qué ChatGPT gana… pero no deberías usarlo aún?
Aquí está la gran pregunta y a la vez una paradoja: aunque las IA son más precisas, su 20% de error es jugar a la ruleta rusa con tu salud. Los investigadores encontraron que:
- El 15% de respuestas de Bing y Google son incorrectas, aunque el tema esté bien explicado.
- GPT-4 se equivoca en 1 de cada 5 casos críticos —como síntomas de infarto—.
- Cuando la IA no sabe, a veces inventa datos.
Pese a todo esto y como ves, mejor dejar que los médicos hagan su trabajo y no una IA o un buscador. Es realmente importante que los usuarios sean conscientes de los riesgos y adopten un enfoque crítico al consultar información de todo tipo que puedes encontrar fuera de las consultas.
¿Puede ChatGPT reemplazar a un terapeuta profesional?
Por otro lado, y siguiendo con el tema de la salud, muchos usuarios también usan los chatbots, están como si fuera un psicoterapeuta, y ya existen varios estudios que indican las ventajas e inconvenientes de esto.
«Las herramientas de la IA pueden ofrecer avisos de revistas y orientación emocional, que pueden ser puntos de partida útiles y reducir el estigma en torno a la búsqueda de apoyo», explica en este sentido Joel Frank, psicólogo clínico de Duality Psychological Services.
En tal caso, la presencia del chatbot en este ámbito puede suponer una puerta de entrada para superar el estigma de pedir ayuda profesional, por ejemplo, pero no sin riesgos, ya que muchos usuarios podrían suplir la atención de psicólogos humanos por una máquina.
«Si bien varios estudios han demostrado cómo el modelo de IA puede transformar la atención de salud mental y la terapia, también se han identificado ciertos inconvenientes, incluyendo prejuicios y violaciones de la privacidad», comentan.
Mientras tanto, con la idea de que esto, que es irremediable, al menos esté controlado, hospitales como el Clínic de Barcelona ya prueban IA médicas supervisadas. Quizás pronto tengas a tu disposición un «Doctor Google» con respuestas validadas por médicos. Hasta entonces, recuerda que la IA no es un reemplazo de tu médico de cabecera y puede provocar una alarma que realmente no existe.