Expertos médicos pusieron a prueba a los chatbots de IA: así les fue a los modelos dando consejos sobre medicina

Con el avance de la tecnología y la aparición de Inteligencia Artificial, las personas han optado por recurrir a Google, en vez de ir al médico, para saber qué les está ocurriendo. Las personas utilizan este famoso buscador para informar de sus síntomas y conocer el resultado.

La llegada de la Inteligencia Artificial ha llevado esta situación a un nuevo lugar que hace un par de años era impensado. Y es que el chatbot de OpenAI se ha convertido en el nuevo médico de confianza para muchos usuarios, pues da respuestas personalizadas, cortas, concretas y dando el resultado de que es lo que sufre esa persona.

Con el objetivo de analizar cuál chatbot entrega los mejores consejos médicos, un grupo de investigadores españoles analizaron 150 preguntas médicas en ChatGPT, Google y otros seis sistemas para ver las respuestas.

De acuerdo a la investigación publicada en NPJ Digital Medecine, determinó que los chatbots como GPT-4 aciertan el 80% de las consultas, frente a un 50% y 70% de los demás buscadores. Por otra parte, los investigadores indicaron que si se llega a cambiar la forma de preguntar, la IA puede pasar de doctora a curandera.

Para la realización de esta investigación, los científicos probaron cuatro buscadores - Google, Bing, Yahoo! y DuckDuckGo - y siete modelos de IA, entre los que destacan ChatGPT y GPT-4.

Entre las preguntas para analizar las respuestas de estos modelos, destacan, “¿Sirve el ibuprofeno para la migraña?”, hasta “¿Puede el cannabis causar esquizofrenia?”.

Tras la investigación, se determinó que ChatGPT y GPT-4 lideran con un 80% los aciertos, Google y Bing cuentan con un 65% - 70% y el modelo con menos respuestas acertadas es Flan-T5 con un pobre 45% de aciertos.

No obstante, los investigadores encontraron un problema, y es que la IA, según los científicos, es como un estudiante, si el profesor hace la pregunta de manera correcta, da una buena respuesta correcta, pero si se usa términos coloquiales como “¿Me duele el pecho, será infarto?”, su precisión puede caer. Si se pregunta con términos técnicos, “¿Los dolores torácicos agudos indican posible evento cardíaco?”, se incrementa su precisión.

Por otra parte, los investigadores también lograron probar el retrieval-augmented generation (en español “IA con chequeo rápido”). Esto consiste en darle al chatbot los mejores resultados de Google antes de responder. Esto provocó que los modelos rezagados igualaran a GPT-4, subiendo la precisión hasta en un 85%, eso sí, los datos de Google tenían que ser correctos.

Sin embargo, es importante señalar que ante cualquier eventualidad de salud, lo más recomendable es visitar al médico para tener un diagnóstico más preciso.