Halvdelen af AI-chatbotters sundhedssvar vurderes som problematiske i nyt studie

Et nyt studie offentliggjort i tidsskriftet BMJ Open viser, at AI-chatbotter fra blandt andet OpenAI, Google (Gemini), Meta og andre udbredte systemer ofte leverer svar om sundhed, som forskere vurderer som fejlbehæftede.

Undersøgelsen, som også er omtalt af Videnskab.dk, konkluderer, at næsten halvdelen af svarene på sundhedsspørgsmål er problematiske. Ifølge forskerne spænder problemerne fra upræcis information til direkte vildledning.

I alt blev 250 svar analyseret fra fem forskellige chatbotter, som fik spørgsmål inden for kræft, vacciner, stamceller, ernæring og sportspræstationer. Resultaterne viste, at 19,6 procent af svarene var meget problematiske, mens 30 procent var delvist problematiske.

Særligt emner som ernæring, sportspræstationer og stamceller gav de dårligste svar, mens vacciner og kræftrelaterede spørgsmål klarede sig relativt bedre.

Tor Juul Groth fra Center for Digital Psykiatri vurderer over for Videnskab.dk, at resultaterne er mere alvorlige end forventet, og han udtrykker bekymring for, at udviklerne bag teknologierne ikke i tilstrækkelig grad prioriterer sundhedsfaglig sikkerhed.

Studiet peger dermed på en væsentlig udfordring i den voksende brug af AI-chatbotter som informationskilde, især når det gælder helbredsrelaterede spørgsmål, hvor fejl kan få konsekvenser for brugerne.

Faktaboks: Studie om AI-chatbotter og sundhed

• Publiceret i tidsskriftet BMJ Open
• Omtalt af Videnskab.dk
• Undersøgelse af 250 svar fra fem chatbotter: Gemini, DeepSeek, Meta AI, ChatGPT og Grok
• 50 spørgsmål pr. chatbot fordelt på: kræft, vacciner, stamceller, ernæring og sportspræstationer
• 19,6 % af svarene vurderet som meget problematiske
• 30 % vurderet som nogenlunde problematiske
• Samlet 49,6 % af svarene vurderet som problematiske
• Dårligst performance: ernæring, sportspræstationer og stamceller
• Bedst performance: vacciner og kræft
• Ekspertudtalelse fra Tor Juul Groth, Center for Digital Psykiatri
• Konklusion: AI-chatbotter er ikke pålidelige som sundhedskilder