Bu çalışmada ChatGPT’nin bakteriyel infeksiyonlarla ilgili soruları ve antibiyograma dayalı klinik vakaları ele almadaki faydası değerlendirilmiş.
Bir grup uzman, toplam 96 soru için altı doğru/yanlış, altı açık uçlu soru ve dört infeksiyon türü (endokardit, pnömoni, karın içi infeksiyon ve kan dolaşımı infeksiyonu) için antibiyogramlı altı klinik vaka üretmiş. Sorular dört kıdemli asistana, dört uzmana yöneltilmiş ve ChatGPT-4 ile ChatGPT-4’ün eğitimli bir sürümüne girilmiş. Toplam 720 yanıt elde edilmiş ve antibiyotik tedavilerinde uzmanlardan oluşan kör bir panel tarafından incelenmiş. Yanıtlar doğruluk ve tamlık, antibiyogramlardan doğru direnç mekanizmalarını belirleme yeteneği ve antibiyotik reçetelerinin uygunluğu açısından değerlendirilmiş.
Dört grup arasında doğru/yanlış sorular açısından anlamlı bir fark görülmemiş ve yaklaşık %70 doğru cevap verilmiş. Eğitimli ChatGPT-4 ve ChatGPT-4, açık uçlu sorulara hem asistanlardan hem de uzmanlardan daha doğru ve eksiksiz cevaplar vermiş. Klinik vakayla ilgili olarak, ChatGPT-4’ün doğru direnç mekanizmasını tanıma konusunda daha düşük bir doğruluk elde ettiği gözlemlenmiş. ChatGPT-4’ün sefiderokol veya imipenem/silastatin/relebaktam gibi daha yeni antibiyotikleri reçete etmeme eğiliminde olduğu ve kolistin gibi daha az önerilen seçenekleri tercih ettiği görülmüş. Hem eğitimli ChatGPT-4 hem de ChatGPT-4 gerekli tedavi sürelerinden daha uzun süre tedavi önermiş (p=0.022).
Bu çalışma, özellikle bakteriyel infeksiyonlar ve antibiyogram analiziyle ilgili olarak ChatGPT’nin tıbbi karar vermedeki yeteneklerini ve sınırlamalarını vurgulamış. ChatGPT teorik soruları yanıtlamada yeterlilik sergilese de klinik vaka yönetiminde uzman kararlarıyla tutarlı bir şekilde uyumlu değilmiş. Bu sınırlamalara rağmen ChatGPT’nin klinik eğitimi ve ön analizde destekleyici bir araç olma potansiyelinin olduğu belirtilmiş. Ancak özellikle karmaşık klinik karar verme süreçlerinde uzman konsültasyonunun yerini almaması gerektiği belirtilmiş.
De Vito A, Geremia N, Marino A, et al. Assessing ChatGPT’s theoretical knowledge and prescriptive accuracy in bacterial infections: a comparative study with infectious diseases residents and specialists. Infection. 12 Temmuz 2024.
