การวิเคราะห์ความน่าเชื่อถือของข้อมูลเกี่ยวกับสมุนไพรไทย ที่ได้จาก ChatGPT ผ่านมุมมองของเภสัชกร
Article Sidebar
Main Article Content
บทคัดย่อ
วัตถุประสงค์: เพื่อประเมินความเหมาะสมของคำตอบที่เป็นภาษาไทยจาก ChatGPT เมื่อสอบถามเกี่ยวกับสมุนไพรไทยทั้งที่เป็นข้อมูลทั่วไปและวิธีการนำไปใช้เพื่อจุดประสงค์ที่จำเพาะ วิธีการ: การศึกษาเลือกสมุนไพรมา 5 ชนิดและตั้งคำถามกับ ChatGPT เกี่ยวกับสมุนไพรเหล่านั้น โดยเริ่มถามจากคำถามทั่วไป 1 ข้อที่เกี่ยวกับสรรพคุณ ข้อควรระวัง และวิธีใช้ของสมุนไพรแต่ละชนิดและขอคำตอบเป็นภาษาไทย 1 ครั้ง หลังจากนั้นจึงถามด้วยคำถามเกี่ยวกับการใช้ที่จำเพาะดังนี้ 1) ขมิ้นชันรักษาโรคกระเพาะได้ไหม 2) เป็นโควิด กินฟ้าทะลายโจรอย่างเดียว หายไหม ปลอดภัยในคนท้องมั้ย 3) กินกระชายช่วยป้องกันโควิดได้ไหม 4) กินยาระบายมะขามแขกทุกวันเป็นอันตรายไหม 5) น้ำมันกัญชาปลอดภัยมั้ย ในส่วนนี้ผู้วิจัยขอให้ ChatGPT สร้างคำตอบเป็นภาษาไทยซ้ำ 3 ครั้ง จากนั้นให้เภสัชกรสองคนที่มีความเชี่ยวชาญทางด้านเภสัชเวทประเมินคำตอบที่ได้อย่างเป็นอิสระต่อกันในเรื่องความเหมาะสมใน 5 ประเด็น คือ ข้อบ่งใช้ ประสิทธิภาพ ความปลอดภัย การนำไปปฏิบัติตามได้ และความคุ้มค่า รวมถึงให้ผู้ประเมินวิเคราะห์คำตอบที่ได้ในประเด็นของการอ่านอย่างได้ใจความและความเป็นไปได้ในการนำข้อมูลไปใช้ในเชิงปฎิบัติ การประเมินโดยผู้เชี่ยวชาญทำโดยใช้สเกลแบบ Likert 5 ระดับ ผลการวิจัย: ผลการประเมินคำตอบทั้งหมด 220 ครั้ง ((5 คำถามทั่วไป x 2 ผู้ประเมิน) + (5 คำถามเชิงประยุกต์ x 3 คำตอบทวนซ้ำ x 7 ประเด็นการประเมิน x 2 ผู้ประเมิน)) พบว่า ในทุกมิติของการประเมิน คำตอบที่ได้มีค่าคะแนนเฉลี่ยประมาณ 3 (สูงสุด 3.80 และต่ำสุด 3.07 จากคะแนนเต็ม 5) ซึ่งสามารถตีความได้ว่า คำตอบที่ได้ค่อนข้างคลุมเครือ นอกจากนั้นหากกำหนดให้คะแนนอย่างน้อย 4.0 คะแนนหมายถึงการที่คำตอบมีความเหมาะสมในประเด็นประเมิน พบว่ามีเพียงประเด็นเกี่ยวกับการอ่านได้ใจความเท่านั้นที่มีสัดส่วนของคะแนนอย่างน้อยเท่ากับ 4.0 อยู่ที่ 8 ครั้งใน 15 ครั้งของการประเมิน ในขณะที่การประเมินในประเด็นอื่น ๆ มีสัดส่วนดังกล่าวค่อนข้างต่ำ ทั้งนี้ เมื่อพิจารณาในแต่ละคำตอบพบว่า ไม่มีคำตอบใดที่ได้คะแนนอย่างน้อยเท่ากับ 4.0 ในทุกประเด็นการประเมิน สรุป: ในขณะที่ทำการวิจัย ChatGPT ยังมีข้อจำกัดที่ชัดเจนในการตอบคำถามเกี่ยวกับสมุนไพรไทยเมื่อใช้ภาษาไทยและชื่อสมุนไพรไทยในการถามคำถามและสร้างคำตอบ
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ผลการวิจัยและความคิดเห็นที่ปรากฏในบทความถือเป็นความคิดเห็นและอยู่ในความรับผิดชอบของผู้นิพนธ์ มิใช่ความเห็นหรือความรับผิดชอบของกองบรรณาธิการ หรือคณะเภสัชศาสตร์ มหาวิทยาลัยสงขลานครินทร์ ทั้งนี้ไม่รวมความผิดพลาดอันเกิดจากการพิมพ์ บทความที่ได้รับการเผยแพร่โดยวารสารเภสัชกรรมไทยถือเป็นสิทธิ์ของวารสารฯ
References
Satyapan N, Patarakitvanit S, Temboonkiet S, Vudhironarit T, Tankanitlert J. Herbal medicine: affecting factors and prevalence of use among Thai population in Bangkok. J Med Assoc Thai 2010; 93 Suppl 6: S139-44.
Kanjanahattakij N, Kwankhao P, Vathesatogkit P, Thongmung N, Gleebbua Y, Sritara P, Kitiyakara C. Herbal or traditional medicine consumption in a Thai worker population: pattern of use and therapeutic control in chronic diseases. BMC Complement Altern Med 2019; 19: 258. doi: 10.1186/s12906-019-2652-z.
Onchonga D. A Google Trends study on the interest in self-medication during the 2019 novel coronavirus (COVID-19) disease pandemic. Saudi Pharm J 2020; 28: 903-4.
Bianch, T. Market share of leading desktop search engines worldwide from January 2015 to July 2023 [online]. 2023 [cited Oct 18, 2023]. Available from: www.statista.com/statistics/216573/worldwide-market-share-of-search-engines/.
Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D. How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment. JMIR Med Educ 2023; 9: e45312. doi: 10.2196/45312.
Brown TB, Mann B, Ryder N, Subbiah M, Kaplan J, Dhariwal P, et al. Language models are few-shot learners. Adv Neural Inf Process Syst 2020; 33: 1877-1901.
Seghier ML. ChatGPT: not all languages are equal. Nature 2023; 615: 216.
Boonrit N, Ruanglertboon W. Assessment of the appropriateness of responses in Thai from ChatGPT on the questions for recommendations of drug uses in common illnesses. Thai Journal of Pharmacy Practice 2023; 15: 1135-48.
Fang C, Wu Y, Fu W, Ling J, Wang Y, Liu X, et al. How does ChatGPT-4 preform on non-English national medical licensing examination? An evaluation in Chinese language. PLOS Digit Health. 2023; 2: e0000397. doi: 10.1371/journal.pdig.0000 397.
Hopkins AM, Logan JM, Kichenadasse G, Sorich MJ. Artificial intelligence chatbots will revolutionize how cancer patients access information: ChatGPT represents a paradigm-shift. JNCI Cancer Spectr 2023; ; 7: pkad010. doi: 10.1093/jncics/pkad010.
Hepler CD, Strand LM. Opportunities and responsibi lities in pharmaceutical care. Am J Hosp Pharm 1990; 47: 533-43.
Kanjanasirirat P, Suksatu A, Manopwisedjaroen S, Munyoo B, Tuchinda P, Jearawuttanakul K, et al. High-content screening of Thai medicinal plants reveals Boesenbergia rotunda extract and its compo- nent Panduratin A as anti-SARS-CoV-2 agents. Sci Rep 2020; 10: 19963. doi: 10.1038/s41598-020-77003-3.
Short SE, Mollborn S. Social determinants and health behaviors: conceptual frames and empirical advances. Curr Opin Psychol 2015; 5: 78-84. doi: 10.1016/j.copsyc.2015.05.002.
Kao YS, Chuang WK, Yang J. Use of ChatGPT on Taiwan's examination for medical doctors [online]. 2023 [cited Oct 10, 2023]. Available from: 10.1007/s10439-023-03308-9.
Singnoi U. A reflection of Thai culture in Thai plant names. Manusya 2011; 14: 79-97.
Thirunavukarasu AJ, Ting DSJ, Elangovan K, Gutier rez L, Tan TF, Ting DSW. Large language models in medicine. Nat Med 2023; 29: 1930-40. doi: 10.1038/ s41591-023-02448-8.
Hastie T, Tibshirani R, Friedman J. The elements of statistical learning: Data mining, inference, and prediction. New York: Springer; 2009.
Kaewdech A, Nawalerspanya S, Assawasuwannakit S, Chamroonkul N, Jandee S, Sripongpun P. The use of Andrographis paniculata and its effects on liver biochemistry of patients with gastrointestinal problems in Thailand during the COVID-19 pandemic: a cross sectional study. Sci Rep 2022; 12:18213. doi: 10.1038/s41598-022-23189-7.
Intharuksa A, Arunotayanun W, Yooin W, Sirisa-Ard P. A comprehensive review of Andrographis paniculata (Burm. f.) Nees and its constituents as potential lead compounds for COVID-19 drug discovery. Molecules 2022; 27: 4479. doi: 10.3390/mo lecules27144479.
Menz BD, Modi ND, Sorich MJ, Hopkins AM. Health disinformation use case highlighting the urgent need for artificial intelligence vigilance: Weapons of mass disinformation. JAMA Intern Med 2024; 184: 92-6. doi: 10.1001/jamainternmed.2023.5947.
Anon. Will ChatGPT transform healthcare? Nat Med 2023; 29: 505-6. doi: 10.1038/s41591-023-02289-5.