การประเมินความเหมาะสมของคำตอบที่เป็นภาษาไทยจาก ChatGPT ต่อคำถามเกี่ยวกับการใช้ยาในอาการเจ็บป่วยที่พบบ่อย
Article Sidebar
Main Article Content
บทคัดย่อ
วัตถุประสงค์: เพื่อประเมินความเหมาะสมของคำตอบที่เป็นภาษาไทยจาก ChatGPT เมื่อสอบถามเกี่ยวกับคำแนะนำในการใช้ยาสำหรับอาการเจ็บป่วยที่พบบ่อย วิธีการ: การศึกษาสอบถามคำแนะนำเกี่ยวกับการใช้ยาจาก ChatGPT ด้วย 5 คำถามที่เป็นภาษาไทยดังนี้ [Q1] ปวดเข่า กินยา piroxicam แต่ไม่ดีขึ้น กินยาตัวไหน อีกได้บ้าง; [Q2] ไอเยอะ เจ็บคอ มีไข้ กินยา amoxy ได้มั้ย; [Q3] หกล้ม มีแผลถลอก เลือดออก ต้องกินยาฆ่าเชื้อมั้ย; [Q4] อาหารเป็นพิษ ท้องเสีย จำเป็นต้องกินยาฆ่าเชื้อมั้ย; และ [Q5] แพ้ยา ibuprofen จะใช้ยา diclofenac ได้มั้ย การสอบถามในแต่ละคำถามขอให้ ChatGPT สร้างคำตอบสามครั้งเป็นภาษาไทย เภสัชกร 2 คนประเมินคำตอบที่ได้อย่างเป็นอิสระต่อกันในเรื่องความเหมาะสมของของยาหรือการรักษาที่ ChatGPT แนะนำใน 5 ประเด็น คือ ข้อบ่งใช้ ประสิทธิภาพ ความปลอดภัย การนำไปปฏิบัติตามได้ และความคุ้มค่า นอกจากนี้ยังประเมินเพิ่มเติมในอีก 2 ประเด็น คือ การอ่านได้เข้าใจและความเป็นไปได้ในการนำไปใช้ในทางปฏิบัติ ผลการวิจัย: การประเมินคำตอบรวม 210 ครั้ง (5 คำถาม x 3 คำตอบ x 7 ประเด็นการประเมิน x 2 ผู้ประเมิน) พบว่า คำตอบจาก ChatGPT สามารถนำไปปฏิบัติตามและการประยุกต์ใช้ได้จริงโดยมีคะแนนเฉลี่ย 4.40 และ 4.23 คะแนน (จากคะแนนเต็ม 5) ตามลำดับ ในส่วนของการอ่านข้อมูลได้ใจความ ความปลอดภัยในการใช้ยา ข้อบ่งใช้ และค่าใช้จ่ายมีค่าเฉลี่ยเท่ากับ 3.80, 3.80, 3.80 และ 3.73 คะแนน ตามลำดับ การประเมินข้อมูลเกี่ยวกับประสิทธิภาพของยามีคะแนนน้อยที่สุด คือ 3.37 แม้ว่า ChatGPT อาจมีความบกพร่องเกี่ยวกับการใช้คำหรือรูปประโยคในภาษาไทย แต่ในภาพรวมก็สามารถอ่านคำตอบได้ใจความและสื่อสารได้ตรงประเด็น อย่างไรก็ตามการสร้างคำตอบของ ChatGPT เพียง 1 ครั้ง อาจให้ตอบคำถามไม่ครอบคลุมทุกประเด็นที่เกี่ยวข้อง หากใช้เกณฑ์การตัดสินว่า คำตอบจาก ChatGPT มีความเหมาะสมถ้าผลการประเมินข้อบ่งใช้ ประสิทธิภาพ ความปลอดภัย การนำไปปฏิบัติตามได้ และความคุ้มค่าในทุกประเด็นต้องได้คะแนนอย่างน้อย 4.0 (ยกเว้น [Q5] ไม่รวมประเด็นการประเมินประสิทธิภาพ) พบว่า คำตอบเพียง 3 ครั้งจากทั้งหมด 15 ครั้งมีความเหมาะสม แต่หากถือว่า คำตอบที่ได้จาก ChatGPT มีความเหมาะสมถ้าผลการประเมินใน 5 ประเด็นที่กล่าวมา ตลอดจนการประเมินการอ่านได้ใจความ และการนำไปใช้ได้จริง (รวม 7 ประเด็น) ต้องได้คะแนนอย่างน้อย 4.0 ในทุกประเด็นพบว่า คำตอบที่ได้จาก ChatGPT เพียง 1 ครั้งจากทั้งหมด 15 ครั้งถือว่ามีความเหมาะสม สรุป: ในปัจจุบัน การใช้ ChatGPT มีประโยชน์จำกัดสำหรับการดูแลตนเองเบื้องต้นด้วยยาในกรณีโรคหรือภาวะที่ไม่ซับซ้อนในชาวไทย ประชาชนควรได้รับคำปรึกษาเพิ่มเติมจากแพทย์หรือเภสัชกรก่อนใช้ยาตามคำแนะนำจาก ChatGPT
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ผลการวิจัยและความคิดเห็นที่ปรากฏในบทความถือเป็นความคิดเห็นและอยู่ในความรับผิดชอบของผู้นิพนธ์ มิใช่ความเห็นหรือความรับผิดชอบของกองบรรณาธิการ หรือคณะเภสัชศาสตร์ มหาวิทยาลัยสงขลานครินทร์ ทั้งนี้ไม่รวมความผิดพลาดอันเกิดจากการพิมพ์ บทความที่ได้รับการเผยแพร่โดยวารสารเภสัชกรรมไทยถือเป็นสิทธิ์ของวารสารฯ
References
Ministry of Public Health of Thailand. The 12th national health development plan (2017-2021) [on line]. 2017 [cited May 9, 2023]. Available from: dm sic.moph.go.th/dmsic/force_down.php?f_id=699].
World Health Organization. Health promotion glossary [online]. 1998 [cited May 9, 2023]. Available from: apps.who.int/iris/rest/bitstreams/609 68/retrieve.
Sørensen K, Van den Broucke S, Fullam J, Doyle G, Pelikan J, Slonska Z, et al. Health literacy and public health: a systematic review and integration of definitions and models. BMC Public Health 2012; 12: 80.
Conference of Experts on the Rational Use of Drugs. The rational use of drugs: report of the Conference of Experts, Nairobi, 25-29 November 1985. Geneva: World Health Organization; 1987.
Subcommittee on Promotion of Rational Use of Drugs. Manual for the operation of rational drug use hospitals. Bangkok: Thailand Agricultural Coopera- tive Federation of Thailand Printing House; 2015.
Working Group on System Development for Rational Use of Drugs in Community (RDU Community). Guidelines for the development of a rational drug use system in the community (Rational Drug Use Community: RDU Community). Nonthaburi: Health Administration Division, Office of the Permanent Secretary for Public Health; 2020.
Committee for the Development of Guidelines and the Preparation of a Manual on Rational Use of Drugs in Pharmacies. RDU Pharmacy EAGLE: Rational use of drugs in pharmacies: Antibiotics smart use complementary guidance for community pharmacist. Songkhla: Faculty of Pharmaceutical Sciences,. Prince of Songkla University; 2017.
Product Safety Surveillance Center, Strategy and Planning Division, Food and Drug Administration. Summary of reports of adverse drug reactions in 2021. Bangkok: Graphic and Design Publishing; 2022.
Anon. Will ChatGPT transform healthcare? Nat Med 2023; 29: 505-6.
Hopkins AM, Logan JM, Kichenadasse G, Sorich MJ. Artificial intelligence chatbots will revolutionize how cancer patients access information: ChatGPT represents a paradigm-shift. JNCI Cancer Spectr 2023; 7: : pkad010. doi: 10.1093/jncics/pkad010.
Hepler CD, Strand LM. Opportunities and responsibilities in pharmaceutical care. Am J Hosp Pharm 1990; 47: 533-43.
Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159-74.
Kung TH, Cheatham M, Medenilla A, Sillos C, De Leon L, Elepaño C, et al. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health 2023; 2: e0000198.
Sallam M. ChatGPT Utility in healthcare education, research, and practice: Systematic review on the promising perspectives and valid concerns. 2023; 11: 887.
Biswas SS. Role of ChatGPT in public health. Ann Biomed Eng 2023; 51: 868-9.
Cascella M, Montomoli J, Bellini V, Bignami E. Evaluating the feasibility of ChatGPT in healthcare: An analysis of multiple clinical and research scenarios. J Med Syst 2023; 47: 33.
Yeo YH, Samaan JS, Ng WH, Ting P-S, Trivedi H, Vipani A, et al. Assessing the performance of ChatGPT in answering questions regarding cirrhosis and hepatocellular carcinoma. Clin Mol Hepatol 2023; 29: 721-32.