ระบบการวิเคราะห์ข้อสอบออนไลน์ด้วยทฤษฎีการตอบสนองข้อสอบแบบอัตโนมัติ
บทคัดย่อ
ระบบการวิเคราะห์ข้อสอบออนไลน์ด้วยทฤษฎีการตอบสนองข้อสอบแบบอัตโนมัติ เป็นการนำข้อมูลที่ได้จากการสอบออนไลน์มาเพิ่มคุณค่าโดยนำมาวิเคราะห์คุณภาพข้อสอบตามทฤษฎีการตอบสนองข้อสอบ (Item Response Theory; IRT) ซึ่งเป็นทฤษฎีที่ว่าด้วยความสัมพันธ์ระหว่างความสามารถแฝงภายในบุคคล (Trait) กับพฤติกรรมการตอบสนองข้อสอบของบุคคลในรูปความน่าจะเป็นในการตอบข้อสอบได้ถูกต้องระบบนี้พัฒนาในรูปแบบเว็บแอพพลิเคชันโดยใช้หลักการวิเคราะห์และออกแบบระบบเชิงวัตถุ และเครื่องมือในการพัฒนาแบบเปิดเผยรหัส (Open source) ในส่วนของการวิเคราะห์ข้อสอบด้วยทฤษฎีการตอบสนองข้อสอบจะเริ่มต้นแบบอัตโนมัติ ทันทีที่การสอบเสร็จสิ้นลงโดยระบบจะนำเอาคะแนนผลการสอบจากฐานข้อมูลมาวิเคราะห์คุณภาพข้อสอบ 3 พารามิเตอร์ด้วยวิธีการมาร์จินัลแม็กซิมัมไลลิฮูด (Marginal Maximum Likelihood Method) ซึ่งเป็นอัลกอริทึมการคาดหวัง-การหาจุดสูงสุด (Expectation-Maximization; E-M) ได้แก่ ค่าอำนาจจำแนก ค่าความยากง่าย ค่าความง่ายต่อการเดาถูกของผู้สอบที่มีความสามารถต่ำ และจะนำมาคำนวณรวมกันเพื่อหาค่าฟังก์ชันสารสนเทศ ซึ่งเป็นการวัดความเชื่อมั่นข้อสอบทั้งฉบับข้อเสนอแนะในการนำการวิจัยไปใช้ คือ (1) จำนวนข้อสอบควรมีจำนวนมากกว่าการสอบปกติด้วยกระดาษในเวลาสอบที่เท่ากันเพราะการสอบออนไลน์ผู้สอบตอบคำตอบได้เร็วกว่า (2) ในแต่ละข้อมีความยากง่ายต่อการเดาข้อสอบไม่เท่ากันจึงอาจปรับคะแนนตามน้ำหนักความยากง่ายต่อการเดาข้อสอบ เพื่อจะได้คะแนนสอบที่แท้จริงของผู้สอบ (3) ยังสามารถประยุกต์การวิจัยด้วยแนวทางอื่นเช่น ข้อสอบแบบปรับตัวได้ด้วยคอมพิวเตอร์ (CAT) ทฤษฎีการตอบสนองข้อสอบหลายมิติ (mIRT) (4) ในการเปรียบเทียบทฤษฎีการตอบสนองข้อสอบการทฤษฎีการสอบแบบดั้งเดิมควรใช้กลุ่มตัวอย่างตั้งแต่ 200-500 คนในกรณีทฤษฎีการตอบสนองข้อสอบและ 500-1,000 คน ในกรณีทฤษฎีดั้งเดิม (5) อัลกอริทึม E-M ที่ใช้ในการวิจัยนี้ใช้เวลาประมวลผลนานมาก ดังนั้นงานวิจัยในครั้งต่อไปควรหาอัลกอริทึม หรือแนวทางการประมวลผลอื่นๆ มาใช้เพื่อลดเวลาการประมวลผล
References
กิตติมา เจริญหิรัญ.(2550). "การพัฒนาระบบการวิเคราะห์และการสร้างคลังข้อสอบผ่านเครือข่ายอินเทอร์เน็ตสำหรับมหาวิทยาลัยเอกชน". วารสารศรีปทุมปริทัศน์. 7(2) : หน้า 5-12
ฉัตรศิริ ปิยะพิมลสิทธิ์.(2548). การวิเคราะห์คุณภาพข้อสอบด้วยโปรแกรมคอมพิวเตอร์. [ออนไลน์]. สืบค้นเมื่อวันที่ 30 เมษายน จาก https://ww.watpon.com/Elearning/itemanalysis.pdf.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่ (ฉบับปรับปรุง). กรุงเทพฯ. จุฬาลงกรณ์มหาวิทยาลัย.
สุโกศล วโนทยาพิทักษ์. (2551). “การพัฒนาระบบการสอบออนไลน์ผ่านเครือข่ายอินเทอร์เน็ต”. วารสารมหาวิทยาลัยคริสเตียน. 14(2) : หน้า 117-127
สุโกศล วโนทยาพิทักษ์. (2555). “การพัฒนาระบบคลังข้อสอบออนไลน์แบบมีวงจรการวิเคราะห์ข้อสอบอัตโนมัติ”. วารสารวิศวกรรมศาสตร์ มหาวิทยาลัยสยาม. 2(25) : หน้า 22-32
Allen, M. J., & Yen, W. M. (1979). Introduction to measurement theory. Monterey. CA: Brooks/Cole Publishing.
AtulKahate. (2004). Object Oriented Analysis & Design.Tata McGraw-Hill Education.
Bock, R.D.; Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters : application of an EM algorithm. Psychometrika. 46(4) : 443-459.
Linn, R. L. (Ed.). (1989). Educational Measurement: Third Edition, New York: Macmillan Publishing Co.
Royce Hernandez. (2009). Comparison of the Item Discrimination and Item Difficulty of the Quick-Mental Aptitude Test using CTT and IRT Methods. The International Journal of Educational and Psychological Assessment April 2009, 1(1) : 12-18
RuiminShen, Yiyang Tang, Tong Zhen Zhang. (2001). The Intelligent Assessment System in Web-based Distance Learning Education. 31 ASSEE/IEEE Frontiers in Education Conference: session T1F
Williams, H.E. (2004) .Web Database Application with PHP and MySQL: Building Effective Database-driven Web Sites. O'Reilly Media Inc.
Yuan Zhenming, Zhang Liang, Zhan Guohua. (2003). A Novel Web-based Online Examination System for Computer Science Education. 33 ASSEE/IEEE Frontiers in Education Conference: session S3F,November.
