Automatic Online Item Analysis System by Item Response Theory
Abstract
The automatic online item analysis system by Item Response Theory (IRT) is taking the online testing data to analyze item automatically with IRT, the theory about the relationship of the personal ability (trait) and the item responsive behavior in the form of correct answer probability. This system is developed in the web-based application form by uses the principle of object-oriented analysis and design and developing open source tools. In the part of item analysis with IRT will automatically start up when a test is finished by taking item scores from the database to process with marginal maximum likelihood method by expectation- maximization algorithm for three parameters item quality, discrimination, a difficulty, and a guessing right by low ability examinee and the last process is integrated three parameters to calculate an information function. The suggestion for implementing this research is (1) the number of items could be much more than the regular paper testing, because of the tester can response item faster (2) in each item has difference guessing\factor, so there might be \adjusted score according to guessing factor for a real score of tester (3) there have another approac of research to apply such as Computerized Adaptive Testing (CAT), multidimensional Item Response Theory (mIRT) (4) for comparing the classical theory to the item response theory could be use sample of tester between 200-500 in the case of item response theory and 500 - 1,000 in the case of classical theory and (5) the E-M algorithm in this research take a long time of processing, so the next research could be use another algorithm or approach for reducing the processing time.
References
กิตติมา เจริญหิรัญ.(2550). "การพัฒนาระบบการวิเคราะห์และการสร้างคลังข้อสอบผ่านเครือข่ายอินเทอร์เน็ตสำหรับมหาวิทยาลัยเอกชน". วารสารศรีปทุมปริทัศน์. 7(2) : หน้า 5-12
ฉัตรศิริ ปิยะพิมลสิทธิ์.(2548). การวิเคราะห์คุณภาพข้อสอบด้วยโปรแกรมคอมพิวเตอร์. [ออนไลน์]. สืบค้นเมื่อวันที่ 30 เมษายน จาก https://ww.watpon.com/Elearning/itemanalysis.pdf.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่ (ฉบับปรับปรุง). กรุงเทพฯ. จุฬาลงกรณ์มหาวิทยาลัย.
สุโกศล วโนทยาพิทักษ์. (2551). “การพัฒนาระบบการสอบออนไลน์ผ่านเครือข่ายอินเทอร์เน็ต”. วารสารมหาวิทยาลัยคริสเตียน. 14(2) : หน้า 117-127
สุโกศล วโนทยาพิทักษ์. (2555). “การพัฒนาระบบคลังข้อสอบออนไลน์แบบมีวงจรการวิเคราะห์ข้อสอบอัตโนมัติ”. วารสารวิศวกรรมศาสตร์ มหาวิทยาลัยสยาม. 2(25) : หน้า 22-32
Allen, M. J., & Yen, W. M. (1979). Introduction to measurement theory. Monterey. CA: Brooks/Cole Publishing.
AtulKahate. (2004). Object Oriented Analysis & Design.Tata McGraw-Hill Education.
Bock, R.D.; Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters : application of an EM algorithm. Psychometrika. 46(4) : 443-459.
Linn, R. L. (Ed.). (1989). Educational Measurement: Third Edition, New York: Macmillan Publishing Co.
Royce Hernandez. (2009). Comparison of the Item Discrimination and Item Difficulty of the Quick-Mental Aptitude Test using CTT and IRT Methods. The International Journal of Educational and Psychological Assessment April 2009, 1(1) : 12-18
RuiminShen, Yiyang Tang, Tong Zhen Zhang. (2001). The Intelligent Assessment System in Web-based Distance Learning Education. 31 ASSEE/IEEE Frontiers in Education Conference: session T1F
Williams, H.E. (2004) .Web Database Application with PHP and MySQL: Building Effective Database-driven Web Sites. O'Reilly Media Inc.
Yuan Zhenming, Zhang Liang, Zhan Guohua. (2003). A Novel Web-based Online Examination System for Computer Science Education. 33 ASSEE/IEEE Frontiers in Education Conference: session S3F,November.
