STUDENT PERFORMANCE PREDICTIONIN AN ONLINE LEARNING MANAGEMENT SYSTEMUSING MACHINE LEARNING

Abstract

This research aims to study student performance prediction in an online learning management system using a machine learning model by using the learning dataset from Moodle, an online learning platform. In order to study the impact of the features on prediction performance, the features were divided into two groups based on their characteristics, i.e., the features related to the system usage behavior of the students and the features related to the scores obtained by the students. Then, four sets of datasets were created using the combination of these two groups of features to study the impact of the features on the predictive performance. Several well-known machine learning models were experimented with including Logistic Regression, Naïve Bayes, K-Nearest Neighbor, Support Vector Machines, Decision Tree, Random Forest and XGBoost. The imbalanced datasets were handled by the synthetic minority oversampling technique (SMOTE). The results showed that the XGBoost model yielded the highest prediction accuracy at 83.95%. The models trained by features related to score alone yielded better performance than those trained by the features related to system usage behavior, but using the features from both groups together yielded the best performance. Moreover, the researcher found that feature selection can improve the performance of low-complexity models, while it impaired the performance of high-complexity models.

งานวิจัยนี้มีวัตถุประสงค์เพื่อศึกษาการทำนายผลการเรียนของนิสิตที่ใช้งานระบบการจัดการเรียนรู้ออนไลน์ โดยใช้การเรียนรู้ของเครื่อง เพื่อหาแบบจำลองการจำแนกประเภทสำหรับการทำนายผลการเรียนของนิสิตที่ดีที่สุด โดยใช้ชุดข้อมูลการเรียนในช่วงครึ่งแรกของภาคการศึกษา ตั้งแต่วันที่ 7 มกราคม ถึง 5 มีนาคม 2564 ของนิสิตที่ลงทะเบียนเรียนรายวิชา SWU 141 ชีวิตในโลกดิจิทัล ภาคการศึกษา 2 ปีการศึกษา 2563 จำนวน 405 คน ผู้วิจัยได้ศึกษาเพื่อเปรียบเทียบประสิทธิภาพของแบบจำลอง โดยใช้ชุดข้อมูลที่แตกต่างกันตามประเภทของคุณลักษณะ ได้แก่ คุณลักษณะข้อมูลทั่วไป คุณลักษณะกลุ่มพฤติกรรมการใช้งานระบบ คุณลักษณะกลุ่มคะแนน โดยเริ่มจากการนำข้อมูลการเรียนผ่านทางระบบจัดการเรียนรู้ออนไลน์ของนิสิตจำนวน 99,925 รายการ มาวิเคราะห์ เพื่อสร้างคุณลักษณะกลุ่มพฤติกรรมการใช้งานระบบ โดยใช้เทคนิคการทำวิศวกรรมคุณลักษณะ (Feature Engineering) แล้วนำคุณลักษณะกลุ่มพฤติกรรมการใช้งานระบบที่สร้างขึ้นมาร่วมกับคุณลักษณะกลุ่มคะแนน และคุณลักษณะข้อมูลทั่วไป ไปสร้างแบบจำลองที่ได้รับความนิยมในปัจจุบันหลากหลายแบบจำลอง ได้แก่ Logistic Regression, Naïve Bayes, K-Nearest Neighbor, Support Vector Machines, Decision Tree, Random Forest และ XGBoost ผู้วิจัยได้เปรียบเทียบและวัดประสิทธิภาพของแบบจำลองเหล่านี้ร่วมกับการใช้เทคนิคการจัดการความไม่สมดุลของข้อมูลด้วยวิธีการสุ่มตัวอย่างเพิ่มกลุ่มน้อยด้วยการสร้างตัวอย่างสังเคราะห์ (Synthetic Minority Oversampling Technique: SMOTE) รวมทั้งการคัดเลือกคุณลักษณะ (Feature Selection) จากการทดลองพบว่า แบบจำลอง XGBoost ให้ประสิทธิภาพในการทำนายสูงสุด มีความแม่นยำถึง 83.95% นอกจากนี้ยังพบว่า คุณลักษณะกลุ่มคะแนนให้ผลการทำนายที่ดีกว่าการใช้คุณลักษณะกลุ่มพฤติกรรมการใช้งานระบบ แต่การใช้คุณลักษณะทั้งสองด้านร่วมกัน ให้ผลการทำนายดีที่สุด และการคัดเลือกคุณลักษณะช่วยเพิ่มประสิทธิภาพในแบบจำลองที่มีความซับซ้อนต่ำ แต่ในแบบจำลองที่มีความซับซ้อนสูง การคัดเลือกคุณลักษณะไม่ได้ช่วยเพิ่มประสิทธิภาพการทำนาย อีกทั้งการศึกษานี้ ยังแสดงคุณลักษณะที่สำคัญ เพื่อเป็นภาพสะท้อนให้เห็นคุณลักษณะที่มีบทบาทสำคัญในการทำนายผลการเรียนของนิสิต โดยมีกลุ่มของพฤติกรรมการใช้งานระบบของนิสิตมากถึง 19 คุณลักษณะ ในขณะที่คุณลักษณะสำคัญในกลุ่มของคะแนนผลการประเมินการเรียนรู้มีเพียง 10 คุณลักษณะ และคุณลักษณะข้อมูลทั่วไปจะปรากฎเพียงคุณลักษณะเดียว คือ ข้อมูลคณะของนิสิต