DEVELOPMENT OF THE METACOGNITION SCALE COMPUTER PROGRAM FOR MIDDLE SCHOOL STUDENTS: AN APPLICATIONOF MULTIDIMENSIONAL ITEM RESPONSE THEORY

Abstract

This aims of this research are as follows: (1) to develop and assess the quality of a multidimensional metacognition scale for middle school students; (2) to establish cutoff scores for the multidimensional metacognition scale; and (3) to develop a computer program and create a user manual for assessing the multidimensional metacognition scale. The research used two groups of middle school students from the Chiang Mai Secondary Educational Service Area Office in the 2023 academic year. The first group of 1,072 students were randomly selected to assess the quality of the multidimensional metacognition scale for middle school students through a multistage sampling process. The second group of 122 students, and purposively selected for evaluation. The tool was a multidimensional metacognition scale for middle school students and consisting of 22 items. The statistical analyses included content analysis, mean, standard deviation (SD), item total correlation coefficient (rxy), Cronbach's alpha (α), goodness-of-fit statistic (G2), confirmatory factor analysis (CFA), OUTFIT MNSQ, INFIT MNSQ, and analysis of the multidimensional graded-response model (MGRM). The results indicated that the scale had 22 items, scored on a 0-3 scale, a situational and multiple-choice instrument. The instrument demonstrated content validity with an Item-Objective Concordance (IOC) from 0.80 to 1.00. The discrimination power (rxy) ranged from 0.233 to 0.535, and the reliability coefficient (α) was 0.825. The confirmatory factor analysis (CFA) results indicated that it was more suitable than the unidimensional model. The analysis confirmed compatibility with the observed data (Chi-Square = 148.721, df = 123, p-value = 0.057, CFI = 0.998, TLI = 0.996, SRMR = 0.020, RMSEA = 0.014). For the parameter estimation, the slope parameters (α1 and α2) for dimension 1 (metacognitive knowledge) ranged from 0.949 to 2.235, while dimension 2 (Metacognitive Experience) ranged from 0.110 to 3.095. The threshold parameters (β1 < β2 < β3) for all items were established. The confidence intervals for the EAP reliability were 0.859 and 0.862, respectively. The cutoff scores were identified and divided into four categories. The overall assessment of the computer program and its user manual for assessing the multidimensional metacognition scale for middle school students was rated high to very high.

การวิจัยนี้มีความมุ่งหมายของการวิจัยเพื่อ 1) สร้างและตรวจสอบคุณภาพของแบบวัดอภิปัญญาแบบพหุมิติสำหรับนักเรียนชั้นมัธยมศึกษาตอนต้น 2) กำหนดคะแนนจุดตัดของแบบวัดอภิปัญญาแบบพหุมิติสำหรับนักเรียนชั้นมัธยมศึกษาตอนต้น และ 3) พัฒนาโปรแกรมและจัดทำคู่มือการใช้โปรแกรมคอมพิวเตอร์สำหรับวัดอภิปัญญาแบบพหุมิติของนักเรียนชั้นมัธยมศึกษาตอนต้น ตัวอย่างที่ใช้ในการวิจัยเป็นนักเรียนระดับชั้นมัธยมศึกษาตอนต้น สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเชียงใหม่ ปีการศึกษา 2566 แบ่งเป็น 2 กลุ่ม ได้แก่ 1) ตัวอย่างในการตรวจสอบคุณภาพของแบบวัดอภิปัญญาแบบพหุมิติ จำนวน 1,072 คน ได้มาจากการสุ่มแบบหลายขั้นตอน 2) ตัวอย่างในการตรวจสอบประสิทธิภาพของโปรแกรมคอมพิวเตอร์สำหรับวัดอภิปัญญาแบบพหุมิติ จำนวน 122 ได้มาจากการเลือกแบบเจาะจง เครื่องมือที่ใช้ในการวิจัยได้แก่ แบบวัดอภิปัญญาแบบพหุมิติสำหรับนักเรียนชั้นมัธยมศึกษาตอนต้น จำนวน 22 ข้อ สถิติที่ใช้ในการวิเคราะห์ข้อมูลได้แก่ การวิเคราะห์เนื้อหา ค่าเฉลี่ย (Mean) ส่วนเบี่ยงเบนมาตรฐาน (SD) ค่าอำนาจจำแนก (rxy) ค่าความเชื่อมั่น (α) ค่าสถิติดีเวียนซ์ (G2) การวิเคราะห์องค์ประกอบเชิงยืนยัน (CFA) ค่า OUTFIT MNSQ, INFIT MNSQ และการวิเคราะห์โมเดลการตอบสนองแบบพหุมิติภายในข้อสอบ ด้วยโมเดล Multidimensional Graded – Response Model (MGRM) ผลการวิจัยพบว่า แบบวัดอภิปัญญาแบบพหุมิติ สำหรับนักเรียนชั้นมัธยมศึกษาตอนต้น เป็นแบบวัดเชิงสถานการณ์แบบปรนัย 4 ตัวเลือก มีการให้คะแนนเป็น 0, 1, 2 และ 3 จำนวน 22 ข้อ มีความเที่ยงตรงเชิงเนื้อหาโดยหาค่า IOC มีค่าตั้งแต่ 0.80 - 1.00 ค่าอำนาจจำแนก (rxy) ตั้งแต่ 0.233 ถึง 0.535 ค่าความเชื่อมั่น (α) เท่ากับ 0.825 แบบวัดอภิปัญญาแบบพหุมิติมีความเหมาะสมสำหรับโครงสร้างการวัดแบบพหุมิติมากกว่าโครงสร้างแบบเอกมิติ การวิเคราะห์องค์ประกอบเชิงยืนยันพบว่า โมเดลการวัดอภิปัญญาแบบพหุมิติมีความสอดคล้องกับข้อมูลเชิงประจักษ์ (Chi-Square = 148.721, df = 123, p-value = 0.057, CFI = 0.998, TLI = 0.996, SRMR = 0.020, RMSEA = 0.014) สำหรับคุณภาพรายข้อ พบว่า ค่าพารามิเตอร์ความชันร่วมของข้อคำถามมิติที่ 1 ความรู้ในอภิปัญญา (α1) มีค่าระหว่าง 0.949 ถึง 2.235 และมิติที่ 2 ประสบการณ์ในอภิปัญญา (α2) มีค่าตั้งแต่ 0.110 ถึง 3.095 ส่วนค่าพารามิเตอร์ Threshold มีลักษณะการเรียงลำดับคือ β1< β2 < β3 ทุกข้อ ความเชื่อมั่นแบบ EAP ทั้ง 2 มิติ มีค่าเท่ากับ 0.859 และ 0.862 ตามลำดับ ผลการกำหนดคะแนนจุดตัดทั้ง 2 มิติ มี 3 จุดตัดจึงสามารถแบ่งระดับอภิปัญญาในแต่ละมิติได้เป็น 4 ระดับ สำหรับผลการประเมินโปรแกรมและคู่มือการใช้โปรแกรมคอมพิวเตอร์สำหรับวัดอภิปัญญาแบบพหุมิติของนักเรียนชั้นมัธยมศึกษาตอนต้น โดยภาพรวมอยู่ระดับมาก ถึง มากที่สุด