DEVELOPMENT OF AN ONLINE TESTING SYSTEM FOR MEASURE AND REPORTED FINANCIAL LITERACY OF UPPER SECONDARY SCHOOL STUDENTS: AN APPLICATION OF CONSTRUCT MAP APPROACH AND USER EXPERIENCE RESEARCH

Abstract

The objectives of this study are as follows: (1) to study the financial literacy of high school students; (2) to develop a financial literacy questionnaire for high school students by applying the structural map concept of learning outcome levels; and (3) to develop an online testing system for measuring and reporting on the financial literacy of high school students. There were three phases. The first phase had five specialist informants. The second phase consisted of a sample of 742 high school students. The third phase was four groups of samples, including 12 informants, four specialists in measurement and evaluation, four information technology specialists, and a checklist of 20 high school students. This research used the following tools: an interview, a financial literature questionnaire for high school students, a standardized and heuristic assessment for an online testing system, and a questionnaire on the use of online testing systems. The findings were as follows: Firstly, the areas of financial literacy consisted of a financial plan, loans and credit, transactions and financial products, risk and prevention, and daily economics. Secondly, the financial literacy questionnaire for high school students was composed of 33 multiple choice questions on situational measures. It was composed of with three elements: knowledge, skills, and attitude. Each element had 11 questions with five level scoring. The multidimensional internal structural accuracy of the measurement was consistent with the empirical data (= 121.49 df = 5, p < .05). The correlation between the elements were 0.959, 0.930, and 0.972. The threshold of the covers was between -1 logit and 1 logit. The reliability of the measure (EAP/PV Reliability) was 0.710, 0.755, and 0.763. The value of discrepancy (SEM) was very low, at nearly zero. The item quality of the 33 questions had an MNSQ between 0.75 and 1.33. The thresholds of the financial literacy were -0.11, -0.05, 0.01 and 0.09. The thresholds for skill were -0.01, -0.06, -0.02 and 0.06. The thresholds for attitude were -0.11, -0.07, -0.02 and 0.05. Finally, the online testing system had three areas; getting the financial literacy questionnaire into the system, and compliance and reporting. The quality of the standardized online testing showed that the usefulness and the feasibility (M = 5.00, SD = 0.00) were at the highest level. The heuristic online testing showed that users with different ability levels (M475, SD = 0.50). The user feedback on the testing system was at a high level (M = 4.21, SD = 0.83)

การวิจัยครั้งนี้มีความมุ่งหมาย ได้แก่ 1) เพื่อศึกษาขอบเขตเนื้อหาความรอบรู้ทางการเงินของนักเรียนระดับมัธยมศึกษาตอนปลาย 2) เพื่อพัฒนาแบบวัดความรอบรู้ทางการเงินของนักเรียนระดับมัธยมศึกษาตอนปลาย โดยการประยุกต์ใช้แนวคิดแผนที่เชิงโครงสร้างของระดับผลลัพธ์การเรียนรู้ และ 3) เพื่อพัฒนาระบบการทดสอบออนไลน์สำหรับวัดและรายงานความรอบรู้ทางการเงินของนักเรียนระดับมัธยมศึกษาตอนปลาย ระยะที่ 1 ผู้ให้ข้อมูล คือ ผู้เชี่ยวชาญ จำนวน 5 คน ระยะที่ 2 ตัวอย่างการวิจัย คือ นักเรียนระดับมัธยมศึกษาตอนปลาย จำนวน 742 คน ระยะที่ 3 ผู้ให้ข้อมูล จำนวน 12 คน และผู้เชี่ยวชาญด้านวัดและประเมินผล จำนวน 4 คน ด้านเทคโนโลยีคอมพิวเตอร์ จำนวน 4 คน และนักเรียนมัธยมศึกษาตอนปลาย จำนวน 20 คน เครื่องมือที่ใช้ในการวิจัยครั้งนี้ ได้แก่ แบบสัมภาษณ์ แบบวัดความรอบรู้ทางการเงินของนักเรียนมัธยมศึกษาตอนปลาย แบบประเมินคุณภาพของระบบการทดสอบออนไลน์ แบบอิงมาตรฐาน และแบบฮิวริสติก และแบบสอบถามความคิดเห็นของผู้ใช้ที่มีต่อระบบการทดสอบออนไลน์ ผลการวิจัยพบว่า 1) ขอบเขตเนื้อหาความรอบรู้ทางการเงิน ประกอบด้วย 5 หัวข้อ คือ (1) การวางแผนทางการเงิน (2) การยืมและเครดิต (3) การทำธุรกรรมและผลิตภัณฑ์ทางการเงิน (4) ความเสี่ยงและการป้องกัน และ (5) เศรษฐศาสตร์ในชีวิตประจำวัน 2) แบบวัดความรอบรู้ทางการเงินสำหรับนักเรียนมัธยมศึกษาตอนปลาย เป็นแบบวัดสถานการณ์แบบเลือกตอบเชิงซ้อน และแบบเลือกตอบ จำนวน 5 ตัวเลือก จำนวน 33 ข้อ ประกอบด้วย 3 องค์ประกอบ คือ ด้านความรู้ ทักษะ และเจตคติ โดยแต่ละองค์ประกอบมีจำนวน 11 ข้อ และมีระดับของการให้คะแนน 5 ระดับ แบบวัดมีคุณภาพด้านความเที่ยงตรงเชิงโครงสร้างภายในแบบพหุมิติสอดคล้องกับข้อมูลเชิงประจักษ์ (= 121.49 df = 5, p < .05) มีค่าสหสัมพันธ์ระหว่างองค์ประกอบเท่ากับ 0.959 0.930 0.972 ตามลำดับ ค่าความยากขั้น ครอบคลุมรายการประเมินจากระดับต่ำสุดไปยังระดับสูงสุด ระหว่าง -1 ลอจิท ถึง 1 ลอจิท มีค่าความเชื่อมั่นของแบบวัด EAP/PV Reliability มีค่าเท่ากับ 0.710 0.755 และ 0.763 ตามลำดับ ความคลาดเคลื่อน (SEM) ต่ำมีค่าเข้าใกล้ศูนย์ คุณภาพรายข้อ ทั้ง 33 ข้อ มีค่า MNSQ อยู่ระหว่าง 0.75 – 1.33 และจุดตัดระดับคุณลักษณะความรอบรู้ทางการเงิน ทั้ง 3 องค์ประกอบ สามารถแบ่งได้ 5 ระดับ โดยด้านความรู้มีจุดตัดอยู่ที่ -0.11, -0.05, 0.01, และ 0.09 ตามลำดับ องค์ประกอบด้านทักษะ มีจุดตัด อยู่ที่ -0.11, -0.06, -0.02 และ 0.06 ตามลำดับ และองค์ประกอบด้านเจตคติ มีจุดตัดอยู่ที่ -0.11, -0.07, -0.02 และ 0.05 ตามลำดับ 3) ผลการตรวจสอบคุณภาพของระบบการทดสอบออนไลน์ด้วยแอปพลิเคชันไลน์สำหรับวัดและรายงานความรอบรู้ทางเงิน แบบอิงมาตรฐาน พบว่า ผู้เชี่ยวชาญมีความเห็นว่าระบบมีคุณภาพทั้ง 4 ด้าน โดยด้านที่มีผลประเมินสูงสุด คือ ด้านความเป็นประโยชน์ (M = 5.00, SD = 0.00) ด้านความเป็นไปได้ (M = 5.00, SD = 0.00) รองลงมา คือ ด้านความถูกต้อง (M = 4.92, SD = 0.17) และด้านความเหมาะสม (M = 4.75, SD = 0.36) ตามลำดับ และผลการตรวจสอบคุณภาพของระบบ แบบฮิวริสติก พบว่า ผู้ใช้ที่มีความเชี่ยวชาญแตกต่างกันสามารถใช้งานระบบได้ มีความเหมาะสมมากที่สุด (M = 4.75, SD = 0.50) รองลงมา คือ ระบบแจ้งสถานะให้ผู้ใช้ทราบเกี่ยวกับการดำเนินงานของระบบ และระบบช่วยให้ผู้ใช้สามารถใช้งานได้ง่ายโดยไม่ต้องจดจำคำสั่งมาก (M = 4.50, SD = 0.58) ระบบมีคู่มือการใช้งานที่ครบถ้วน เข้าใจง่าย และสามารถเข้าถึงได้ง่าย (M = 4.50, SD = 1.00) ตามลำดับ และความคิดเห็นของผู้ใช้ที่มีต่อระบบ พบว่า นักเรียนมีความคิดเห็นต่อระบบการทดสอบอยู่ในระดับมาก (M = 4.21, SD = 0.83) ด้านที่มีค่าเฉลี่ยมากที่สุด คือ ด้านการเรียนรู้การใช้งานระบบ (M = 4.35, SD = 0.79) รองลงมาคือด้านหน้าจอของระบบ (M = 4.23, SD = 0.83) และความสามารถของระบบ (M = 4.23, SD = 0.90) และด้านการใช้คำศัพท์และสารสนเทศของระบบ (M = 4.17, SD = 0.83) ตามลำดับ