ENHANCING UNIVERSITY INFORMATION SERVICES WITH GENERATIVE AI

Abstract

This research develops an AI Chatbot using Retrieval-Augmented Generation (RAG) to improve university information services. Universities often struggle with data scattered across multiple platforms, which can lead to delays and inaccuracies in providing information. The developed system utilizes Hybrid Retrieval, a combination of BM25 and Semantic Search, to enhance the efficiency of data retrieval. Data for the system was gathered from university websites, focusing on seven key categories: academic calendar, curriculum details, contact information, course structure, study plans, fees and scholarship of the branch. The system's performance was tested using 65 questions, achieving a 95% retrieval evaluation score and a 87.83% response quality score. Furthermore, BERTScore was employed to measure semantic alignment, yielding a Precision of 85.19%, Recall of 90.94%, and an F1 score of 87.83%, indicating a good level of understanding between the generated answers and the reference information.

งานวิจัยนี้ได้พัฒนาระบบ AI Chatbot โดยใช้เทคโนโลยี Retrieval-Augmented Generation (RAG) เพื่อปรับปรุงบริการข้อมูลของมหาวิทยาลัย เนื่องจากมหาวิทยาลัยประสบปัญหาข้อมูลกระจัดกระจายในหลาย แพลตฟอร์ม ทำให้เกิดความล่าช้าและความไม่ถูกต้องของข้อมูล ระบบนี้ใช้ Hybrid Retrieval ซึ่งผสมผสานระหว่าง BM25 และ Semantic Search เพื่อเพิ่มประสิทธิภาพในการดึงข้อมูล ข้อมูลที่ใช้ในการพัฒนาระบบถูกรวบรวมจากเว็บไซต์ของมหาวิทยาลัย 7 ประเภท ได้แก่ ปฏิทินการศึกษา, รายละเอียดหลักสูตร, ข้อมูลติดต่อ, โครงสร้างหลักสูตร, แผนการเรียน ค่าธรรมเนียม เเละทุนการศึกษาของสาขา จากการทดสอบด้วยคำถาม 65 ข้อ พบว่าระบบมีประสิทธิภาพในการดึงข้อมูลถึง 95% และคุณภาพการตอบสนองอยู่ที่ 87.83% นอกจากนี้ การ ประเมินด้วย BERTScore แสดงให้เห็นถึงความสอดคล้องทางความหมายที่ดีระหว่างคำตอบที่สร้างขึ้นและข้อมูล อ้างอิง โดยมีค่า Precision 85.19%, Recall 90.94% และ F1 87.83%