COMPARISON OF LLM PERFORMANCE WITH CUSTOMER SERVICE STAFF

Abstract

This experimental research aimed to compare the effectiveness of AI large language models (LLMs) and human employees in providing after-sales customer service. The study focused on online products, assuming participants sought support for such products. It involved 100 participants who used AI chatbot-based after-sales services. Data were collected using two tools: (1) experimental Q&A sessions with participants and (2) a customer satisfaction questionnaire administered after the experiments. The research revealed that most of the respondents were female, aged 20-29 years, undergraduate students with an income of 30,000-39,999 baht per month. Most of them used after-sales service less than 5 times through the Line platform between 13:00-17:00 for issues related to electrical and electronic products. The satisfaction analysis found that the service had the highest average rating, followed by information, reliability, quality, overall satisfaction, and service duration. The comparison showed that AI services scored significantly higher than human employee services (p < 0.10) in terms of service, quality, information and reliability. These findings highlight the potential of AI LLMs in customer service, particularly in delivering high-quality and efficient information. However, human employees retain advantages in service duration and overall customer satisfaction.

การวิจัยนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพของ AI LLM กับการบริการลูกค้าระหว่างการให้บริการด้วยพนักงานและการให้บริการด้วย AI โดยศึกษาจากกลุ่มตัวอย่างผู้ใช้บริการหลังการขายด้วย AI Chatbot จำนวน 100 คน เป็นการวิจัยเชิงทดลอง (Experimental Research) เครื่องมือที่ใช้ในการเก็บรวบรวมข้อมูลในการทดลองของการวิจัยครั้งนี้แบ่งออกได้เป็น 2 ประเภท ได้แก่ การทดลอง สนทนาถาม-ตอบกับผู้ทดลอง และแบบสอบถามความพึงพอใจในการบริการหลังการขายหลังจากเสร็จสิ้นการทดลอง โดยสมมติให้เป็นประเภทสินค้าออนไลน์ ผลการวิจัยพบว่า ผู้ตอบแบบสอบถามส่วนใหญ่เป็นเพศหญิง อายุ 20-29 ปี การศึกษาระดับปริญญาตรี เป็นนักเรียน/นักศึกษา มีรายได้ 30,000-39,999 บาทต่อเดือน ส่วนใหญ่เคยใช้บริการหลังการขายน้อยกว่า 5 ครั้ง ผ่านช่องทาง Line ในช่วงเวลา 13:00-17:00 น. โดยสินค้าที่มีเกี่ยวกับปัญหาเครื่องใช้ไฟฟ้าและอิเล็กทรอนิกส์ การวิเคราะห์ความพึงพอใจพบว่า ด้านการบริการมีค่าเฉลี่ยสูงสุด รองลงมาคือด้านการให้ข้อมูล ด้านความน่าเชื่อถือ ด้านคุณภาพ ด้านความพึงพอใจโดยรวม และด้านระยะเวลาในการให้บริการ ตามลำดับ ผลการเปรียบเทียบพบว่า การให้บริการแบบ AI มีค่าเฉลี่ยสูงกว่าการให้บริการแบบพนักงานอย่างมีนัยสำคัญทางสถิติที่ระดับ 0.10 ในด้านการบริการ คุณภาพ การให้ข้อมูล และความน่าเชื่อถือ ขณะที่การให้บริการแบบพนักงานมีค่าเฉลี่ยสูงกว่าในด้านระยะเวลาการให้บริการและความพึงพอใจโดยรวม ผลการวิจัยนี้แสดงให้เห็นถึงศักยภาพของ AI LLM ในการให้บริการลูกค้า โดยเฉพาะในด้านคุณภาพและประสิทธิภาพการให้ข้อมูล อย่างไรก็ตามการบริการแบบพนักงานยังคงมีข้อได้เปรียบในด้านความพึงพอใจโดยรวมและระยะเวลาการให้บริการ