SPEECH RECOGNITION SYSTEM FOR HEARING DISABILITYUSING NEURAL NETWORK

Abstract

Listening is one of the most important skills in learning human languages and in speech. However, some people have a disability in communicating with others for many reasons. One of the main causes of speech impairment is hearing impairment or hearing loss. This research proposes a speech recognition system for rehabilitation of communication in people with bilateral cochlear implant surgery. It includes the 66 words for the rehabilitation of communication. The Mel-Frequency Cepstal Coefficient (MFCC) was used for speech feature extraction. The Convolutional Neural Network (CNN), Artificial Neural Network (ANN), Neural Network (NN) and K-Nearest Neighbor (KNN) were used for speech classification. Based on the test results of the 10 classes and 20 classes datasets, the ANN algorithm achieved the highest accuracy compared to other algorithms, which were at 97.78% and 86.11%, respectively. For 30 classes, 40 classes, 50 classes, 60 classes and 66 classes datasets, the KNN algorithm achieved the highest accuracy compared to other algorithms, which were at 89.63%, 81.67%, 82.67%, 85.37% and 80.98%, respectively.

การฟัง ถือเป็นทักษะหนึ่งที่สำคัญในการเรียนรู้ภาษาและการพูดของมนุษย์ หากเกิดความบกพร่องในการติดต่อสื่อสารกับผู้อื่นอาจเกิดจากหลายสาเหตุ แต่สาเหตุสำคัญที่ทำให้เกิดความบกพร่องทางการพูดคือ การบกพร่องทางการฟังหรือการสูญเสียการได้ยิน ในงานวิจัยนี้จึงนำเสนอระบบรู้จำเสียงสำหรับฟื้นฟูการสื่อสารของคนที่ผ่าตัดประสาทหูเทียมทั้งหูสองข้าง ซึ่งมีคำศัพท์สำหรับฟื้นฟูการสื่อสารจำนวน 66 คำ สำหรับการหาลักษณะสำคัญของเสียงด้วยวิธี สัมประสิทธิ์เซปสตรัมของเมล (Mel-Frequency Cepstal Coefficient: MFCC) และสำหรับการจำแนกเสียงต่างๆ ด้วยวิธีการ โครงข่ายประสาทแบบคอนโวลูชัน (Convolutional Neural Network: CNN), โครงข่ายประสาทเทียม (Artificial Neural Network: ANN), โครงข่ายประสาท (Neural Network: NN) และการเรียนรู้เพื่อนบ้านที่ใกล้ที่สุด (K-Nearest Neighbor: KNN) จากผลการทดสอบด้วยชุดข้อมูลเสียงที่แบ่งเป็น 10 กลุ่มข้อมูล และ 20 กลุ่มข้อมูล วิธีการ ANN ได้ค่าความถูกต้องสูงที่สุดเมื่อเปรียบเทียบกับวิธีการอื่นๆ คือ 97.78% และ 86.11% ตามลำดับ สำหรับชุดข้อมูลเสียงที่แบ่งเป็น 30 กลุ่มข้อมูล, 40 กลุ่มข้อมูล, 50 กลุ่มข้อมูล, 60 กลุ่มข้อมูล และ 66 กลุ่มข้อมูล วิธีการ KNN ได้ค่าความถูกต้องสูงที่สุดเมื่อเปรียบเทียบกับวิธีการอื่นๆ คือ 89.63%, 81.67%, 82.67%, 85.37% และ 80.98% ตามลำดับ