DOG BREED CLASSIFICATION AND IDENTIFICATION USING CONVOLUTIONAL NEURAL NETWORKS

Abstract

This research aims to study the methods for dog breed classification and dog identification from images of dogs' faces for Thai and foreign breeds. The main process involves two steps: The first step is dog breed classification using soft biometrics data, with a dataset of 20,949 images,122 breeds from Stanford Dogs for foreign breeds and from dog farms in Thailand for Thai breeds. The transfer learning technique from a convolutional neural network (CNN) model to extract features of dog images from six models were trained on the ImageNet dataset: Xception, VGG16, ResNet50, InceptionV3, MobileNetV2, and NasNetLarge. Then, build a new model for dog breed classification and compare the performance when using the original models and using feature extraction fusion with the new models created. The result was found to be that the highest accuracy in dog breed classification using the original models was achieved by NasNetLarge, with a maximum accuracy of 91%. and classification of dog breeds using features extracted from fusion with the new classification models created, the highest accuracy was achieved by NasNetLarge, with an accuracy of 93%. The second is step is dog identification, which is hard biometrics, utilizes a dataset of 500 images of 62 dogs from four breeds, including foreign dog breeds from Flickr-dog and Thai dog breeds from farms in Thailand. This research assumes that the four breeds represent the results of the breed classification step. Starting with dog face detection, extract the features of dogs by VGG16, ResNet50, InceptionV3, MobileNetV2, and NasNetLarge, as well as models from face recognition by VGGFace. Then, create a new model for dog identification. ResNet50 achieved a maximum accuracy of 75% on the dataset without augmentation, while MobileNetV2 achieved a maximum accuracy of 77% on the augmented dataset. This suggests that data augmentation has a minimal effect on the experimental results. Additionally, the pug breed makes for lower overall accuracy of the model, with an average pug breed accuracy of 40–50%, while both Thai breeds have high average accuracies of 80–90%.

งานวิจัยนี้มีจุดประสงค์เพื่อศึกษาวิธีการจำแนกสายพันธุ์ของสุนัขและการระบุตัวตนของสุนัขด้วยภาพใบหน้า สายพันธุ์ไทยและสายพันธุ์ต่างประเทศ ประกอบด้วย 2 ขั้นตอน 1. การจำแนกสายพันธุ์ของสุนัขจากภาพถ่ายสุนัข ซึ่งเป็น Soft Biometrics ใช้ชุดข้อมูลจาก Stanford Dogs สำหรับสายพันธุ์ต่างประเทศ และจากฟาร์มสุนัขในประเทศไทยสำหรับสายพันธุ์ไทย รวมทั้งสิ้น 20,949 รูป จำนวน 122 สายพันธุ์ ใช้เทคนิคการถ่ายโยงการเรียนรู้ (Transfer Learning) จากแบบจำลองโครงข่ายประสาทเทียมแบบคอนโวลูชัน (Convolutional Neural Networks หรือ CNNs) สำหรับนำมาใช้ในการสกัดคุณลักษณะของรูปภาพสุนัข จากนั้นดำเนินการสร้างแบบจำลองใหม่สำหรับการจำแนกสายพันธุ์ของสุนัข โดยใช้แบบจำลอง CNNs ทั้งหมด 6 แบบจำลอง ที่มีการเรียนรู้กับชุดข้อมูล ImageNet ได้แก่ Xception, VGG16, ResNet50, InceptionV3, MobileNetV2 และ NasNetLarge และเปรียบเทียบประสิทธิภาพระหว่างการใช้งานแบบจำลองดั้งเดิม และการสกัดคุณลักษณะของแบบจำลองร่วมกับแบบจำลองในการจำแนกสายพันธุ์ที่สร้างขึ้น พบว่าผลลัพธ์การใช้แบบจำลองดั้งเดิมได้ค่าความแม่นยำสูงสุดอยู่ที่ 91% ได้แก่ NasNetLarge ส่วนการใช้การสกัดคุณลักษณะร่วมกับแบบจำลองที่สร้างขึ้นมีค่าความแม่นยำสูงสุดอยู่ที่ 93% ได้แก่ NasNetLarge 2. การระบุตัวตนของสุนัขด้วยภาพใบหน้า ซึ่งเป็น Hard Biometrics ใช้ชุดข้อมูลจาก Flickr-dog สำหรับสายพันธุ์ต่างประเทศ และจากฟาร์มสุนัขในประเทศไทยสำหรับสายพันธุ์ไทย รวมทั้งสิ้น 500 รูป 62 ตัว 4 สายพันธุ์ โดยผู้วิจัยได้ตั้งสมมุติฐานว่า 4 สายพันธุ์นี้คือผลลัพธ์จากการทำจำแนกสายพันธุ์ ขั้นตอนนี้เริ่มจากการตรวจจับใบหน้าของสุนัข ทำการสกัดคุณลักษณะของสุนัขแต่ละตัว จาก 5 แบบจำลอง ซึ่งมีการเรียนรู้กับชุดข้อมูล ImageNet ประกอบด้วย VGG16, ResNet50, InceptionV3, MobileNetV2 และ NasNetLarge และแบบจำลองที่เรียนรู้มาจากใบหน้าอย่าง VGGFace จากนั้นดำเนินการสร้างแบบจำลองใหม่สำหรับการระบุตัวตนสุนัขและเปรียบเทียบประสิทธิภาพ โดยResNet50 ให้ค่าความแม่นยำสูงสุดอยู่ที่ 75% จากชุดข้อมูลที่ไม่มีการทำ Augmentation และ MobileNetV2 ให้ค่าความแม่นยำสูงสุดอยู่ที่ 77% จากชุดข้อมูลที่มีการทำ Augmentation จะเห็นได้ว่าการทำ Augmentation มีผลเล็กน้อยในการเพิ่มประสิทธิภาพการรู้จำ และจากการวิเคราะห์ภาพรวมพบว่าสายพันธุ์ที่ทำให้ค่าความแม่นยำของแบบจำลองน้อย คือสายพันธุ์ Pug โดยค่าเฉลี่ยความแม่นยำของสายพันธุ์อยู่ที่ 40-50% และสายพันธุ์ไทยทั้ง 2 สายพันธุ์ มีค่าเฉลี่ยความแม่นยำแต่ละสายพันธุ์สูงถึง 80-90 %