STUDY OF THE EFFECT OF FEATURES EXTRACTION ON tSNE ALGORITHM

Abstract

Recently, the tSNE algorithm is one of the most popular feature extraction algorithms used in dimensionality reduction and data visualization tasks. However, when applying tSNE to reduce the dimensionality of the dataset before performing the classification, the classification results would substantially deteriorate. This is because tSNE cannot preserve the global structure of the dataset. In order to solve this drawback in tSNE, the use of a two-step feature extraction algorithm was proposed to improve the global structure of the reduced-dimension dataset. Another feature extraction algorithm was applied before performing tSNE in the final step. Then, the reduced dimension data is used to perform classification using various classification models, compared to using tSNE directly. The results showed that the classification results when using two-step feature extraction significantly improved in comparison to only using tSNE. Also, in some datasets, the classification results of using a two-step feature extraction on the full dimensional data.

ในปัจจุบันอัลกอริทึมสกัดคุณลักษณะ tSNE ได้รับความนิยมอย่างมากในการใช้ลดจำนวนมิติของชุดข้อมูลและการแสดงภาพของข้อมูล ทว่าการใช้อัลกอริทึม tSNE กับข้อมูลเพื่อลดจำนวนมิติลงก่อนทำการจำแนกข้อมูลจะทำให้ประสิทธิภาพการจำแนกข้อมูลลดลงอย่างมาก เนื่องจากอัลกอริทึม tSNE ไม่สามารถรักษาคุณสมบัติโดยรวมของข้อมูลไว้ได้ ในการศึกษานี้เรานำเสนอการใช้อัลกอริทึมสกัดคุณลักษณะแบบสองขั้นเพื่อรักษาคุณสมบัติโดยรวมของข้อมูลไว้อันจะเป็นการเพิ่มประสิทธิภาพในการจำแนกข้อมูลที่ผ่านการลดจำนวนมิติด้วยอัลกอริทึม tSNE จากการทดลองพบว่าผลการจำแนกข้อมูลด้วยการใช้อัลกอริทึมสกัดคุณลักษณะแบบสองขั้นให้ประสิทธิภาพดีกว่าการใช้อัลกอริทึม tSNE แต่เพียงอย่างเดียว อีกทั้งในบางชุดข้อมูลยังมีประสิทธิภาพดีกว่าการใช้ข้อมูลที่ไม่ผ่านการลดมิติอีกด้วย