Gözetimsiz öznitelik seçim algoritmalarının karşılaştırılması ve entropiye dayalı yeni bir yöntemin önerilmesi

Abstract

Özellik seçim işlemi, Makine Öğrenimi algoritmalarının çok boyutluluğun lanetinden (curse of dimensionality) etkilenmemesi için çok önemlidir. Özellik seçim algoritmaları bu sorunu çözmeye çalışmaktadır. Ancak, özellik seçim algoritmalarının bazı yetersizlikleri vardır: (i) Her bir makine öğrenme algoritmasının performansı seçilen özellikler üzerinde önemli ölçüde farklı olabilir. (ii) Sınıflandırıcıların performansında, alt kümedeki varyasyona bağlı olarak önemli dalgalanmalar da gözlemlenebilir. (iii) Seçilen özellikler büyük veri kümeleri üzerinde uzun zaman harcayabilmektedir. Bu tezde, yukarıda bahsedilen sorunlarla başa çıkmak için, tek değişkenli ve filtre yaklaşımına dayanan, hızlı bir gözetimsiz özellik seçim algoritması önerilmektedir. Önerilen algoritma hem dağılımın kümülatif entropisini hem de dağılımın simetrisi ile hesaplanan Shannon entropisini her bir boyut için birlikte ele almaktadır. Son teknoloji algoritmalarla yapılan karşılaştırmalar sonucunda deneysel sonuçlar, önerilen yöntemin diğer yöntemlere kıyasla bu sorunlarla daha iyi başa çıkabildiğini göstermektedir.

Feature selection task is essential for Machine Learning algorithms not to be influenced by the curse of dimensionality. In this regard, feature selection methods try to address this trouble. However, feature selection methods have some deficiencies: (i) the performance of each machine learning method can be remarkably different on the selected features (ii) significant changes can also be followed in the performance of the classifiers by depending on differences in the subset of selected feature (iii) they spend a long time on huge data sets. In this thesis, to cope with the aforementioned problems, we propose a fast unsupervised feature selection algorithm, which is based on a univariate and filter approach. The proposed method jointly regards both the cumulative entropy of the distribution and the Shannon entropy calculated by the symmetry of the distribution for each feature. As a result of comparisons with cutting-edge works, the experimental results demonstrate that the presented algorithm better overcomes these problems compared to other methods.