User Tools

Site Tools


notatki:ci:feat_sel

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
notatki:ci:feat_sel [2010/03/18 15:47]
127.0.0.1 edycja zewnętrzna
notatki:ci:feat_sel [2019/03/21 13:06] (current)
Line 1: Line 1:
-====== Feature selection ​(pl======+====== Feature selection ​====== 
 +====== General ====== 
 +  * [[http://​class-specific.com/​csf/​index.html|Class Specific Features]] 
 +  * [[http://​kzi.polsl.pl/​~jbiesiada/​Infosel/​index.html| Infosel++]] our library of feature selection methods 
 +  * [[http://​kzi.polsl.pl/​~jbiesiada/​Infosel/​files/​fsbibliography.html|Bibliography]] - our/​J.Biesiada bibliography of feature selection algorithms 
 +====Books ===== 
 +  * H. Liu, H. Motoda "​Feature Selection for Knowledge Discovery and Data Mining",​ Kluwer Academic Press, 2000
  
-====== ​Współczynniki rankingowe ​====== +====== ​Search strategies ​====== 
-Do selekcji cech często używa się różnych współczynników rankingowych,​ które mierzą relacje zachodzące pomiędzy zmiennymi niezależnymi,​ a zależnymi. Część z metod zakłada liniową zależność pomiędzy dowma zmiennymi. \\+===== Ranking methods ===== 
 +  * Correlation based ranking coefficient 
 +    * Linear Correlation Coefficient  
 +      * Pearson Linear Correlation 
 +    * Nonlinear correlation (usefull for regressino problems) 
 +      * Spearmana Correlation 
 +  * Information theory based ranking coefficient 
 +    * Mutual Information  
 +    * Normalized Information Gain 
 +    * Normalized Information Gain Ratio 
 +    * Information Gain for Class-Feature Entrophy 
 +    * Mantaras distance 
 +    * Weighted Joint Entropy index  
 +  * Statistical ranking coefficient 
 +    * Kullback–Leibler divergence 
 +    * Hilbert Schmidt Independence Criterium  
 +    * Chi^2 statistic
  
-===== Współczynniki liniowe ​===== +====== ​Visualization ​======
-Część ze współczynników zakłada liniową zależność pomiędzy obywoma (lub również większą ilością zmiennych) należą do nich: +
- +
-==== Wsp. korelacji liniowej ==== +
-Wyraża się go wzorem:\\ +
-{{nauka:​notatki:​selekcja_cech:​Korelacja.png|}}\\ +
-i jest pochodną kowarincji:​\\ +
-{{nauka:​notatki:​selekcja_cech:​Kowariancja.png|}}\\ +
-Gdzie wartości bliskie 1 oraz -1 oznaczają bardzo silną zależność liniową. Dążenie wsp. do zera oznacza zanik tych relacji. Na przekątnej macierzy corelacji znajdują się 1 gdyż każda cech jest w pełni z sobą skorelowana. Współczynnik korelacji i kowariancja łączy wspólna zależność pokazana w powyższej zależności. +
- +
-===== Współczynniki nieliniowe ===== +
-Ponieważ w praktyce często zachodzi nielinowa zależność pomiędzy zmiennymi często sosuje się różne współczynniki pozwalające na oceną nieliniowej zależności pomiędzy zmiennymi. Do tego typu współczynników należą: +
- +
- +
-==== Informacja wzajemna ==== +
-Informacja wzajemna definowana jest jako: +
- +
-==== Kullback–Leibler divergence ==== +
- +
- +
-==== Hilbert Schmidt Independence Criterium ==== +
- +
- +
-==== Nieliniowe współczynniki korelacji ==== +
-Należą do nich m.in. rangowy współczynnik korelacji Spearmana +
- +
-====== Wizualizacja ​======+
 Głównym celem metod wizualizacji jest odzwierciedlenie danych wielowymiarowych w przestrzeni jedno, dwu lub trójwymiarowej. Innymi słowy chodzi o to by zachowując wzajemne położenie punktów w przestrzeni,​ lub zachowując topologię wielowymiarowej przestrzeni pokazać wzajemne położeni punktów np. zachowując ich sąsiedztwo w przestrzeni którą jesteśmy w stanie zrozumieć (stą najczęściej dwa wymiary). Głównym celem metod wizualizacji jest odzwierciedlenie danych wielowymiarowych w przestrzeni jedno, dwu lub trójwymiarowej. Innymi słowy chodzi o to by zachowując wzajemne położenie punktów w przestrzeni,​ lub zachowując topologię wielowymiarowej przestrzeni pokazać wzajemne położeni punktów np. zachowując ich sąsiedztwo w przestrzeni którą jesteśmy w stanie zrozumieć (stą najczęściej dwa wymiary).
  
-===== Metody zachowujące relacje pomiędzy odległościami ​===== +===== Distance relation preserving methods ​===== 
-Do tych grup metod można zaliczyć algorytmy które próbują odzwierciedlić wzajemne położenie punktów w przestrzeni zachowując ich wzajemne odległości.Do tego typu algorytmów należą np. skalowanie wielowymiarowe ​MDS (multidimensional scaling) oraz odwzorowanie Samona +  ​* ​MDS 
-  +  ​* ​Samona ​Mapping 
-==== MDS ==== +  * PCA 
- +===== Topology preserving methods ​===== 
-==== odwzorowanie ​Samona ​==== +  ​* ​SOM topological maps 
- +  ​* ​Generative Topological Maps (GTM) 
-===== Metody zachowujące topologię danych ​===== +
- +
-==== Mapy samoorganizujące ​SOM ==== +
-==== Generative Topological Maps (GTM) ====+
  
notatki/ci/feat_sel.txt · Last modified: 2019/03/21 13:06 (external edit)