User Tools

Site Tools


notatki:ci:nne

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
notatki:ci:nne [2010/03/18 15:47]
127.0.0.1 edycja zewnętrzna
notatki:ci:nne [2019/03/21 13:06] (current)
Line 1: Line 1:
-====== NNE (pl) ====== +====== NNE ====== 
-====== Bezparametryczna estymacja szumu ======  +===== References ​===== 
-Idea bezparametrycznej estymacji szumu (nonparametric noise estimationjest dosyć starym problemem i dotyczy głównie problemów regresjiTypowy problem regresji można zapisać jako:  +  * A. J. Jones, New Tool in Non-Linear Modelling and Prediction, Computational Management Science, Vol. 1(2), Springer Berlin Heidelberg, p108-149, 2004 
- +  S.E. KempI.D. WilsonJ.A. WareA tutorial ​on the gamma test, International Journal of Simulation Systems, Science & Technology, UK Society for Modelling and Simulation, UK, 2005 
-y=f(**x**)+//​r//​ +  * A.JJones, DEvansS.E. Kemp, A note on the gamma test analysis on noisy input/​output data and noisy time series, Physica D: Nonlinear PhenomenaVol229(1)p. 1-8, 2007 
- +  ​A.J. JonesDEvansSMargett, P.JDurrant, The Gamma Test, in Heuristic and Optimization for Knowledge Discovery, Editor RSarker, HAbbass and Ch. Newton, Idea Group Publishing/IRM PressHershey, p17033-1117 USA, 2002
-gdzie //​f(**x**)//​ to "​prawdziwa"​ postać funkcji//y// to obserwowane wartości na wyjściu tej funkcji, natomiast //r// to addytywny szum o średniej = 0który zabuża nam wyniki naszych obserwacjiInnymi słowy jeśli będziemy znali wartość szumu to będziemy mogli przewidzieć średni błąd naszego modeluponieważ nie powinien ​on przekroczyć wyestymowanej wartości //r//.\\  +  * A. Lendasse, F. Corona, J. Hao, N. Reyhano, M. Verleysen, Determination of the Mahalanobis Matrix using Nonparametric Noise Estimation, ESANN 2006, European Symposium on Artificial Neural Networks, Bruges ​(Belgium), p. 227-232, 2006 
-Do typowych metod wyznaczenia NNE można zaliczyć dwa różne podejścia:​ +  * Q. YuESeverinA. Lendasse, Variable Selection for Financial Modeling, CEF 2007, 13th International Conference on Computing in Economics and Finance Montréal, Quebec, Canada, 2007.
- +
-===== Delta test ===== +
-Delta test jest niczym innym jak założeniem że średni błąd modelu jest równy połowie błędu estymacji zrealizowanej w oparciu o algorytm 1-NN dla testu [[testowanie#​Jeden pozostaw|LOO]] ​Innymi słowy oblicza się go jako średnią wartość błędu MSE liczonego dla najbliższych sąsiadów wszystkich wektorów podzieloną przez 2. +
- +
- +
- +
- +
- +
-===== Gamma test ===== +
-Delta test jest poprawny przy założeniu że odległość najbliższego sąsiada do każdego z punktów jest stosunkowo mała i dąży do 0Zależność ta często jednak nie jest spełnionadlatego też opracowano Gamma test, który próbuje sobie radzić z opisanymi ograniczeniamiIdea Gamma-testu polega na wyznaczeniu średniej odległości zarówno w przestrzeni wejściowej ​(pomiędzy najbliższymi sąsiadamiktórzy znajdują się bliżej danego wektora niż założona miara //o// - **x**-**x_i**<//​o//​)jak i średniej odległości w przestrzeni wyjściowej do najbliższego wektora w przestrzeni wejściowejPonieaż pojawił się problem doboru //o// dlatego też założono uproszeniegdzie poszukiwany jest po prostu najbliższy nąsiad lub k najbliższych sąsiadów do danego punktuNa tej podstawie (różnic odległości na we i wy dla różnych //k//) budowany jest wykres średniej odległości //k// najbliższych sąsiadów w przestrzeni wejjak wyjJeśli dokonać prostej aproksymacji liniowej to można na tej podstawie wyznaczyć wartość błędu przy założeniu że odległość najbliższego sąsiada -> 0.\\  +
-Odpowiednią procedurę można zapisać jako: +
-  - Określ wartość k - liczbę rozpatrywanych najbliższych sąsiadów +
-  - Znajdź dla każdego wektora jego k najbliższych sąsiadówPowstanie więc macierz **S** o wymiarach [n x k] gdzie //n/to liczba wektorów w zbiorze treningowyma //k// liczba najbliższych sąsiadówElement macierzy //s_ij// stanowi więc na indeks //j// tego najbliższego sąsiada do danego //i//-tego wektora+
-  ​- Dla każdego wektora treningowego wyznacz na podstawie ​**S** wartości odległości do //j// - tego najbliższego sąsiada **D**_ij = d(x_i s_ij)^2gdzie //d// to funkcja odległości Euklidesa +
-  ​Podobnie jak powyżej na podstawie **S** zbuduj macierz która zawiera kwadrat błędu wartości wyjściowych **C**_ij = (y_i - y_{s_ij})^2 +
-  ​- Wyznacz średni błąd dla każdego //j//-tego elementu w macierzach D i C w wyniku czego powinny powstać odpowiednio wektory o wymiarze ​**e** [1 x k] i **o** [1 x k] +
-  - Na podstawie par punktów **e** i **o** dokonaj aproksymacji funkcji liniowej o = a*e+bco można zapisać w postaci wektorowej jako **o** = **x***a+b gdzie poszukiwane są parametry a i bMożna to prosto rozwiązać jako [a b]=inv([**x** 1])**o** +
-  - Po wyznaczeniu parametrów a i bwartość b odpowiada poszukiwanej średniej wartości szumu.\\ +
-Szczegułów szukaj na [[nauka:​literatura:​nne]]+
  
notatki/ci/nne.txt · Last modified: 2019/03/21 13:06 (external edit)