Witam wszystkich,
Mam takie pytanie - wartość oczekiwaną można estymować poprzez średnią, czyż nie?
W myśl powyższego wyszło mi to co poniżej, ale mam wrażenie, że coś robię źle (p(x) i q(x) to funkcje gęstości prawdopodobieństwa, mam próbę wielkości Np z p(x) i Nq z q(x)):
\(\displaystyle{ \int_{}^{} q(x)p(x) dx = E_{p(x)} \left[ q(x)\right] = E_{q(x)} \left[ p(x)\right]}\)
\(\displaystyle{ E_{p(x)} \left[ q(x)\right] = \frac{1}{Np} \sum_{i=1}^{Np} q(x_{i})}\)
\(\displaystyle{ E_{q(x)} \left[ p(x)\right] = \frac{1}{Nq} \sum_{i=1}^{Nq} p(x_{i})}\)
I dalej:
\(\displaystyle{ \int_{}^{} p^{2}(x) dx = E_{p(x)} \left[ p(x)\right] = \frac{1}{Np} \sum_{i=1}^{Np} p(x_{i})}\) ??
Z góry dzięki
Estymacja wartości oczekiwanej
-
Marcin12234
- Użytkownik
- Posty: 5
- Rejestracja: 11 mar 2010, o 18:11
- Płeć: Mężczyzna
- Lokalizacja: Katowice
Estymacja wartości oczekiwanej
A co to jest \(\displaystyle{ E_{p(x)} \left[ q(x)\right]}\) bo na pewno nie wartość oczekiwana??
-
Marcin12234
- Użytkownik
- Posty: 5
- Rejestracja: 11 mar 2010, o 18:11
- Płeć: Mężczyzna
- Lokalizacja: Katowice
Estymacja wartości oczekiwanej
No to chyba coś jest nie tak
Bo iloczyn \(\displaystyle{ q(x)p(x)}\) to jest łączna gęstość rozkładu dwuwymiarowego zmiennych o rozkładach \(\displaystyle{ p(x),q(x)}\) a nie wartość oczekiwana.
Ewentualnie można na to patrzeć jako na wartość oczekiwaną zmiennej \(\displaystyle{ Y = p(X)}\) lub \(\displaystyle{ Z=q(X)}\) (duże X to zmienna losowa nie jej wartość).
Ale estymator takiego rozkładu to nie jest taka prosta sprawa. Z definicji mamy \(\displaystyle{ EY = \int y dP^Y}\). Wydaje mi się, że w tym momencie bez znajomości funkcji gęstości nie da się napisać wzoru estymatora za pomocą np. gęstości funkcji \(\displaystyle{ p(x)}\), bo
\(\displaystyle{ P(Y \leq y) = P( p(X) \leq y ) = P( X \leq p^{-1} (y))}\)
Nie wiadomo czy odwrotność w ogóle istnieje. Zakładając że mamy rozkład możemy teraz wyznaczać różne estymatory, ale moim zadaniem bez znajomości funkcji nie da się tego zrobić w ogólnym przypadku.
Ogólnie postać estymatora zależy od metody estymacji - największa wiarygodność, MNK, metoda momentów, i nie jest tak że estymatorem funkcji parametru jest ta sama funkcja tyle że od wartości zmiennej obserwowanej.
Teraz nie mam czasu dokładnie się w to wgłębiać, może w tygodniu napisze coś dokładniej.
Bo iloczyn \(\displaystyle{ q(x)p(x)}\) to jest łączna gęstość rozkładu dwuwymiarowego zmiennych o rozkładach \(\displaystyle{ p(x),q(x)}\) a nie wartość oczekiwana.
Ewentualnie można na to patrzeć jako na wartość oczekiwaną zmiennej \(\displaystyle{ Y = p(X)}\) lub \(\displaystyle{ Z=q(X)}\) (duże X to zmienna losowa nie jej wartość).
Ale estymator takiego rozkładu to nie jest taka prosta sprawa. Z definicji mamy \(\displaystyle{ EY = \int y dP^Y}\). Wydaje mi się, że w tym momencie bez znajomości funkcji gęstości nie da się napisać wzoru estymatora za pomocą np. gęstości funkcji \(\displaystyle{ p(x)}\), bo
\(\displaystyle{ P(Y \leq y) = P( p(X) \leq y ) = P( X \leq p^{-1} (y))}\)
Nie wiadomo czy odwrotność w ogóle istnieje. Zakładając że mamy rozkład możemy teraz wyznaczać różne estymatory, ale moim zadaniem bez znajomości funkcji nie da się tego zrobić w ogólnym przypadku.
Ogólnie postać estymatora zależy od metody estymacji - największa wiarygodność, MNK, metoda momentów, i nie jest tak że estymatorem funkcji parametru jest ta sama funkcja tyle że od wartości zmiennej obserwowanej.
Teraz nie mam czasu dokładnie się w to wgłębiać, może w tygodniu napisze coś dokładniej.
-
Marcin12234
- Użytkownik
- Posty: 5
- Rejestracja: 11 mar 2010, o 18:11
- Płeć: Mężczyzna
- Lokalizacja: Katowice
Estymacja wartości oczekiwanej
suwak,
Do tego co napisałem, doszedłem mniej-więcej w następujący sposób (może to pomoże Ci w rozmyślaniach). Jeśli X jest zmienną losową o funkcji gęstości prawdopodobieństwa f(x), to jej wartość oczekiwana wynosi:
\(\displaystyle{ \mathbb EX = \int\limits_{-\infty}^{+\infty}~x f(x) dx}\)
Jeżeli Y = q(X) jest funkcją mierzalną, to:
\(\displaystyle{ \mathbb EY = \mathbb E\left(q(X)\right) = \int\limits_\mathbb R~q(x) f(x) dx}\)
Analogicznie, jeżeli q(x) jest funkcją gęstości prawdopodobieństwa, a f(X) jest funkcją mierzalną:
\(\displaystyle{ \mathbb E\left(f(X)\right) = \int\limits_\mathbb R~q(x) f(x) dx}\)
Załóżmy, że dysponuję estymatorem f(x) i próbą losową N wartości zmiennej X (z dystrybucji f(x)). Czy w takim wypadku estymator wartości oczekiwanej mogę wyliczyć tak:
\(\displaystyle{ \mathbb E\left(q(X)\right) \approx \frac{1}{N} \sum_{i=1}^{N} q(x)}\)
Do tego co napisałem, doszedłem mniej-więcej w następujący sposób (może to pomoże Ci w rozmyślaniach). Jeśli X jest zmienną losową o funkcji gęstości prawdopodobieństwa f(x), to jej wartość oczekiwana wynosi:
\(\displaystyle{ \mathbb EX = \int\limits_{-\infty}^{+\infty}~x f(x) dx}\)
Jeżeli Y = q(X) jest funkcją mierzalną, to:
\(\displaystyle{ \mathbb EY = \mathbb E\left(q(X)\right) = \int\limits_\mathbb R~q(x) f(x) dx}\)
Analogicznie, jeżeli q(x) jest funkcją gęstości prawdopodobieństwa, a f(X) jest funkcją mierzalną:
\(\displaystyle{ \mathbb E\left(f(X)\right) = \int\limits_\mathbb R~q(x) f(x) dx}\)
Załóżmy, że dysponuję estymatorem f(x) i próbą losową N wartości zmiennej X (z dystrybucji f(x)). Czy w takim wypadku estymator wartości oczekiwanej mogę wyliczyć tak:
\(\displaystyle{ \mathbb E\left(q(X)\right) \approx \frac{1}{N} \sum_{i=1}^{N} q(x)}\)
Estymacja wartości oczekiwanej
Dla estymatorów wyznaczanych metodą największej wiarogodności twierdzenie mówi, że estymatorem największej wiarogodności dla parametru \(\displaystyle{ g(\theta)}\) jeżeli \(\displaystyle{ g}\) jest funkcją ciągłą jest \(\displaystyle{ g(\hat\theta)}\).
Czyli u Ciebie estymatorem będzie np. \(\displaystyle{ q\left(\frac{1}{n} \sum x_i \right)}\) a nie
\(\displaystyle{ \frac{1}{n}\sum q(x_i)}\)
Czyli u Ciebie estymatorem będzie np. \(\displaystyle{ q\left(\frac{1}{n} \sum x_i \right)}\) a nie
\(\displaystyle{ \frac{1}{n}\sum q(x_i)}\)
-
Marcin12234
- Użytkownik
- Posty: 5
- Rejestracja: 11 mar 2010, o 18:11
- Płeć: Mężczyzna
- Lokalizacja: Katowice
Estymacja wartości oczekiwanej
Hmmm... tak rzecz ujmując to wychodzi mi już calkowity kosmos. Może lepiej nakreślę cały problem jaki mam. Chcę oszacować wartość dywergencji Kullbacka-Leiblera pomiędzy funkcjami gęstości prawdopodobieństwa p i q. Definicja mówi tak:
\(\displaystyle{ D_{KL}(p,q) = \int\limits_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)}dx}\)
Problem polega na tym, że dysponuję wyłącznie próbą losową wielkości Np z pierwszej dystrybucji i wielkości Nq z drugiej. Widziałem, że ludzie robią tak:
\(\displaystyle{ \int\limits_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)}dx = E_{p(x)}\left[\log \frac{p(x)}{q(x)}\right] \approx \frac{1}{Np}\sum_{i=1}^{Np} \log \frac{p(x_i)}{q(x_i)} \approx \frac{1}{Np}\sum_{i=1}^{Np} \log \frac{\hat p(x_i)}{\hat q(x_i)}}\)
gdzie \(\displaystyle{ \hat p(x_i)}}\) i \(\displaystyle{ {\hat q(x_i)}}\) są wyznaczane w jakiś standarowy sposób z prób losowych. I w zasadzie nie mam co do tego zastrzeżeń. Ale próbowałem przy tych samych założeniach zrobić estymator poniższej funkcji:
\(\displaystyle{ V = \int\limits_{-\infty}^{\infty} p^2(x) dx}\)
Z definicji:
\(\displaystyle{ V = E_{p(x)}\left[p(x)\right]}\)
Estymując dtsrybucję p(x) tak: \(\displaystyle{ \hat p(x) &=& \frac{1}{N} \sum_{i=1}^{N} G(x-x_{i},\sigma^{2})}\), gdzie G to dystrubycja normalna o średniej x-xi i wariancji sigma^2, estymator V1 wyszedł mi tak:
\(\displaystyle{ \hat V_1 = \frac{1}{Np}\sum_{i=1}^{Np} \hat p(x) = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np} G(x_{i}-x_{j},\sigma^{2})}\)
No i do tego wyniku też nie miałbym się co przyczepić, gdyby nie fakt, że licząc to wszystko w inny sposób wychodzi mi inaczej, a mianowicie:
\(\displaystyle{ \hat V_2 = \int\limits_{-\infty}^{\infty} \hat p(x) \hat p(x) dx = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np}\int_{-\infty}^{\infty} G(x-x_{i},\sigma^{2}) \:G(x-x_{j},\sigma^{2})\:dx = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np} G(x_{i}-x_{j},2\sigma^{2})}\)
gdzie ostatnie przekształcenie zrobiłem na podstawie twierdzenia o splocie dwóch dystrubucji normalnych. Czyli efektywnie \(\displaystyle{ \hat V_1 \neq \hat V_2}\) (różne wariancje). Mam skłonność bardziej ufać V2, bo więcej razy widziałem tego typu przekształcenie, dlatego cały czas podejrzewałem, że spósb wyznaczanie V1 jest zły. Dzisiaj jednak dotarło do mnie, że moża oba estymatory są poprawne - w końcu są to estymatory, więc mają prawa być różne. Tym bardziej, że jeżeli \(\displaystyle{ \lim_{N \rightarrow \infty} \sigma = 0}\) to \(\displaystyle{ \lim_{N \rightarrow \infty} \hat p(x) = p(x)}\), więc \(\displaystyle{ \lim_{N \rightarrow \infty} \hat V_1 = \lim_{N \rightarrow \infty} \hat V_2 = V}\), z tym, że V1 powinien być zbieżny nieco szybciej \(\displaystyle{ \sigma^2}\) będzie szybciej dążyć do 0 niż \(\displaystyle{ 2\sigma^2}\).
Oczywiście istnieje możliwość, że wypisuję tutaj jakieś totalne bzdury.... dlatego zależy mi na zewnętrznej opinii.
\(\displaystyle{ D_{KL}(p,q) = \int\limits_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)}dx}\)
Problem polega na tym, że dysponuję wyłącznie próbą losową wielkości Np z pierwszej dystrybucji i wielkości Nq z drugiej. Widziałem, że ludzie robią tak:
\(\displaystyle{ \int\limits_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)}dx = E_{p(x)}\left[\log \frac{p(x)}{q(x)}\right] \approx \frac{1}{Np}\sum_{i=1}^{Np} \log \frac{p(x_i)}{q(x_i)} \approx \frac{1}{Np}\sum_{i=1}^{Np} \log \frac{\hat p(x_i)}{\hat q(x_i)}}\)
gdzie \(\displaystyle{ \hat p(x_i)}}\) i \(\displaystyle{ {\hat q(x_i)}}\) są wyznaczane w jakiś standarowy sposób z prób losowych. I w zasadzie nie mam co do tego zastrzeżeń. Ale próbowałem przy tych samych założeniach zrobić estymator poniższej funkcji:
\(\displaystyle{ V = \int\limits_{-\infty}^{\infty} p^2(x) dx}\)
Z definicji:
\(\displaystyle{ V = E_{p(x)}\left[p(x)\right]}\)
Estymując dtsrybucję p(x) tak: \(\displaystyle{ \hat p(x) &=& \frac{1}{N} \sum_{i=1}^{N} G(x-x_{i},\sigma^{2})}\), gdzie G to dystrubycja normalna o średniej x-xi i wariancji sigma^2, estymator V1 wyszedł mi tak:
\(\displaystyle{ \hat V_1 = \frac{1}{Np}\sum_{i=1}^{Np} \hat p(x) = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np} G(x_{i}-x_{j},\sigma^{2})}\)
No i do tego wyniku też nie miałbym się co przyczepić, gdyby nie fakt, że licząc to wszystko w inny sposób wychodzi mi inaczej, a mianowicie:
\(\displaystyle{ \hat V_2 = \int\limits_{-\infty}^{\infty} \hat p(x) \hat p(x) dx = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np}\int_{-\infty}^{\infty} G(x-x_{i},\sigma^{2}) \:G(x-x_{j},\sigma^{2})\:dx = \frac{1}{Np^2} \sum_{i=1}^{Np} \sum_{j=1}^{Np} G(x_{i}-x_{j},2\sigma^{2})}\)
gdzie ostatnie przekształcenie zrobiłem na podstawie twierdzenia o splocie dwóch dystrubucji normalnych. Czyli efektywnie \(\displaystyle{ \hat V_1 \neq \hat V_2}\) (różne wariancje). Mam skłonność bardziej ufać V2, bo więcej razy widziałem tego typu przekształcenie, dlatego cały czas podejrzewałem, że spósb wyznaczanie V1 jest zły. Dzisiaj jednak dotarło do mnie, że moża oba estymatory są poprawne - w końcu są to estymatory, więc mają prawa być różne. Tym bardziej, że jeżeli \(\displaystyle{ \lim_{N \rightarrow \infty} \sigma = 0}\) to \(\displaystyle{ \lim_{N \rightarrow \infty} \hat p(x) = p(x)}\), więc \(\displaystyle{ \lim_{N \rightarrow \infty} \hat V_1 = \lim_{N \rightarrow \infty} \hat V_2 = V}\), z tym, że V1 powinien być zbieżny nieco szybciej \(\displaystyle{ \sigma^2}\) będzie szybciej dążyć do 0 niż \(\displaystyle{ 2\sigma^2}\).
Oczywiście istnieje możliwość, że wypisuję tutaj jakieś totalne bzdury.... dlatego zależy mi na zewnętrznej opinii.
Estymacja wartości oczekiwanej
Dwie rzeczy
1. Nie mówimy dystrybucja tylko dystrybuanta albo rozkład. Dystrybucja w matematyce to coś innego.
2. Estymacja odległości KL nie jest tak trywialna, najpierw trzeba zdefiniować dla jakich rozkładów ciągłych czy dyskretnych chcesz ją liczyć i jak mierzyć błąd.
Możliwych rozwiązań jest dużo np. można estymować rozkłady p(x) i q(x) estymatorami jądrowymi i potem po prostu policzyć odległość KL, można też zrobić tak jak tutaj: ... kld_01.pdf
Zależy co wiesz o gęstościach p i q, czy estymujesz dla nich parametry czy w ogóle nic nie zakładasz o postaci gęstości.
3. Co do obliczeń estymatorów sprawdzę to jutro jak będę miał chwilę czasu.
1. Nie mówimy dystrybucja tylko dystrybuanta albo rozkład. Dystrybucja w matematyce to coś innego.
2. Estymacja odległości KL nie jest tak trywialna, najpierw trzeba zdefiniować dla jakich rozkładów ciągłych czy dyskretnych chcesz ją liczyć i jak mierzyć błąd.
Możliwych rozwiązań jest dużo np. można estymować rozkłady p(x) i q(x) estymatorami jądrowymi i potem po prostu policzyć odległość KL, można też zrobić tak jak tutaj: ... kld_01.pdf
Zależy co wiesz o gęstościach p i q, czy estymujesz dla nich parametry czy w ogóle nic nie zakładasz o postaci gęstości.
3. Co do obliczeń estymatorów sprawdzę to jutro jak będę miał chwilę czasu.
-
Marcin12234
- Użytkownik
- Posty: 5
- Rejestracja: 11 mar 2010, o 18:11
- Płeć: Mężczyzna
- Lokalizacja: Katowice
Estymacja wartości oczekiwanej
1. Co do terminologii to musisz mi wybaczyć, ale znam głównie angielską, stąd niektóre nieścisłości (dysrybucja-dystrybuanta dla przykładu ).
2. Interesują mnie tylko rozkłady ciągłe, nie zakładam dla nich żadnych form parametrycznych i używam estymatorów jądrowych (Parzen), które też niestety mają swoje problemy. Z "po prostu policzyć KL" to chyba troszkę przesadziłeś, bo o ile w przestrzeni 1 czy 2 wymiarowej taką całkę można jeszcze estymować numerycznie, to w 10 wymiarach już nie bardzo.
Tego estymatora, do którego przysłałeś link też używam, ale nie jest wcale taki dobry jak twierdzą autorzy (nieraz dostaję np. wartości ujemne). I moim zdaniem mają błąd w estymatorze na slajdzie 5, po podstawieniu \(\displaystyle{ \hat p(x_i)}\) i \(\displaystyle{ \hat q(x_i)}\) powinno być \(\displaystyle{ \log \frac{s_k(x_i)}{r_k(x_i)}}\), a nie odwrotnie.
Poza tym im więcej róznych estymatorów tym lepiej, nie? No i chcę też liczyć inne dywergencje, nie tylko KL, a jest ich trochę. Widzę, że wywiązała nam się tutaj ciekawa dyskusja
Aha, w międzyczasie udało mi się potwierdzić prawidłowość tego:
\(\displaystyle{ E_{p(x)} \left[ q(x)\right] \approx \frac{1}{Np} \sum_{i=1}^{Np} q(x_{i})}\)
Prawo Wielkich Liczb...
2. Interesują mnie tylko rozkłady ciągłe, nie zakładam dla nich żadnych form parametrycznych i używam estymatorów jądrowych (Parzen), które też niestety mają swoje problemy. Z "po prostu policzyć KL" to chyba troszkę przesadziłeś, bo o ile w przestrzeni 1 czy 2 wymiarowej taką całkę można jeszcze estymować numerycznie, to w 10 wymiarach już nie bardzo.
Tego estymatora, do którego przysłałeś link też używam, ale nie jest wcale taki dobry jak twierdzą autorzy (nieraz dostaję np. wartości ujemne). I moim zdaniem mają błąd w estymatorze na slajdzie 5, po podstawieniu \(\displaystyle{ \hat p(x_i)}\) i \(\displaystyle{ \hat q(x_i)}\) powinno być \(\displaystyle{ \log \frac{s_k(x_i)}{r_k(x_i)}}\), a nie odwrotnie.
Poza tym im więcej róznych estymatorów tym lepiej, nie? No i chcę też liczyć inne dywergencje, nie tylko KL, a jest ich trochę. Widzę, że wywiązała nam się tutaj ciekawa dyskusja
Aha, w międzyczasie udało mi się potwierdzić prawidłowość tego:
\(\displaystyle{ E_{p(x)} \left[ q(x)\right] \approx \frac{1}{Np} \sum_{i=1}^{Np} q(x_{i})}\)
Prawo Wielkich Liczb...
Estymacja wartości oczekiwanej
Sama estymacja jądrowa jest do bani bez dobrego parametru wygładzającego, którego dobór to z kolei osobny problem, ale jeżeli np. wiemy że gęstość jest unimodalna to odpowiednia modyfikacja z dobrze dobranym parametrem daje bardzo dobre efekty.
Co do błędu to nie wiem bo dokładnie nie czytałem ale możliwe bo na slajdach bywają błędy. Ja bym poszukał jakiejś publikacji w dobrym czasopiśmie pewnie ktoś już zrobił eksperymenty numeryczne dla różnych gęstości.
Co do błędu to nie wiem bo dokładnie nie czytałem ale możliwe bo na slajdach bywają błędy. Ja bym poszukał jakiejś publikacji w dobrym czasopiśmie pewnie ktoś już zrobił eksperymenty numeryczne dla różnych gęstości.