Ciekawy przykład estymatora nieobciążonego.

[Emiel Regis]

Zainspirowany dość częstym uwielbieniem wobec w/w estymatorów zamieszczam zadanie, które jeśli ktoś rozwiąże to otrzyma odpowiedź na pytanie "Dlaczego estymator nieobciążony niekoniecznie jest najlepszy".
Osoba do której w szczególności kieruje to zadanie na pewno będzie wiedziala, że o nią chodzi:]

Telefonistka zaczyna pracę z nową centralą, do której zgłoszenia napływają zgodnie z procesem Poissona o intensywności lambda zgłoszeń na 10 minut.
W ciągu pierwszych 10 minut pracy telefonistka dostała X zgłoszeń i zastanawia się jakie jest prawdopodobieństwo, że wychodząc na kawę na 20 minut nie przegapi żadnego zgłoszenia.
Znaleźć najlepszy nieobciążony estymator tego prawdopodobieństwa.

[kadykianus]

Ta osoba nigdy nie twierdziła, ze estymator nieobciążony jest najlepszy tylko dlatego ze jest nieobciążony.
By był najlepszy musi spełnić kilka innych warunków a definicja estymatora najlepszego jest precyzyjna

Trzeba pamiętać, ze estymator obciążony zawsze jest zły. Dlatego ze jest obciążony. To znaczy zawsze przekłamuje. Problem w tym ze nie wiadomo ile wynosi to przekłamanie. Jesli byśmy wiedzieli ile wynosi to nie byłby to estymator obciążony tylko nieobciążony (wystarczy odjąć od wartości oczekiwanej estymatora wartość przekłamania!)

A teraz zadanie.
Telefonistka nie wie ile wynosi lambda (gdyby wiedziała to by sobie obliczyła to prawdopodobieństwo)
Sprawa wiec tyczy sie oszacowania lambdy. Tak?

Czuje jednak, ze chcesz pokazać, ze obciążone oszacowanie lambdy (zakładające, że \(\displaystyle{ lambda
eq[X}\)) da lepsze oszacowanie szukanego prawdopodobieństwa. To jednak nie przesądza za tym ze estymator obciążony jest lepszy bo nie traktujesz go w roli do jakiej został stworzony. On jest estymatorem \(\displaystyle{ \lambda}\) i wszelkie kryteria jego użyteczności tycza się tego, czy użytecznie estymuje lamde a nie co innego.

Nie mniej chętnie sie dowiem jak rozwiązać to zadanie.

[Emiel Regis]

Trzeba pamiętać, ze estymator obciążony zawsze jest zły. Dlatego ze jest obciążony. To znaczy zawsze przekłamuje.

Trzeba pamiętać że to jest przedmiotem dyskusji i w złym guście jest założenie tezy a potem jej dowodzenie. Poza tym tak patrząc to zgadzam się, kazdy estymator jest zły, pytanie który mniej.

Widzisz, nie ma czegoś takiego jak "najlepszy" estymator. Estymator jednostajnie najmocniejszy musiałby mieć zerowe ryzyko dla każdego stanu natury a to jest możliwe tylko w trywialnych problemach. Natomiast my się zgodzilismy co do tego że w statystyce sie takimi nie zajmujemy bo pytamy się jak podejmowac decyzje w stanie niepewności.

Co do zadania:

Estymujemy prawdopodobieństwo tego że w ciągu 20 minut nie będzie żadnego zgłoszenia, jako że mamy do czynienia z procesem Poissona wyglada to tak:
\(\displaystyle{ (N_t)_{t\geqslant 0}}\) - proces Poissona
\(\displaystyle{ g(\lambda)=P_{\lambda}(N_2=0)=e^{-2\lambda}}\)
\(\displaystyle{ \^{g}(X)}\) - szukany estymator (X - liczba klientów w ciągu pierwszych 10 minut)
Jako że chcemy aby nasz estymator był nieobciążony to musi zachodzić:
\(\displaystyle{ \bigwedge_{\lambda} E_{\lambda}\^{g}(X)=e^{-2\lambda}}\)

albo... może już zostawie ciąg dalszy dla Ciebie. Pozostaje tylko policzyć tą wartość oczekiwaną i zastanowić się parę sekund. Bardziej skorzystasz jak sam to dokończysz i wyciągniesz odpowiednie wnioski. W razie kłopotów napisz to ja dokończe.

[kadykianus]

Musisz to dokończyć. Ja tego nie dokończę

[Emiel Regis]

hehe, dobrze. Wartość oczekiwaną liczę standardowo, wartość funkcji razy prawdopodobieństwo z jakim występuje, potem jeszcze tylko rozwinę funkcję wykładniczą w szereg, porównam współczynniki po obu stronach i będzie.
Czyli mamy tak:
\(\displaystyle{ \bigwedge_{\lambda} E_{\lambda}\^{g}(X)=e^{-2\lambda}}\)
\(\displaystyle{ \bigwedge_{\lambda} \sum_{x=0}^{\infty}\^{g}(x)\frac{\lambda^x}{x!}e^{-\lambda} =e^{-2\lambda}}\)
\(\displaystyle{ \bigwedge_{\lambda} \sum_{x=0}^{\infty}\^{g}(x)\frac{\lambda^x}{x!} = \sum_{x=0}^{\infty}(-1)^x\frac{\lambda^x}{x!}}\)

Ponieważ estymator ma być nieobciążony to powyższa równość ma zachodzic dla każdego stanu natury więc powinna to być tożsamość czyli porównuję współczynniki w obu szeregach:
\(\displaystyle{ \^g(x)=(-1)^x}\)
Z racji że to jest tożsamość to otrzymany estymator nieobciążony jest jedynym możliwym czyli jest także najlepszym estymatorem nieobciążonym. Myślę że juz sam będziesz w stanie sobie odpowiedzieć na ile on jest sensowny...


Jeszcze dla podsumowania odniosę się do mitu o którym wspominałem. Część osób (szczególnie fizycy) kojarzą obciążenie z błędem systematycznym co wywołuje u nich oczywistą niechęć dla tej cechy. Jednak jak rachunki pokazują siłowe narzucenie braku obciążenia może powodować absurdalne wyniki. Wtedy lepiej przyjąć jakieś obciążenie (rośnie ryzyko czyli pogarsza się estymator) jednak dzięki temu zmaleje jego wariancja (czyli ryzyko maleje i poprawia się estymator) i okaze się że sumarycznie ryzyko (czyli nasza miara "jakości" estymatora) zmaleje.

[kadykianus]

Nie rozumiem tego co napiales, ale Twoje zadanie można rozwiązać w taki sposób:

Proces Poissona o ktorym mowa \(\displaystyle{ (N_{t})_{t}_{\geqslant 0}}\) ma nieznana stałą intensywności którą mozna oszacować wedle \(\displaystyle{ \lambda = \frac{X}{10}}\) (mówiac po ludzku, szacujemy, że jest \(\displaystyle{ \frac{X}{10}}\) zgłoszeń na minutę)

Jesli tak, to liczba zgłoszeń w ciągu \(\displaystyle{ 20}\) minut \(\displaystyle{ N_{t}_{=20}}\) ma rozkład Poissona z wartościa oczekiwaną \(\displaystyle{ \lambda t = \frac{X}{10} 20 = 2 X}\)

Zatem mamy już prosto, że \(\displaystyle{ P(N_{t} = k) = \frac{(\lambda t)^{k}}{k!} e^{-\lambda t} P(N_{t = 20} = 0) = \frac{(2X)^{0}}{0!} e^{-2X} = e^{-2X}}\)

Telefonistka powinna wiec podstawić za \(\displaystyle{ X}\) liczbę zgłoszeń jakie zanotowała w ciagu \(\displaystyle{ 10}\) minut i otrzyma szukane prawdopodobieństwo.

[Emiel Regis]

Pomijając wszystko inne zapytam czy Twój estymator jest nieobciążony?

[kadykianus]

Matematycy twierdza, że \(\displaystyle{ \lambda = \frac{N_{T}}{T}}\) jest nieobciążonym i efektywnym estymatorem największej wiarogodności intensywności procesu.

To, czy \(\displaystyle{ e^{-2X}}\) daje nieobciążone prawdopodobieństwo - nie wiem czy w ogóle rozumiem to pytanie. Czy to jest estymator? Estymator czego?

Zastanówmy sie przez chwile co to wszystko znaczy.

Chcemy znać odpowiedz na pytanie: Ile wynosi \(\displaystyle{ P(N_{t=20} = 0)}\)

Wiemy już, że wynosi ono \(\displaystyle{ P(N_{t=20} = 0|E[N_{t=10}] = \lambda) = e^{-2\lambda}}\)

Problem w tym, że nie znamy wartości \(\displaystyle{ \lambda}\) tego badanego rozkładu. Możemy ją oszacować z próby którą jest jedna obserwacja \(\displaystyle{ x}\) będąca liczbą telefonów na \(\displaystyle{ 10}\) minut.

Zaproponowałem taki estymator (który nie jest mój sensu stricto, oczywiście), ze szukane

\(\displaystyle{ P(N_{t=20} = 0|E[N_{t=10}] = \lambda) = e^{-2x}}\)

Ty, zaproponowałeś taki estymator tego prawdopodobieństwa:

\(\displaystyle{ P(N_{t=20} = 0|E[N_{t=10}] = \lambda) = (-1)^{x}}\)

i stwierdziłeś, że jest on nieobciążony, choć absurdalny (bo oczywiście jest absurdalny) a mnie interesuje jego nieobciążoność.

Załóżmy hipotetycznie, że telefonistka miała szczęście i otrzymała \(\displaystyle{ x = \lambda}\). Może tak być.

Wtedy jej wyliczone \(\displaystyle{ P(N_{t=20} = 0)}\) będzie prawdziwe bo \(\displaystyle{ \lambda}\) jest prawdziwa.

Załóżmy też, ze mój estymator \(\displaystyle{ e^{-2x}}\) jest obciążony o wartość \(\displaystyle{ \varepsilon}\). Przyjmijmy zatem, że \(\displaystyle{ x = \lambda}\)

Mamy:

\(\displaystyle{ e^{-2\lambda} = e^{-2(x=\lambda)} + \varepsilon = (-1)^{x = \lambda} e^{-2\lambda} = e^{-2\lambda} + \varepsilon = (-1)^{\lambda}}\)

Pierwsza z tych równości jest prawdziwa wtedy, gdy \(\displaystyle{ \varepsilon = 0}\) więc \(\displaystyle{ e^{-2x}}\) nie daje "obciążonego" wyniku bo obciażenie \(\displaystyle{ \varepsilon = 0}\)

Natomiast \(\displaystyle{ e^{-2\lambda} (-1)^{\lambda}}\) więc \(\displaystyle{ (-1)^{x}}\) nie jest estymatorem nieobciążonym prawdopodobieństwa \(\displaystyle{ P = e^{-2\lambda}}\)

Wszystko to bardzo dziwne ale wytłumaczeniem tego jest to, że \(\displaystyle{ e^{-2x}}\). oraz \(\displaystyle{ (-1)^{x}}\) nie są estymatorami a Twój przykład jest postawieniem zwykłego zadania "na głowie".

[Emiel Regis]

Dlaczego twierdzisz że coś nie jest estymatorem?
Poza tym skoro ja w zadaniu pytałem o estymator nieobciążony, wskazałem go, a następnie Ty postanowiłeś zrobić zadanie i tez znalazłes jakiś estymator po czym stwierdzileś ze to nie jest estymator to jest to co najmniej dziwne; )

Zadanie jak zadanie, nic tutaj na głowie nie ma. Jest konkretne pytanie: znaleźć najlepszy nieobciążony estymator prawdopodobieństwa że telefonistka nie przegapi zgłoszenia.

Natomiast jedno co mnie cieszy, to że zgodziłes się ze mną że wskazany przeze mnie [jedyny] estymator nieobciążony jest absurdalny. Bo to jednak pokazuje że Twoj dogmatyzm o wyższości estymatorów nieobciążonych nad innymi nie zabił u Ciebie zdrowego rozsądku.

[kadykianus]

Samo zadanie jest OK. Sam je rozwiązałem. Jest bardzo typowe, życiowe i mądre. Tyle tylko, ze problem został sformułowany źle i próba jego rozwiązania doprowadziła Cię do absurdalnego wyniku. Otoż twierdzę, że nie ma czegoś takiego jak estymacja prawdopodobieństwa. Jesli tak, dotyczy to oczywiście frakcji, częstości zdarzenia ale tu tak nie jest. Chodzi o wyliczenie prawdopodobieństwa zera telefonów w czasie 20 minut. Aby to obliczyć, należy oszacować parametr rozkładu - estymacja dotyczy parametru rozkładu, natomiast samo prawdopodobieństwo nie jest zmienną losową tylko konkretną liczbą obliczona ze wzoru i dla danego \(\displaystyle{ \lambda}\) jest stałe.

Dlatego starałem sie pokazać, że \(\displaystyle{ (-1)^{x}}\) nie jest estymatorem nieobciążonym prawdopodobieństwa bo estymuje się parametry rozkładów a nie prawdopodobieństwa zajścia zdarzenia opisanego danym rozkładem bo te sie wylicza a nie estymuje. Wyrażenie \(\displaystyle{ (-1)^{x}}\) jest po prostu niczym. Jest absurdem.

W poprzedniej odpowiedzi chciałem pokazać, ze \(\displaystyle{ (-1)^{x}}\) nie jest estymatorem nieobciążonym.
Załóżmy więc, że jest estymatorem obciążonym.
Przyjmujac jak wyżej, że \(\displaystyle{ x = \lambda}\) dostajemy równanie \(\displaystyle{ e^{-2\lambda} = (-1)^{\lambda} + \varepsilon}\).
Jeśli założymy, że \(\displaystyle{ \lambda = 0}\), to \(\displaystyle{ e^{-2\cdot 0} = (-1)^{0} + \varepsilon}\), co daje \(\displaystyle{ 1 = 1 + \varepsilon}\), czyli sprzeczność.

Wniosek zatem, że \(\displaystyle{ (-1)^{x}}\) nie jest estymatorem obciążonym. Jeśli więc nie jest ani estymatorem obciążonym ani nieobciążonym to czym to wyrażenie jest?

[Emiel Regis]

Chyba znasz jakąś alternatywną definicje nieobciążoności...

Pragnę przypomniec że przy kwadratowej funkcji strat estymator jest nieobciażony gdy wartość oczekiwana jego rozkładu jest równa wartości estymowanego parametru. Jeszcze raz Ci to przelicze, otóż:
\(\displaystyle{ \^{g}(X)=(-1)^X}\) - estymator szukanego prawdopodobieństwa czyli de facto estymator \(\displaystyle{ g(\lambda) = e^{-2\lambda}}\), jak najbardziej można to szacować... przy czym należy pamiętać że X to nie jest jakaś tam liczba tylko zmienna losowa o rozkładzie Poissona.
\(\displaystyle{ E_{\lambda}\^{g}(X)=\sum_{i=0}^{\infty}(-1)^xe^{-\lambda}\frac{\lambda^x}{x!}=
e^{-\lambda} \sum_{i=0}^{\infty}\frac{(-\lambda)^x}{x!}=e^{-2\lambda}}\)
To jak nie jest nieobciążony jak jest...

[kadykianus]

Chyba znasz jakąś alternatywną definicje nieobciążoności...

Pragnę przypomniec że przy kwadratowej funkcji strat estymator jest nieobciażony gdy wartość oczekiwana jego rozkładu jest równa wartości estymowanego parametru.

To jest jedyna definicja nieobciążoności

A teraz uwaga. Skoro \(\displaystyle{ (-1)^{x}}\) jest estymatorem nieobciążonym \(\displaystyle{ e^{-2\lambda}\) a \(\displaystyle{ x}\) jest realizacja zmiennej z rozkładu Poisona (co jest prawdą) to mozliwe jest, że \(\displaystyle{ x = \lambda}\)

W takim przypadku jeśli \(\displaystyle{ (-1)^{x = \lambda} = E[(-1)^{X}]}\) to powinno zachodzić równanie \(\displaystyle{ (-1)^{\lambda} = e^{-2\lambda}}\) a nie zachodzi.

Jeśli jednak \(\displaystyle{ (-1)^{x = \lambda} E[(-1)^{X}]}\) to moje rozumowanie jest błędne i masz racje

PO PRZEMYŚLENIU SPRAWY DOCHODZĘ DO WNIOSKU, ZE TO TY MASZ RACJE

[Emiel Regis]

Cieszy mnie że osiągnęlismy konsensus. Tym bardziej, że na drodze matematycznej.