Estymacja punktowa, metoda największej wiarygodności

[zalesia]

Witam wszystkich,

Mam spory problem z kilkoma zadaniami, tak długo już się nad nimi głowię, że aż mózg się lasuje

zad.1.
(Estymacja w rozkładzie hipergeometrycznym). W celu oszacowania liczby zwierząt w rezerwacie
schwytano n sztuk, oznaczono je, a następnie wypuszczono na wolność. Po pewnym czasie
schwytano m sztuk, spośród których k było oznaczonych. Zakładając, Ŝe liczba zwierząt w
rezerwacie nie uległa zmianie między połowami, obliczyć jej najbardziej prawdopodobną wartość.

zad.2.
Wyznaczyć metodą największej wiarygodności estymator parametru θ w rozkładzie
jednostajnym na przedziale [θ−b,θ+b] , gdy dostępna jest n-elementowa próba prosta z tego
rozkładu. RozwaŜyć dwa przypadki: parametr b jest znany i parametr b jest nieznany.

Jeśli ktokolwiek może dać jakiekolwiek wskazówki do któregokolwiek zadania - będę dozgonnie wdzięczna...

pozdrawiam,

Zalesia

[Emiel Regis]

Co do pierwszego to mam takie intuicyjne skojarzenie.
Oznaczmy przez N liczbę wszystkich zwierząt.

Ponieważ wśród m schwytanych sztuk było k oznakowanych to najrozsądniej byłoby przypuszczać ze k do m ma się tak samo jak n do N.
Zapisujac mamy:

\(\displaystyle{ \frac{k}{m} = \frac{n}{N} \ \ => \ \ N = \frac{mn}{k}}\)

Jednak nie ręcze za to, jak poznasz rozwiązanie to chetnie sam je poznam.


A co do drugiego, przyznam, że dość ciekawe zadanie, funkcje wiarogodnosci mamy taką:

\(\displaystyle{ L(X,\theta) = ft ( \frac{1}{2b} \right )^n \prod_{k=1}^{n} \mathbf{1}_{[\theta -b, \theta +b]}(X_i)}\)

no i ona jest ewidentnie stala wiec trudno szukać jej ekstremów...

[zalesia]

dzięki za wskazówki

co do tego drugiego... rozkład jednostajny już nawet z definicji nie posiada ekstremum :/ więc nie bardzo wiem o co chodzi autorowi...

być może dzisiaj dowiem się czegoś na temat tych zadań, jak dotrę do jedynie słusznych rozwiązań ( ), to wrzucę tutaj, a niech mają potomni, może komuś się przyda

[Janek Kos]

A co do drugiego, przyznam, że dość ciekawe zadanie, funkcje wiarogodnosci mamy taką:

\(\displaystyle{ L(X,\theta) = ft ( \frac{1}{2b} \right )^n \prod_{k=1}^{n} \mathbf{1}_{[\theta -b, \theta +b]}(X_i)}\)

no i ona jest ewidentnie stala wiec trudno szukać jej ekstremów...

Chyba nie mozemy napisac:

\(\displaystyle{ (...)\mathbf{1}_{[\theta -b, \theta +b]}(X_i)}\) bo przecie nie znamy parametru.

[Emiel Regis]

co do tego drugiego... rozkład jednostajny już nawet z definicji nie posiada ekstremum :/ więc nie bardzo wiem o co chodzi autorowi...

Rozkład jednostajny owszem ale niekoniecznie funkcja wiarogodnosci zwiazana z tym rozkladem. Spojrz na taki przyklad:

\(\displaystyle{ X_1, \ldots, X_n}\) - próba prosta z rozkładu \(\displaystyle{ \mathcal{U}[0, \theta]}\)

Znaleźć estymator najwiekszej wiarogodnosci parametru \(\displaystyle{ \theta}\).

No i teraz nasza funkcja tak wyglada:

\(\displaystyle{ L(X,\theta) = ft ( \frac{1}{\theta} \right )^n \prod_{k=1}^{n} \mathbf{1}_{[0, \theta]}(X_i) = ft ( \frac{1}{\theta} \right )^n \mathbf{1}_{[0, \theta]}(X_{(1)}) \mathbf{1}_{[0, \theta]}(X_{(n)})}\)

No i teraz szukamy ekstremum tej funkcji ze względu na \(\displaystyle{ \theta}\), ułamek ma najwieksza wartosc wtedy gdy mianownik ma najmniejszą czyli chcemy aby \(\displaystyle{ \theta}\) było jak najmniejsze ale z kolei wiemy, że indykator nie moze byc zerem czyli jest tez warunek ze \(\displaystyle{ \theta X_{(n)}}\) wiec mozemy z tego wyciagnac wniosek ze estymatorem parametru bedzie wlasnie:

\(\displaystyle{ \hat{\theta} = X_{(n)}}\)

Chyba nie mozemy napisac:

\(\displaystyle{ (...)\mathbf{1}_{[\theta -b, \theta +b]}(X_i)}\) bo przecie nie znamy parametru.

Napisalem to dla pierwszego przypadku gdy b jest znane. Gdy nieznane to jeszcze bardziej nam sie sytuacja komplikuje natomiast funkcje mogę napisac, dlaczego uważasz, że nie? Tak jakbym estymował naraz w rozkladzie normalnym dwa parametry: \(\displaystyle{ m, \sigma}\). Wtedy po prostu licze pochodne po dwoch zmiennych i estymuje oba parametry.

Wracajac do zadania:
Nie jest to poparte rachunkami jednak wlasnie w tym przypadku gdy b nie jest znane to ja bym po prostu estymował końce przedzialu. A robiłbym to w nastepujacy sposob:

\(\displaystyle{ \hat{(\theta+b)} = X_{(n)} \\
\hat{(\theta-b)} = X_{(1)}}\)

Z czego juz łatwo wyliczyć samo \(\displaystyle{ b}\) oraz \(\displaystyle{ \theta}\). Tak jak juz napisalem niestety są to tylko moje prognozy [opierajace sie na tym ze ENW są najbardziej intuicyjnymi estymatorami], jednak chetnie poznam rozwiazanie.

zalesia, moze idz na konsultacje do cwiczeniowcy; )

[zalesia]

zalesia, moze idz na konsultacje do cwiczeniowcy; )

Tak właśnie zrobiłam Nie mogłam iść do prowadzącej, która dała mi te zadania. Więc wybrałam kogoś z pozostałych ćwiczeniowców. Ale chyba niekoniecznie dobrze trafiłam... Bo o ile pani dr inż. sprawdziła mi czy mam dobrze te łatwiejsze zadania, to kiedy spytałam ją o te dwa zrobiła wielkie oczy. Ogólnie już na samym wstępie zrobiła wielkie oczy - ze zdziwienia i przerażenia, że jakiś student chce rozmawiać na konsultacjach o zadaniach - czy to takie dziwne?

W każdym razie poradziła mi w zadaniu pierwszym przybliżyć rozkład hipergeometryczny rozkładem dwumianowym. Co i tak niewiele mi dało, bo nie bardzo wiem jak wyliczyć parametr, który chcę estymować, z równania, w którym ten parametr jest "uwięziony" w silni (to wszyło na etapie porównywania pochodnej do zera). Tak czy inaczej, gdy udało mi się dzisiaj na chwilę złapać moją prowadzącą, dowiedziałam się, że nie można tego rozkładu przybliżyć, gdyż nie ma żadnych informacji czy N jest dużą populacją Jeżeli ktoś ze stopniem dr inż. nie potrafi zrobić tego zadania, to chyba ja tym bardziej nie potrafię... Niech żyje poziom kadry na mojej uczelni ;D Wzruszyła was moja historia?

Ok, ale wracając do rzeczy. W tym drugim zadaniu mamy taką funkcję:

\(\displaystyle{ \left ( \frac{1}{2b} \right )^n}\)

Co sądzicie o takim podejściu: jest to funkcja wykładnicza, a ta może być rosnąca bądź malejąca, w zależności od podstawy. Więc rozważyłam dwa przypadki. Sprawdziłam kiedy podstawa jest większa od jeden, wtedy funkcja jest rosnąca, czyli maksimum będzie na końcu przedziału. Gdy podstawa jest większa od zera, ale mniejsza od jeden => funkcja malejąca, więc ekstremum będzie na początku przedziału.


PS wskazówki dotyczące poprawnych rozwiązań będę miała dopiero za tydzień, jak się czegoś dowiem to napiszę.

[Emiel Regis]

Historia jest niewątpliwie urokliwa. Łatwo też uwierzyć, że prawdziwa. Są znane przypadki gdzie student dostaje na kolokwium pewne zadania, później wraca do domu i daje je do rozwiązania swojemu tacie profesorowi a tamten sie morduje z nimi cały dzień; ) I też z różnym skutkiem. Czasami po prostu trzeba znać pewien algorytm postępowania bo wpaść samemu jest cieżko.

Ok, ale wracając do rzeczy. W tym drugim zadaniu mamy taką funkcję:

\(\displaystyle{ \left ( \frac{1}{2b} \right )^n}\)

Co sądzicie o takim podejściu: jest to funkcja wykładnicza, a ta może być rosnąca bądź malejąca, w zależności od podstawy. Więc rozważyłam dwa przypadki. Sprawdziłam kiedy podstawa jest większa od jeden, wtedy funkcja jest rosnąca, czyli maksimum będzie na końcu przedziału. Gdy podstawa jest większa od zera, ale mniejsza od jeden => funkcja malejąca, więc ekstremum będzie na początku przedziału.

Jakiego przedzialu? I ekstremum ze względu na który parametr? [przypuszczam że ze wzgledu na \(\displaystyle{ b}\) ale \(\displaystyle{ \theta}\) tutaj wcale nie jest ustalone]

Funkcja rosnie wtedy gdy b maleje. No i tyle. Są jeszcze ograniczenia na parametry:

\(\displaystyle{ X_{(n)} \theta +b\\ \\
X_{(1)} \theta - b}\)

No i wszystko tu jest nieznane...

Gdyby w zadaniu \(\displaystyle{ \theta}\) było znane a pytano tylko o b to wtedy pamietajac, ze chcemy aby b bylo jak najmniejsze to patrzac na powyzsze ograniczenia otrzymalibysmy:

\(\displaystyle{ b X_{(n)} - \theta \\ \\
b \theta - X_{(1)}}\)

czyli:

\(\displaystyle{ \hat{b} = max \{X_{(n)} - \theta, \theta - X_{(1)} \}}\)

No ale to wszystko jest połowiczne, moze poczekajmy na firmowe rozwiazanie.
Zawsze możesz jeszcze iść do wykładowcy.

[Janek Kos]

Co do pierwszego zadania, to rozwiązywałbym je podobnie jak zadanie na znalezienie najbardziej prawdopodobnej ilości sukcesów w schemacie Bernoulliego, chociaż Twoje intuicyjne skojarzenie Emielu, wydaje się być słusznym . Krótko mówiąc - dla ustalonych parametrów m,n,k gdy zwiększamy N, to prawdopodobieństwo maleje, a gdzieś po drodze jest górka. Dlatego wystarczy rozwiązać równanie:

\(\displaystyle{ \frac{\frac{ {{N+1-n} \choose {m-k}} }{ {{N+1} \choose m} }}{\frac{ {{N-n} \choose {m-k}} }{ {{N} \choose m} }}=1}\)

Straszne tylko z pozoru, bo silnie się skracają. Jako rozwiązanie dostaje się:

\(\displaystyle{ N=\frac{nm-k}{k}=\frac{nm}{k}-1}\)

Co budzi uzasadnione skojarzenia ze wcześniejszym rozwiązaniem, bo różnią się tylko o jeden. Niestety ta jedynka chyba tylko może popsuć oszacowanie N.

[Emiel Regis]

Janek Kos, dla oznaczeń z naszego zadania funkcja prawd. rozkładu hipergeometrycznego a co za tym idzie funkcja wiarogodnosci powinna chyba tak wygladac:

\(\displaystyle{ L(k,N) = \frac{{m \choose k} {N-m \choose n-k}}{{N \choose n}}}\)

Rysując wykres funkcji L jako argumentu N najpierw on rośnie a potem maleje a zatem rozsądne jest tak jak piszesz szukać N dla ktorego wartości będą rowne. No i wychodzi tak jak piszesz. Pokusiłem sie o przeliczenie tego na konkretnych liczbach w Maplu i wychodzi coś takiego:

ustalam parametry na:

\(\displaystyle{ k=13 \\
n=50\\
m=25\\
N = \frac{nm}{k}-1 95,15}\)

Natomiast licząc dokładnie dla argumentów całkowitych, ekstremum tej funkcji jest dla \(\displaystyle{ N=96}\).
Czyli wyglada ze faktycznie bez 1 lepsze przyblizenie.

Zrobiłem drugi przyklad dla:

\(\displaystyle{ k=13 \\
n=90\\
m=25\\
N = \frac{nm}{k}-1 172,08}\)

A tutaj wychodzi faktyczne ekstremum dla \(\displaystyle{ N=173}\)

Czyli mój strzał z pierwszego postu wyglada na dobry. Choć metoda patrzenia na przyrosty wydaje sie byc dobra...
Masz pomysł jak to wyjaśnić?


W każdym razie pierwsze zadanko już prawie rozjechane; ) Jest progresja.

[Janek Kos]

Metoda przyrostów jest dobra, ale w rozwiązaniu zabrakło ostatniego zdania. Zanim przystąpi się do liczenia tego ekstremum, warto przyjrzeć się bliżej badanej funkcji. Nietrudno zauważyć, że ma się tu do czynienia z dwoma typami funkcji. Pierwszy typ to funkcje o płaskim wierzchołku .''., drugi typ ma wierzchołek spiczasty .'. .

O ile w pierwszym przypadku rozwiązanie nie zawodzi, bo dostaje się lewy koniec szczytu, o tyle w drugim przypadku trzeba się na chwile zatrzymać. Rozwiązanie znajduje N i N+1, które leżą odpowiednio po lewej i prawej stronie od wierzchołka, na tej samej wysokości. Od razu widać, że żeby wyznaczyć wierzchołek, wystarczy wziąć część całkowitą rozwiązania zwiększoną o 1. Oczywiście nie psuje to rozwiązania w pierwszym przypadku. Ostatecznie więc:

\(\displaystyle{ \hat{N}=\big[\frac{nm}{k}-1\big]+1=\big[\frac{nm}{k}\big]}\)

Błąd polegał na tym, że rozwiązanie poszło z automatu, a naturalny zbiór rozwiązań powinien był skłonić do refleksji:)

[horrorschau]

A jak dla zadania 1 porachować ENMW?Macie jakiś pomysł?
Pozdrwiam!