Estymator nw

[musialmi]

Niech \(\displaystyle{ X_1, X_2}\) będą takie, że \(\displaystyle{ X_i \sim N(\theta_i, 1)}\) i \(\displaystyle{ (\theta_1,\theta_2) \in \left\{ (\theta_1,\theta_2) \in \RR^2 \colon \theta_1 \leq \theta_2 \right\}}\). Wyznacz estymator największej wiarygodności parametru \(\displaystyle{ (\theta_1, \theta_2)}\).

No dobra, mnożę gęstości, dostaję \(\displaystyle{ L(\theta_1,\theta_2)=\frac{1}{2\pi}e^{-\frac{(x_1-\theta_1)^2}{2}-\frac{(x_2-\theta_2)^2}{2}}}\), maksymalizuje się ona tam, gdzie jej logarytm, no to zapiszmy logarytm i policzmy jego pochodne:
\(\displaystyle{ \ln L(\theta_1,\theta_2)=\ln\frac{1}{2\pi}-\frac{(x_1-\theta_1)^2}{2}-\frac{(x_2-\theta_2)^2}{2}}\),
\(\displaystyle{ \frac{\partial \ln L}{\partial \theta_i}=x_i-\theta_i}\)

Pochodne zerują się w punktach: \(\displaystyle{ \theta_1=x_1, \ \theta_2=x_2}\). Chciałoby się napisać, że odpowiedź to \(\displaystyle{ (x_1,x_2)}\), ale nie obchodził mnie w tym rozwiązaniu warunek, że \(\displaystyle{ \theta_1\leq\theta_2}\). Jak to dokończyć?

[Premislav]

Normalnie? Przecież jeżeli znalazłeś maksimum dla \(\displaystyle{ (\theta_{1}, \theta_{2}) \in \RR^{2}}\), no i jest ono przyjmowane w punkcie, który spełnia warunek \(\displaystyle{ \theta_{1} \le \theta_{2}}\), to jest w nim też maksimum funkcji wiarygodności na zbiorze
\(\displaystyle{ \left\{(\theta_{1},\theta_{2})\in \RR^{2}: \theta_{1} \le \theta_{2} \right\}}\)
Aha, tylko tu jeszcze chyba trzeba zbadać określoność hesjanu, ale na oko będzie taka jak byśmy chcieli.

[musialmi]

i jest ono przyjmowane w punkcie, który spełnia warunek \(\displaystyle{ \theta_{1} \le \theta_{2}}\)

A skąd wiemy, że jest?

[Premislav]

Przepraszam, źle spojrzałem, bzdurę napisałem.

[musialmi]

Wybaczam ci, ale jak zachęcisz kogoś, żeby mi wyjaśnił koniec tego zadania, to wybaczę jeszcze bardziej

[Premislav]

musialmi, pewnie już zapomniałeś o tym zadaniu, ale cóż, trudno. Pomyślałem sobie tak. Ustalmy dowolne \(\displaystyle{ c \in \RR^{+}}\) (tutaj to oznacza nieujemne) i rozważmy taką sytuację:
szukamy maksimum \(\displaystyle{ l(\theta_{1}, \theta_{2})=\ln\frac{1}{2\pi}-\frac{(x_1-\theta_1)^2}{2}-\frac{(x_2-\theta_2)^2}{2}}\) przy warunku \(\displaystyle{ \theta_{2}-\theta_{1}=c}\) z użyciem metody mnożników Lagrange'a.
Tworzymy funkcję Lagrange'a:
\(\displaystyle{ f(\theta_{1}, \theta_{2})=\ln\frac{1}{2\pi}-\frac{(x_1-\theta_1)^2}{2}-\frac{(x_2-\theta_2)^2}{2}+\lambda(\theta_{2}-\theta_{1})}\)
i po przeliczeniu pochodnych cząstkowych po \(\displaystyle{ \theta_{1}}\) i \(\displaystyle{ \theta_{2}}\) mamy taki układ równań:
\(\displaystyle{ \begin{cases}x_{1}-\theta_{1}=\lambda \\x_{2}-\theta_{2}=-\lambda\\ \theta_{2}-\theta_{1}=c \end{cases}}\)
Rozwiązujemy ten układ równań, jak będzie trzeba to jeszcze badamy okreslonośc odpowiedniego hesjanu, no i wstawiamy do funkcji wiarygodności. Potem ten wynik zmaksymalizujemy po \(\displaystyle{ c}\).

[musialmi]

musialmi, pewnie już zapomniałeś o tym zadaniu

Nie, problemy matematyczne nie wygasają ;p

Czy w ostatnim składniku funkcji \(\displaystyle{ f}\) nie powinno być \(\displaystyle{ \lambda(\theta_{2}-\theta_{1}-c)}\)? Dlatego, że \(\displaystyle{ f}\) powinna być postaci \(\displaystyle{ g_1+\lambda g_2}\), gdzie potem do układu wstawia się: \(\displaystyle{ f_{\theta_1}=0, \quad f_{\theta_2}=0, \quad g_2 = 0}\)

[Premislav]

Masz rację, powinno być. Oczywiście pochodnych cząstkowych to nie zmienia, ale co fakt to fakt.

[musialmi]

Niech \(\displaystyle{ t_1, t_2}\) będą rozwiązaniami tego układu równań ze względu na \(\displaystyle{ \theta_1, \theta_2}\). Wychodzi wtedy, że \(\displaystyle{ l(t_1, t_2) = \ln \frac{1}{2\pi}}\). Nie jest to zależne od \(\displaystyle{ c}\), więc nie można zmaksymalizować po \(\displaystyle{ c}\). Wniosek jest taki, że czy na zbiorze \(\displaystyle{ \left\{ (\theta_1,\theta_2) \in \RR^2 \colon \theta_1 \leq \theta_2 \right\}}\), czy poza nim, maksimum \(\displaystyle{ l}\) jest to samo.

Ale, jak widać w pierwszym poście, wyszło wtedy \(\displaystyle{ \theta_1=x_1}\), a teraz wyszło \(\displaystyle{ \theta_1 = \frac{x_1+x_2-c}{2}}\) i również przy \(\displaystyle{ \theta_2}\) są różnice. Jak mam to rozumieć?

[Premislav]

To ciekawe, bo jak ja podstawiłem, to inaczej mi wyszło, a \(\displaystyle{ \theta_{1}}\) i \(\displaystyle{ \theta_{2}}\) mam jak u Ciebie.
Wprawdzie estymator największej wiarygodności nie musi być jednoznacznie wyznaczony, ale jednak nie jestem pewien, czy to ten przypadek, coś mi się tu nie podoba. Może zapytam jutro prowadzącego.

[musialmi]

Dzięki za zainteresowanie!

[Premislav]

Pan dr powiedział, że robimy po prostu tak:
bierzemy tę próbę, liczymy normalnie bez tego warunku, tak jak to zrobiłeś w pierwszym poście, no i jeśli mamy \(\displaystyle{ X_{1} \le X_{2}}\) (tj. obserwacja z tego pierwszego rozkładu jest nie większa niż ta z drugiego), to estymatorem największej wiarygodności jest
\(\displaystyle{ (\theta_{1},\theta_{2})}\), a w przeciwnym wypadku nie ma enw.
EDIT: ech, tu miało być \(\displaystyle{ (X_{1}.X_{2})}\), za szybko piszę.
Ale nie wiem, czy mnie zbył, czy nie...