Definicja funkcji wiarygodności

Procesy stochastyczne. Sposoby racjonalizowania wielkich ilości informacji. Matematyka w naukach społecznych.
Glue
Użytkownik
Użytkownik
Posty: 5
Rejestracja: 17 maja 2022, o 19:32
Płeć: Mężczyzna
wiek: 23
Podziękował: 1 raz

Definicja funkcji wiarygodności

Post autor: Glue »

Poniższe równanie to definicja funkcji wiarygodności dla parametru naszego modelu (\(\displaystyle{ \theta}\)) przy zebranej próbie (\(\displaystyle{ D}\)), której elementy (poszczególne obserwacje) oznaczamy przez \(\displaystyle{ x_i}\). Zakładamy, że \(\displaystyle{ x_i}\) są niezależnymi zmiennymi losowymi o jednakowym rozkładzie (i.i.d.).

$$
L\left(\theta;D\right)=\prod_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$


Jaki byłby problem, gdybyśmy tę funkcję zdefiniowali następująco?

$$
L\left(\theta;D\right)=\sum_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$

Co by się posypało? Wiarygodność określa nam jak bardzo dana obserwacja wspiera pogląd, że dany parametr jest tym prawdziwym. Największa suma, podobnie jak robi to iloczyn, wciąż powinna wskazywać na najbardziej wiarygodny parametr i umożliwić obliczenie pochodnej, która pozwoli na estymację największej wiarygodności (MLE).
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Re: Definicja funkcji wiarygodności

Post autor: janusz47 »

Dlatego w metodzie największej wiarygodności logarytmujemy funkcję wiarygodności iloczynu - zastępując iloczyn logarytmem sumy, co prowadzi z jednej strony do uproszczenia przekształceń, z drugiej zaś strony postać iloczynowa funkcji wiarygodności służy do konstrukcji testów opartych na ilorazie wiarygodności Neymana-Pearsona.
Glue
Użytkownik
Użytkownik
Posty: 5
Rejestracja: 17 maja 2022, o 19:32
Płeć: Mężczyzna
wiek: 23
Podziękował: 1 raz

Re: Definicja funkcji wiarygodności

Post autor: Glue »

Tak, logarytmizowanie funkcji wiarygodności ułatwia rachunki zarówno komputerom jak i ludziom. Jednak ja się zastanawiam czy już na starcie nie moglibyśmy tego uniknąć definiując funkcję wiarygodności od razu jako sumę, a nie jako iloczyn, który później przekształcamy logarytmem.
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Re: Definicja funkcji wiarygodności

Post autor: janusz47 »

To wtedy nie istniała by klasyczna teoria Statystyki Matematycznej konstrukcji za pomocą ilorazu wiarygodności - testów Neymana-Pearsona.
a4karo
Użytkownik
Użytkownik
Posty: 22171
Rejestracja: 15 maja 2011, o 20:55
Płeć: Mężczyzna
Lokalizacja: Bydgoszcz
Podziękował: 38 razy
Pomógł: 3748 razy

Re: Definicja funkcji wiarygodności

Post autor: a4karo »

janusz47 pisze: 18 maja 2022, o 10:10 To wtedy nie istniała by klasyczna teoria Statystyki Matematycznej konstrukcji za pomocą ilorazu wiarygodności - testów Neymana-Pearsona.
Za to istniałaby klasyczna teoria Statystyki Matematycznej konstrukcji za pomocą różnic wiarygodności - testów Otrembusa Podgrobelskiego, idealnie korelująca się z imagineskopią i osiągnięciami Jeremiasza Apollona Hytza

Śledź Otrembus Podgrobelski, Wstęp do imegineskopii, Wydawnictwo L&L, Gdańsk 1998, Wyd. III.
Glue
Użytkownik
Użytkownik
Posty: 5
Rejestracja: 17 maja 2022, o 19:32
Płeć: Mężczyzna
wiek: 23
Podziękował: 1 raz

Re: Definicja funkcji wiarygodności

Post autor: Glue »

Zanim zadałem pytanie na tym forum, to poszukałem odpowiedzi m.in. na StackExchange

Kod: Zaznacz cały

stats.stackexchange.com/questions/211848/likelihood-why-multiply
Tam wszyscy jednym głosem odpowiadają na to pytanie tłumaczeniem czym jest niezależność zdarzeń i jak policzyć prawdopodobieństwo ich wystąpienia. Ja to rozumiem, lecz wciąż nie bardzo wiem jak to się przekłada na funkcję wiarygodności. Przecież funkcja wiarygodności nie jest funkcją gęstości czy masy prawdopodobieństwa. Ponadto poszczególne wartości funkcji wiarygodności same w sobie nie mają znaczenia, a jedynie iloraz dwóch wartości takiej funkcji daje nam miarę tego o ile bardziej jeden parametr jest wspierany od drugiego przez nasze dane (\(\displaystyle{ D}\)).
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Re: Definicja funkcji wiarygodności

Post autor: janusz47 »

Przykład

Załóżmy, że obserwacje \(\displaystyle{ X^{T} = [x_{1}, x_{2}, ..., x_{n}] }\) są realizacjami niezależnych zmiennych losowych \(\displaystyle{ X_{i} }\) o takim samym rozkładzie \(\displaystyle{ \mathcal{N}(\mu_{i}, 1).}\)

Mamy znaleźć Metodą Największej Wiarygodności estymatory parametrów \(\displaystyle{ \mu_{i}, \ \ i = 1,2, ... , n }\)

Szkic rozwiązania

Tworzymy funkcję wiarygodnośći jako iloczyn takich samych funkcji gęstości.

\(\displaystyle{ \mathcal{L}[\mu, x_{1},x_{2},...,x_{n}] = \prod_{i=1}^{n} f(x_{i}) = \frac{1}{(\sqrt{2 \pi}\cdot 1)^{n}} e^{-\frac{1}{2\cdot 1^2} \sum_{i=1}^{n}(x_{i} -\mu_{i} )^2} \ \ (1) }\)


Zapytasz dlaczego zamiast iloczynu nie możemy wziąć sumę funkcji gęstości ? Nie możemy, bo każda funkcja wiarygodności parametru \(\displaystyle{ \theta }\) jest iloczynem gęstości niezależnych zmiennych losowych w przypadku rozkładów ciągłych i iloczynem prawdopodobieństw w przypadku rozkładów dyskretnych.

Musimy znaleźć maksimum lokalne funkcji \(\displaystyle{ (1) }\) ze względu na \(\displaystyle{ \mu_{i}.}\)

W tym celu obliczamy logarytm naturalny obu stron równania \(\displaystyle{ (1) }\) i pierwszą pochodną względem \(\displaystyle{ \mu_{i} }\)

\(\displaystyle{ \ln \mathcal{L}[\mu, x_{1},x_{2},...,x_{n} ] = -\frac{1}{2}\sum_{i=1}^{n}(x_{i}-\mu_{i})^2 -\frac{n}{2}\ln(2\pi) \ \ (2) }\)

\(\displaystyle{ L'(\mu_{i}) = \sum_{i=1}^{n}(x_{i} - \mu_{i})^2 = 0 }\)

Rozwiązanie równania wiarygodności daje \(\displaystyle{ \hat{\mu}_{i} = x_{i}, \ \ i =1,2,..., n. }\)

Można by funkcją wiarygodności nazwać \(\displaystyle{ (2)}\), ale po, co skoro pojęcie funkcji wiarygodności jako iloczynu

istnieje w Statystyce Matematycznej od czasów Jerzego Spławy Neymana i Egona Sharpe Pearsona.
Glue
Użytkownik
Użytkownik
Posty: 5
Rejestracja: 17 maja 2022, o 19:32
Płeć: Mężczyzna
wiek: 23
Podziękował: 1 raz

Re: Definicja funkcji wiarygodności

Post autor: Glue »

janusz47 pisze: 19 maja 2022, o 13:24 Zapytasz dlaczego zamiast iloczynu nie możemy wziąć sumę funkcji gęstości ? Nie możemy, bo każda funkcja wiarygodności parametru \(\displaystyle{ \theta }\) jest iloczynem gęstości niezależnych zmiennych losowych w przypadku rozkładów ciągłych i iloczynem prawdopodobieństw w przypadku rozkładów dyskretnych.
Może czegoś nie rozumiem, ale mam wrażenie, że rozumowanie jest kołowe. Myślę, że napisałeś: "Nie możemy wziąć sumy do definicji funkcji wiarygodności, bo zdefiniowaliśmy sobie ją iloczynem". A pytanie brzmi dlaczego nie możemy jej sobie na pierwszym miejscu zdefiniować sumą. Jeżeli w moich wypowiedziach przebija brak znajomości jakichś działów matematyki, to bardzo zapraszam, żeby to wskazać, a je sobie uzupełnię :D. Uczę się matematyki na własną rękę.

Plus upewnię się: \(\displaystyle{ \mathcal{N}(\mu_{i}, 1).}\) oznacza wielowymiarowy rozkład normalny z jednostkową macierzą kowariancji i wektorem średnich, którego elementy oznaczamy poprzez \(\displaystyle{ \mu_{i} }\) ?
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Re: Definicja funkcji wiarygodności

Post autor: janusz47 »

Funkcja wiarygodności jest jzawsze iloczynowa i nie ma co dalej nad nią debatować.

\(\displaystyle{ \mathcal{N}(\mu_{i}, 1) }\) oznacza rozkład normalny o parametrach \(\displaystyle{ \mu_{i}, 1, \ \ i - }\) tej zmiennej losowej \(\displaystyle{ X_{i}.}\)

Do nauki statystyki matematycznej na poziomie uniwersyteckim polecam dwuczęściowy podręcznik

MIROSŁAW KRZYŚKO STATYSTYKA MATEMATYCZNA. WYDAWNICTWO NAUKOWE UAM 1996.
a4karo
Użytkownik
Użytkownik
Posty: 22171
Rejestracja: 15 maja 2011, o 20:55
Płeć: Mężczyzna
Lokalizacja: Bydgoszcz
Podziękował: 38 razy
Pomógł: 3748 razy

Re: Definicja funkcji wiarygodności

Post autor: a4karo »

Tak się składa, że matematyka nie nakłada żadnych ograniczeń (za wyjątkiem wymogu logicznego rozumowania). Możesz zatem zdefiniować sobie obiekty, które chcesz badać, i bawić się nimi do końca świata.
Jeżeli obiekt okaże się użyteczny, to znajdzie się więcej chętnych do jego badania. Najwyraźniej iloczynowa funkcja wiarygodności okazała się przydatna a addytywna nie (albo nikt takiej jeszcze nie badał)
ODPOWIEDZ