Definicja funkcji wiarygodności
-
- Użytkownik
- Posty: 5
- Rejestracja: 17 maja 2022, o 19:32
- Płeć: Mężczyzna
- wiek: 23
- Podziękował: 1 raz
Definicja funkcji wiarygodności
Poniższe równanie to definicja funkcji wiarygodności dla parametru naszego modelu (\(\displaystyle{ \theta}\)) przy zebranej próbie (\(\displaystyle{ D}\)), której elementy (poszczególne obserwacje) oznaczamy przez \(\displaystyle{ x_i}\). Zakładamy, że \(\displaystyle{ x_i}\) są niezależnymi zmiennymi losowymi o jednakowym rozkładzie (i.i.d.).
$$
L\left(\theta;D\right)=\prod_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$
Jaki byłby problem, gdybyśmy tę funkcję zdefiniowali następująco?
$$
L\left(\theta;D\right)=\sum_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$
Co by się posypało? Wiarygodność określa nam jak bardzo dana obserwacja wspiera pogląd, że dany parametr jest tym prawdziwym. Największa suma, podobnie jak robi to iloczyn, wciąż powinna wskazywać na najbardziej wiarygodny parametr i umożliwić obliczenie pochodnej, która pozwoli na estymację największej wiarygodności (MLE).
$$
L\left(\theta;D\right)=\prod_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$
Jaki byłby problem, gdybyśmy tę funkcję zdefiniowali następująco?
$$
L\left(\theta;D\right)=\sum_{i=1}^{n} P\left(x_{i} \mid \theta\right)
$$
Co by się posypało? Wiarygodność określa nam jak bardzo dana obserwacja wspiera pogląd, że dany parametr jest tym prawdziwym. Największa suma, podobnie jak robi to iloczyn, wciąż powinna wskazywać na najbardziej wiarygodny parametr i umożliwić obliczenie pochodnej, która pozwoli na estymację największej wiarygodności (MLE).
-
- Użytkownik
- Posty: 7918
- Rejestracja: 18 mar 2009, o 16:24
- Płeć: Mężczyzna
- Podziękował: 30 razy
- Pomógł: 1671 razy
Re: Definicja funkcji wiarygodności
Dlatego w metodzie największej wiarygodności logarytmujemy funkcję wiarygodności iloczynu - zastępując iloczyn logarytmem sumy, co prowadzi z jednej strony do uproszczenia przekształceń, z drugiej zaś strony postać iloczynowa funkcji wiarygodności służy do konstrukcji testów opartych na ilorazie wiarygodności Neymana-Pearsona.
-
- Użytkownik
- Posty: 5
- Rejestracja: 17 maja 2022, o 19:32
- Płeć: Mężczyzna
- wiek: 23
- Podziękował: 1 raz
Re: Definicja funkcji wiarygodności
Tak, logarytmizowanie funkcji wiarygodności ułatwia rachunki zarówno komputerom jak i ludziom. Jednak ja się zastanawiam czy już na starcie nie moglibyśmy tego uniknąć definiując funkcję wiarygodności od razu jako sumę, a nie jako iloczyn, który później przekształcamy logarytmem.
-
- Użytkownik
- Posty: 7918
- Rejestracja: 18 mar 2009, o 16:24
- Płeć: Mężczyzna
- Podziękował: 30 razy
- Pomógł: 1671 razy
Re: Definicja funkcji wiarygodności
To wtedy nie istniała by klasyczna teoria Statystyki Matematycznej konstrukcji za pomocą ilorazu wiarygodności - testów Neymana-Pearsona.
-
- Użytkownik
- Posty: 22210
- Rejestracja: 15 maja 2011, o 20:55
- Płeć: Mężczyzna
- Lokalizacja: Bydgoszcz
- Podziękował: 38 razy
- Pomógł: 3755 razy
Re: Definicja funkcji wiarygodności
Za to istniałaby klasyczna teoria Statystyki Matematycznej konstrukcji za pomocą różnic wiarygodności - testów Otrembusa Podgrobelskiego, idealnie korelująca się z imagineskopią i osiągnięciami Jeremiasza Apollona Hytza
Śledź Otrembus Podgrobelski, Wstęp do imegineskopii, Wydawnictwo L&L, Gdańsk 1998, Wyd. III.
-
- Użytkownik
- Posty: 5
- Rejestracja: 17 maja 2022, o 19:32
- Płeć: Mężczyzna
- wiek: 23
- Podziękował: 1 raz
Re: Definicja funkcji wiarygodności
Zanim zadałem pytanie na tym forum, to poszukałem odpowiedzi m.in. na StackExchange
Tam wszyscy jednym głosem odpowiadają na to pytanie tłumaczeniem czym jest niezależność zdarzeń i jak policzyć prawdopodobieństwo ich wystąpienia. Ja to rozumiem, lecz wciąż nie bardzo wiem jak to się przekłada na funkcję wiarygodności. Przecież funkcja wiarygodności nie jest funkcją gęstości czy masy prawdopodobieństwa. Ponadto poszczególne wartości funkcji wiarygodności same w sobie nie mają znaczenia, a jedynie iloraz dwóch wartości takiej funkcji daje nam miarę tego o ile bardziej jeden parametr jest wspierany od drugiego przez nasze dane (\(\displaystyle{ D}\)).
Kod: Zaznacz cały
stats.stackexchange.com/questions/211848/likelihood-why-multiply
-
- Użytkownik
- Posty: 7918
- Rejestracja: 18 mar 2009, o 16:24
- Płeć: Mężczyzna
- Podziękował: 30 razy
- Pomógł: 1671 razy
Re: Definicja funkcji wiarygodności
Przykład
Załóżmy, że obserwacje \(\displaystyle{ X^{T} = [x_{1}, x_{2}, ..., x_{n}] }\) są realizacjami niezależnych zmiennych losowych \(\displaystyle{ X_{i} }\) o takim samym rozkładzie \(\displaystyle{ \mathcal{N}(\mu_{i}, 1).}\)
Mamy znaleźć Metodą Największej Wiarygodności estymatory parametrów \(\displaystyle{ \mu_{i}, \ \ i = 1,2, ... , n }\)
Szkic rozwiązania
Tworzymy funkcję wiarygodnośći jako iloczyn takich samych funkcji gęstości.
\(\displaystyle{ \mathcal{L}[\mu, x_{1},x_{2},...,x_{n}] = \prod_{i=1}^{n} f(x_{i}) = \frac{1}{(\sqrt{2 \pi}\cdot 1)^{n}} e^{-\frac{1}{2\cdot 1^2} \sum_{i=1}^{n}(x_{i} -\mu_{i} )^2} \ \ (1) }\)
Zapytasz dlaczego zamiast iloczynu nie możemy wziąć sumę funkcji gęstości ? Nie możemy, bo każda funkcja wiarygodności parametru \(\displaystyle{ \theta }\) jest iloczynem gęstości niezależnych zmiennych losowych w przypadku rozkładów ciągłych i iloczynem prawdopodobieństw w przypadku rozkładów dyskretnych.
Musimy znaleźć maksimum lokalne funkcji \(\displaystyle{ (1) }\) ze względu na \(\displaystyle{ \mu_{i}.}\)
W tym celu obliczamy logarytm naturalny obu stron równania \(\displaystyle{ (1) }\) i pierwszą pochodną względem \(\displaystyle{ \mu_{i} }\)
\(\displaystyle{ \ln \mathcal{L}[\mu, x_{1},x_{2},...,x_{n} ] = -\frac{1}{2}\sum_{i=1}^{n}(x_{i}-\mu_{i})^2 -\frac{n}{2}\ln(2\pi) \ \ (2) }\)
\(\displaystyle{ L'(\mu_{i}) = \sum_{i=1}^{n}(x_{i} - \mu_{i})^2 = 0 }\)
Rozwiązanie równania wiarygodności daje \(\displaystyle{ \hat{\mu}_{i} = x_{i}, \ \ i =1,2,..., n. }\)
Można by funkcją wiarygodności nazwać \(\displaystyle{ (2)}\), ale po, co skoro pojęcie funkcji wiarygodności jako iloczynu
istnieje w Statystyce Matematycznej od czasów Jerzego Spławy Neymana i Egona Sharpe Pearsona.
Załóżmy, że obserwacje \(\displaystyle{ X^{T} = [x_{1}, x_{2}, ..., x_{n}] }\) są realizacjami niezależnych zmiennych losowych \(\displaystyle{ X_{i} }\) o takim samym rozkładzie \(\displaystyle{ \mathcal{N}(\mu_{i}, 1).}\)
Mamy znaleźć Metodą Największej Wiarygodności estymatory parametrów \(\displaystyle{ \mu_{i}, \ \ i = 1,2, ... , n }\)
Szkic rozwiązania
Tworzymy funkcję wiarygodnośći jako iloczyn takich samych funkcji gęstości.
\(\displaystyle{ \mathcal{L}[\mu, x_{1},x_{2},...,x_{n}] = \prod_{i=1}^{n} f(x_{i}) = \frac{1}{(\sqrt{2 \pi}\cdot 1)^{n}} e^{-\frac{1}{2\cdot 1^2} \sum_{i=1}^{n}(x_{i} -\mu_{i} )^2} \ \ (1) }\)
Zapytasz dlaczego zamiast iloczynu nie możemy wziąć sumę funkcji gęstości ? Nie możemy, bo każda funkcja wiarygodności parametru \(\displaystyle{ \theta }\) jest iloczynem gęstości niezależnych zmiennych losowych w przypadku rozkładów ciągłych i iloczynem prawdopodobieństw w przypadku rozkładów dyskretnych.
Musimy znaleźć maksimum lokalne funkcji \(\displaystyle{ (1) }\) ze względu na \(\displaystyle{ \mu_{i}.}\)
W tym celu obliczamy logarytm naturalny obu stron równania \(\displaystyle{ (1) }\) i pierwszą pochodną względem \(\displaystyle{ \mu_{i} }\)
\(\displaystyle{ \ln \mathcal{L}[\mu, x_{1},x_{2},...,x_{n} ] = -\frac{1}{2}\sum_{i=1}^{n}(x_{i}-\mu_{i})^2 -\frac{n}{2}\ln(2\pi) \ \ (2) }\)
\(\displaystyle{ L'(\mu_{i}) = \sum_{i=1}^{n}(x_{i} - \mu_{i})^2 = 0 }\)
Rozwiązanie równania wiarygodności daje \(\displaystyle{ \hat{\mu}_{i} = x_{i}, \ \ i =1,2,..., n. }\)
Można by funkcją wiarygodności nazwać \(\displaystyle{ (2)}\), ale po, co skoro pojęcie funkcji wiarygodności jako iloczynu
istnieje w Statystyce Matematycznej od czasów Jerzego Spławy Neymana i Egona Sharpe Pearsona.
-
- Użytkownik
- Posty: 5
- Rejestracja: 17 maja 2022, o 19:32
- Płeć: Mężczyzna
- wiek: 23
- Podziękował: 1 raz
Re: Definicja funkcji wiarygodności
Może czegoś nie rozumiem, ale mam wrażenie, że rozumowanie jest kołowe. Myślę, że napisałeś: "Nie możemy wziąć sumy do definicji funkcji wiarygodności, bo zdefiniowaliśmy sobie ją iloczynem". A pytanie brzmi dlaczego nie możemy jej sobie na pierwszym miejscu zdefiniować sumą. Jeżeli w moich wypowiedziach przebija brak znajomości jakichś działów matematyki, to bardzo zapraszam, żeby to wskazać, a je sobie uzupełnię . Uczę się matematyki na własną rękę.janusz47 pisze: ↑19 maja 2022, o 13:24 Zapytasz dlaczego zamiast iloczynu nie możemy wziąć sumę funkcji gęstości ? Nie możemy, bo każda funkcja wiarygodności parametru \(\displaystyle{ \theta }\) jest iloczynem gęstości niezależnych zmiennych losowych w przypadku rozkładów ciągłych i iloczynem prawdopodobieństw w przypadku rozkładów dyskretnych.
Plus upewnię się: \(\displaystyle{ \mathcal{N}(\mu_{i}, 1).}\) oznacza wielowymiarowy rozkład normalny z jednostkową macierzą kowariancji i wektorem średnich, którego elementy oznaczamy poprzez \(\displaystyle{ \mu_{i} }\) ?
-
- Użytkownik
- Posty: 7918
- Rejestracja: 18 mar 2009, o 16:24
- Płeć: Mężczyzna
- Podziękował: 30 razy
- Pomógł: 1671 razy
Re: Definicja funkcji wiarygodności
Funkcja wiarygodności jest jzawsze iloczynowa i nie ma co dalej nad nią debatować.
\(\displaystyle{ \mathcal{N}(\mu_{i}, 1) }\) oznacza rozkład normalny o parametrach \(\displaystyle{ \mu_{i}, 1, \ \ i - }\) tej zmiennej losowej \(\displaystyle{ X_{i}.}\)
Do nauki statystyki matematycznej na poziomie uniwersyteckim polecam dwuczęściowy podręcznik
MIROSŁAW KRZYŚKO STATYSTYKA MATEMATYCZNA. WYDAWNICTWO NAUKOWE UAM 1996.
\(\displaystyle{ \mathcal{N}(\mu_{i}, 1) }\) oznacza rozkład normalny o parametrach \(\displaystyle{ \mu_{i}, 1, \ \ i - }\) tej zmiennej losowej \(\displaystyle{ X_{i}.}\)
Do nauki statystyki matematycznej na poziomie uniwersyteckim polecam dwuczęściowy podręcznik
MIROSŁAW KRZYŚKO STATYSTYKA MATEMATYCZNA. WYDAWNICTWO NAUKOWE UAM 1996.
-
- Użytkownik
- Posty: 22210
- Rejestracja: 15 maja 2011, o 20:55
- Płeć: Mężczyzna
- Lokalizacja: Bydgoszcz
- Podziękował: 38 razy
- Pomógł: 3755 razy
Re: Definicja funkcji wiarygodności
Tak się składa, że matematyka nie nakłada żadnych ograniczeń (za wyjątkiem wymogu logicznego rozumowania). Możesz zatem zdefiniować sobie obiekty, które chcesz badać, i bawić się nimi do końca świata.
Jeżeli obiekt okaże się użyteczny, to znajdzie się więcej chętnych do jego badania. Najwyraźniej iloczynowa funkcja wiarygodności okazała się przydatna a addytywna nie (albo nikt takiej jeszcze nie badał)
Jeżeli obiekt okaże się użyteczny, to znajdzie się więcej chętnych do jego badania. Najwyraźniej iloczynowa funkcja wiarygodności okazała się przydatna a addytywna nie (albo nikt takiej jeszcze nie badał)