Wartość oczekiwana i wariancja

Procesy stochastyczne. Sposoby racjonalizowania wielkich ilości informacji. Matematyka w naukach społecznych.
max123321
Użytkownik
Użytkownik
Posty: 2358
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 670 razy

Wartość oczekiwana i wariancja

Post autor: max123321 » 23 maja 2019, o 23:46

W zadaniu rozważany jest model liniowy
\(\displaystyle{ Y=X\beta+\varepsilon}\)
,gdzie \(\displaystyle{ Y \in \RR^n}\) jest zmienną objaśnianą, \(\displaystyle{ X \in \RR^{n \times p}}\) jest macierzą planu, \(\displaystyle{ \beta \in \RR^p}\) wektorem nieznanych współczynników oraz \(\displaystyle{ \varepsilon \in \RR^n}\) wektorem nieskorelowanych błędów, czyli \(\displaystyle{ \EE \varepsilon=0}\), \(\displaystyle{ Var \varepsilon=\sigma^2 Id}\).

Estymator \(\displaystyle{ \beta}\) metodą najmniejszych kwadratów jest postaci:
\(\displaystyle{ \overline{\beta}=(X^TX)^{-1}X^TY}\)

Oblicz wartość oczekiwaną i wariancję \(\displaystyle{ \overline{\beta}}\)

Jak to zrobić?

janusz47
Użytkownik
Użytkownik
Posty: 4969
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Pomógł: 1094 razy

Wartość oczekiwana i wariancja

Post autor: janusz47 » 24 maja 2019, o 08:16

\(\displaystyle{ E(\overline{\beta}) = E(X^{T}X^{-1}X^{T}Y) = E([(X^{T}X^{-1}X^{T}(X\beta +\varepsilon)]) = (X^{T}X)^{-1})(X^{T}X)E(\beta) + (X^{T}X)^{-1}X^{T}E(\varepsilon) = I\beta +0 = \beta.}\)

max123321
Użytkownik
Użytkownik
Posty: 2358
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 670 razy

Re: Wartość oczekiwana i wariancja

Post autor: max123321 » 24 maja 2019, o 16:05

No ok dobra, to rozumiem. A jak wariancja?

janusz47
Użytkownik
Użytkownik
Posty: 4969
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Pomógł: 1094 razy

Wartość oczekiwana i wariancja

Post autor: janusz47 » 24 maja 2019, o 18:56

Wykazaliśmy, że estymator \(\displaystyle{ \overline{\beta}}\) jest estymatorem nieobciążonym \(\displaystyle{ \beta.}\)

Podstawiając do wzoru na estymator MNK formułę modelu liniowego \(\displaystyle{ Y = X\beta+\varepsilon,}\)

otrzymujemy

\(\displaystyle{ \overline{\beta}=(X^{T}X)^{-1}X^{T}(X\beta+\varepsilon) = (X^{T}X)^{-1}(X^{T}X)\beta +(X^{T}X )^{-1}X^{T}\varepsilon = \\ = \beta+(X^{T}X)^{-1}X^{T}\varepsilon.}\)

Wykorzystamy tą postać estymatora do obliczenia jego wariancji.

\(\displaystyle{ Var(\overline{\beta}) = Var(\beta + (X^{T}X)^{-1}X^{T}\varepsilon) = (X^{T}X)^{-1}X^{T}Var(\varepsilon)X(X^{T}X)^{-1}}\)

\(\displaystyle{ Var(\varepsilon) = \sigma^2I_{d}}\)

\(\displaystyle{ Var(\overline{\beta}) =\sigma^2 (X^{T}X)^{-1}X^{T}I_{d}X(X^{T}X)^{-1} = \sigma^2(X^{T}X)^{-1}.}\)

max123321
Użytkownik
Użytkownik
Posty: 2358
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 670 razy

Re: Wartość oczekiwana i wariancja

Post autor: max123321 » 24 maja 2019, o 21:53

No dobra, a to \(\displaystyle{ Var(\overline{\beta}) = Var(\beta + (X^{T}X)^{-1}X^{T}\varepsilon) = (X^{T}X)^{-1}X^{T}Var(\varepsilon)X(X^{T}X)^{-1}}\)
To jak rozumiem \(\displaystyle{ \beta}\) znika bo wariancja jest niezmiennicza ze względu na przesunięcia, a \(\displaystyle{ \beta}\) to jest przesunięcie, tak? A te iksy wyskakują na lewo i prawo od wariancji z własności wariancji, tak? Bo resztę chyba rozumiem.

janusz47
Użytkownik
Użytkownik
Posty: 4969
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Pomógł: 1094 razy

Re: Wartość oczekiwana i wariancja

Post autor: janusz47 » 24 maja 2019, o 22:28

Tak wariancja jest niezmiennicza ze względu przesunięcia. Natomiast jak piszesz " te iksy" wynikają z własności macierzy wariancji i kowariancji.

max123321
Użytkownik
Użytkownik
Posty: 2358
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 670 razy

Re: Wartość oczekiwana i wariancja

Post autor: max123321 » 24 maja 2019, o 22:43

A możesz napisać co to za własność? bo na wikipedii tego nie widzę.

ODPOWIEDZ