Wartość oczekiwana i wariancja

[max123321]

W zadaniu rozważany jest model liniowy
\(\displaystyle{ Y=X\beta+\varepsilon}\)
,gdzie \(\displaystyle{ Y \in \RR^n}\) jest zmienną objaśnianą, \(\displaystyle{ X \in \RR^{n \times p}}\) jest macierzą planu, \(\displaystyle{ \beta \in \RR^p}\) wektorem nieznanych współczynników oraz \(\displaystyle{ \varepsilon \in \RR^n}\) wektorem nieskorelowanych błędów, czyli \(\displaystyle{ \EE \varepsilon=0}\), \(\displaystyle{ Var \varepsilon=\sigma^2 Id}\).

Estymator \(\displaystyle{ \beta}\) metodą najmniejszych kwadratów jest postaci:
\(\displaystyle{ \overline{\beta}=(X^TX)^{-1}X^TY}\)

Oblicz wartość oczekiwaną i wariancję \(\displaystyle{ \overline{\beta}}\)

Jak to zrobić?

[janusz47]

\(\displaystyle{ E(\overline{\beta}) = E(X^{T}X^{-1}X^{T}Y) = E([(X^{T}X^{-1}X^{T}(X\beta +\varepsilon)]) = (X^{T}X)^{-1})(X^{T}X)E(\beta) + (X^{T}X)^{-1}X^{T}E(\varepsilon) = I\beta +0 = \beta.}\)

[max123321]

No ok dobra, to rozumiem. A jak wariancja?

[janusz47]

Wykazaliśmy, że estymator \(\displaystyle{ \overline{\beta}}\) jest estymatorem nieobciążonym \(\displaystyle{ \beta.}\)

Podstawiając do wzoru na estymator MNK formułę modelu liniowego \(\displaystyle{ Y = X\beta+\varepsilon,}\)

otrzymujemy

\(\displaystyle{ \overline{\beta}=(X^{T}X)^{-1}X^{T}(X\beta+\varepsilon) = (X^{T}X)^{-1}(X^{T}X)\beta +(X^{T}X )^{-1}X^{T}\varepsilon = \\ = \beta+(X^{T}X)^{-1}X^{T}\varepsilon.}\)

Wykorzystamy tą postać estymatora do obliczenia jego wariancji.

\(\displaystyle{ Var(\overline{\beta}) = Var(\beta + (X^{T}X)^{-1}X^{T}\varepsilon) = (X^{T}X)^{-1}X^{T}Var(\varepsilon)X(X^{T}X)^{-1}}\)

\(\displaystyle{ Var(\varepsilon) = \sigma^2I_{d}}\)

\(\displaystyle{ Var(\overline{\beta}) =\sigma^2 (X^{T}X)^{-1}X^{T}I_{d}X(X^{T}X)^{-1} = \sigma^2(X^{T}X)^{-1}.}\)

[max123321]

No dobra, a to \(\displaystyle{ Var(\overline{\beta}) = Var(\beta + (X^{T}X)^{-1}X^{T}\varepsilon) = (X^{T}X)^{-1}X^{T}Var(\varepsilon)X(X^{T}X)^{-1}}\)
To jak rozumiem \(\displaystyle{ \beta}\) znika bo wariancja jest niezmiennicza ze względu na przesunięcia, a \(\displaystyle{ \beta}\) to jest przesunięcie, tak? A te iksy wyskakują na lewo i prawo od wariancji z własności wariancji, tak? Bo resztę chyba rozumiem.

[janusz47]

Tak wariancja jest niezmiennicza ze względu przesunięcia. Natomiast jak piszesz " te iksy" wynikają z własności macierzy wariancji i kowariancji.

[max123321]

A możesz napisać co to za własność? bo na wikipedii tego nie widzę.