szukanie zaawansowane
 [ Posty: 7 ] 
Autor Wiadomość
Mężczyzna
PostNapisane: 24 maja 2019, o 16:18 
Użytkownik

Posty: 2303
Lokalizacja: Kraków
W zadaniu rozważany jest model liniowy
Y=X\beta+\varepsilon
,gdzie Y \in \RR^n jest zmienną objaśnianą, X \in \RR^{n \times p} jest macierzą planu, \beta  \in \RR^p wektorem nieznanych współczynników oraz \varepsilon \in \RR^n wektorem nieskorelowanych błędów, czyli \EE \varepsilon=0, Var \varepsilon=\sigma^2 Id.

Estymator \beta metodą najmniejszych kwadratów jest postaci:
\overline{\beta}=(X^TX)^{-1}X^TY

Pokaż, że predykcja \overline{Y}=X\overline{\beta} jest rzutem prostopadłym Y na przestrzeń liniową rozpiętą przez kolumny macierzy X.

Jak to zrobić?
Uniwersytet Wrocławski Instytut Matematyczny - rekrutacja 2019
Góra
Mężczyzna
PostNapisane: 25 maja 2019, o 11:57 
Użytkownik

Posty: 4729
Oznaczmy przestrzeń generowaną przez kolumny macierzy X jako Span(X)..

Jak wiemy z algebry liniowej dla każdego wektora \vec{y} o odpowiednich wymiarach X\vec{y} \in Span(X).

Oznaczmy jeszcze X_{\perp} macierz złożoną z wektorów ortogonalnych do X taką, że [X, X_{\perp}] jest macierzą o pełnym rzędzie.

Przestrzeń liniowa Span(X_{\perp} ) będzie więc zawierała wektory ortogonalne do wektorów będących elementami przestrzeni Span(X).

Szukamy takiego \overline{\beta}, który minimalizuje

\min S(\overline{\beta}) = \min_{\beta}(Y - X\beta)^{T}(Y - X\beta)= \min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel

Stąd

\hat{Y}\in Span(X).

Szukamy więc takiego \hat{Y} należącego do przestrzeni generowanej przez kolumny macierzy X, który jest najmniej odległy od wektora Y.

Układ równań normalnych

X^{T}(Y - X\beta) = X^{T}(Y - \hat{Y}) = 0

implikuje, że wektor \hat{Y}, który stanowi rozwiązanie MNK ma tę cechę, że wektor różnic Y - \hat Y \in Span(X).

Zdefiniujmy macierz rzutów do przestrzeni X

P_{X} = X(X^{T}X)^{-1}X^{T}

i macierz rzutów do przestrzeni X_{\perp} jako

M_{X} = I - X(X^{T}X)^{-1}X^{T} = I - P_{X}

Dla dowolnego wektora \vec{z} mamy

P_{X}(z) = X[(X^{T}X)^{-1}X^{T}z]\in Span (X).

Ponieważ M_{X}X = 0, więc M_{X}Y \in Span(X_{\perp}).

Stąd wynika, że macierz P_{X} rzutuje wektor Y = X\overline{\beta} na przestrzeń Span(X), a macierz M_{X} na przestrzeń Span(X_{\perp})

Z definicji tych macierzy wynika, że I = P_{X} +M_{X} można interpretować w kategoriach przekształcenia bazy wektora \vec{z} złożonej z wektorów jednostkowych do takiej, która składa się z kolumn macierzy [X, X_{\perp}], przy czym

Y = P_{X}Y + M_{X} Y = X\overline{\beta} + \vec{e}= \hat{Y} + \vec{e}

z czego wynika, że w tej nowej bazie elementy wektora Yzwiązane z wektorami bazowymi danymi przez kolumny macierzy X będą dane przez wektor \overline{\beta},
\hat{Y}jest rzutem Y w przestrzeń Span(X) zaś wektor reszt \vec{e} jest rzutem Y w przestrzeń Span(X_{\perp}).

Proszę wykonać rysunek.
Góra
Mężczyzna
PostNapisane: 25 maja 2019, o 17:42 
Użytkownik

Posty: 2303
Lokalizacja: Kraków
Kurczę jakie to skomplikowane. Musiałbyś mi chyba odpowiedzieć na milion pytań, żebym to zrozumiał.
No, ale dobra spróbujmy.
janusz47 napisał(a):
Oznaczmy przestrzeń generowaną przez kolumny macierzy X jako Span(X)..

Jak wiemy z algebry liniowej dla każdego wektora \vec{y} o odpowiednich wymiarach X\vec{y} \in Span(X).



Czy X to jest macierz, której kolumnami są wektory rozpinające Span(X)?
Czy X\vec{y} to jest zwykłe mnożenie macierzy X przez wektor y?
Czy wektor y może być innego wymiaru niż wektor z X?

janusz47 napisał(a):



Szukamy takiego \overline{\beta}, który minimalizuje

\min S(\overline{\beta}) = \min_{\beta}(Y - X\beta)^{T}(Y - X\beta)= \min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel

Stąd

\hat{Y}\in Span(X).



Nie rozumiem. Po co szukamy tego \beta? \beta już chyba znaleźliśmy wcześniej:
\beta=(X^TX)^{-1}X^TY i nie rozumiem też, tego
\min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel

To jest w sensie, że zbiega w granicy? I u Ciebie jak rozumiem \overline{Y} to jest co innego niż \hat{Y}

janusz47 napisał(a):
Szukamy więc takiego \hat{Y} należącego do przestrzeni generowanej przez kolumny macierzy X, który jest najmniej odległy od wektora Y.


Najmniej odległy, w jakim sensie?
Góra
Mężczyzna
PostNapisane: 26 maja 2019, o 09:21 
Użytkownik

Posty: 4729
Narysuj oś Span(X) pod kątem prostym oś Span(X_{\perp}).
W punkcie przecięcia się tych osi pod kątem ostrym narysuj wektor Y.
Narysuj wektor Y - \hat{Y} jako rzut wektora Y na oś Span(X) oraz wektor \vec{e} jako rzut wektora Y na oś Span(X_{\perp}).
Góra
Mężczyzna
PostNapisane: 27 maja 2019, o 00:29 
Użytkownik

Posty: 2303
Lokalizacja: Kraków
No okej, ale gdzie w tym jest to przekształcenie liniowe będące rzutem? Bo my mamy wykazać, że przekształcenie liniowe \overline{Y}(Y)=X(X^{T}X)^{-1}X^{T}Y jest rzutem Y na Span(X). Jaki jest warunek, żeby to był rzut?

Chociaż, teraz jak tak szperam po internecie to znalazłem coś takiego, że:
Jeśli u_1,...,u_k jest bazą niekoniecznie ortonormalną, a macierz A zawiera te wektory jako kolumny, to rzut ma postać:
P_A=A(A^TA)^{-1}A^T
czyli dokładnie to co mamy w zadaniu.

Czy możesz mi wytłumaczyć na przykładzie, kiedy rzutujemy na prostą dla p=1 i n=2, tak, żeby X=\left[ x_1,x_2\right]^T,to dlaczego X(X^TX)^{-1}X^TY jest wektorem, leżącym na prostej rozpiętej przez X=\left[ x_1,x_2\right]^T ??
Góra
Mężczyzna
PostNapisane: 27 maja 2019, o 04:03 
Użytkownik

Posty: 268
Lokalizacja: Polska
Wystarczy pokazać, że H=X(X^TX)^{-1}X^T jest macierzą rzutu ortogonalnego tj. że jest idempotentna (H \cdot H = H) i symetryczna (H = H^T).
Góra
Mężczyzna
PostNapisane: 29 maja 2019, o 21:32 
Użytkownik

Posty: 2303
Lokalizacja: Kraków
A no to faktycznie, tak dużo łatwiej, dziękuję.
Góra
Utwórz nowy temat Odpowiedz w temacie  [ Posty: 7 ] 


 Zobacz podobne tematy
 Tytuł tematu   Autor   Odpowiedzi 
 Rzut prostopadły  FlauFly  6
 Elementy Statystyki - rzut monetą - zadanie 8  Xus12  0
 rzut monetą - zadanie 7  porbaj  0
 Elementy Statystyki - rzut monetą - zadanie 3  Xus12  0
 Elementy Statystyki - rzut monetą - zadanie 15  Xus12  0
 
Atom [Regulamin Forum] [Instrukcja LaTeX-a] [Poradnik] [F.A.Q.] [Reklama] [Kontakt]
Copyright (C) Karpatka.pl