Rzut prostopadły

Procesy stochastyczne. Sposoby racjonalizowania wielkich ilości informacji. Matematyka w naukach społecznych.
max123321
Użytkownik
Użytkownik
Posty: 3388
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 975 razy
Pomógł: 3 razy

Rzut prostopadły

Post autor: max123321 »

W zadaniu rozważany jest model liniowy
\(\displaystyle{ Y=X\beta+\varepsilon}\)
,gdzie \(\displaystyle{ Y \in \RR^n}\) jest zmienną objaśnianą, \(\displaystyle{ X \in \RR^{n \times p}}\) jest macierzą planu, \(\displaystyle{ \beta \in \RR^p}\) wektorem nieznanych współczynników oraz \(\displaystyle{ \varepsilon \in \RR^n}\) wektorem nieskorelowanych błędów, czyli \(\displaystyle{ \EE \varepsilon=0}\), \(\displaystyle{ Var \varepsilon=\sigma^2 Id}\).

Estymator \(\displaystyle{ \beta}\) metodą najmniejszych kwadratów jest postaci:
\(\displaystyle{ \overline{\beta}=(X^TX)^{-1}X^TY}\)

Pokaż, że predykcja \(\displaystyle{ \overline{Y}=X\overline{\beta}}\) jest rzutem prostopadłym \(\displaystyle{ Y}\) na przestrzeń liniową rozpiętą przez kolumny macierzy \(\displaystyle{ X}\).

Jak to zrobić?
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Rzut prostopadły

Post autor: janusz47 »

Oznaczmy przestrzeń generowaną przez kolumny macierzy \(\displaystyle{ X}\) jako \(\displaystyle{ Span(X).}\).

Jak wiemy z algebry liniowej dla każdego wektora \(\displaystyle{ \vec{y}}\) o odpowiednich wymiarach \(\displaystyle{ X\vec{y} \in Span(X).}\)

Oznaczmy jeszcze \(\displaystyle{ X_{\perp}}\) macierz złożoną z wektorów ortogonalnych do \(\displaystyle{ X}\) taką, że \(\displaystyle{ [X, X_{\perp}]}\) jest macierzą o pełnym rzędzie.

Przestrzeń liniowa \(\displaystyle{ Span(X_{\perp} )}\) będzie więc zawierała wektory ortogonalne do wektorów będących elementami przestrzeni \(\displaystyle{ Span(X).}\)

Szukamy takiego \(\displaystyle{ \overline{\beta},}\) który minimalizuje

\(\displaystyle{ \min S(\overline{\beta}) = \min_{\beta}(Y - X\beta)^{T}(Y - X\beta)= \min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel}\)

Stąd

\(\displaystyle{ \hat{Y}\in Span(X).}\)

Szukamy więc takiego \(\displaystyle{ \hat{Y}}\) należącego do przestrzeni generowanej przez kolumny macierzy \(\displaystyle{ X}\), który jest najmniej odległy od wektora \(\displaystyle{ Y.}\)

Układ równań normalnych

\(\displaystyle{ X^{T}(Y - X\beta) = X^{T}(Y - \hat{Y}) = 0}\)

implikuje, że wektor \(\displaystyle{ \hat{Y},}\) który stanowi rozwiązanie MNK ma tę cechę, że wektor różnic \(\displaystyle{ Y - \hat Y \in Span(X).}\)

Zdefiniujmy macierz rzutów do przestrzeni \(\displaystyle{ X}\)

\(\displaystyle{ P_{X} = X(X^{T}X)^{-1}X^{T}}\)

i macierz rzutów do przestrzeni \(\displaystyle{ X_{\perp}}\) jako

\(\displaystyle{ M_{X} = I - X(X^{T}X)^{-1}X^{T} = I - P_{X}}\)

Dla dowolnego wektora \(\displaystyle{ \vec{z}}\) mamy

\(\displaystyle{ P_{X}(z) = X[(X^{T}X)^{-1}X^{T}z]\in Span (X).}\)

Ponieważ \(\displaystyle{ M_{X}X = 0,}\) więc \(\displaystyle{ M_{X}Y \in Span(X_{\perp}).}\)

Stąd wynika, że macierz \(\displaystyle{ P_{X}}\) rzutuje wektor \(\displaystyle{ Y = X\overline{\beta}}\) na przestrzeń \(\displaystyle{ Span(X)}\), a macierz \(\displaystyle{ M_{X}}\) na przestrzeń \(\displaystyle{ Span(X_{\perp})}\)

Z definicji tych macierzy wynika, że \(\displaystyle{ I = P_{X} +M_{X}}\) można interpretować w kategoriach przekształcenia bazy wektora \(\displaystyle{ \vec{z}}\) złożonej z wektorów jednostkowych do takiej, która składa się z kolumn macierzy \(\displaystyle{ [X, X_{\perp}],}\) przy czym

\(\displaystyle{ Y = P_{X}Y + M_{X} Y = X\overline{\beta} + \vec{e}= \hat{Y} + \vec{e}}\)

z czego wynika, że w tej nowej bazie elementy wektora \(\displaystyle{ Y}\)związane z wektorami bazowymi danymi przez kolumny macierzy \(\displaystyle{ X}\) będą dane przez wektor \(\displaystyle{ \overline{\beta},}\)
\(\displaystyle{ \hat{Y}}\)jest rzutem \(\displaystyle{ Y}\) w przestrzeń \(\displaystyle{ Span(X)}\) zaś wektor reszt \(\displaystyle{ \vec{e}}\) jest rzutem \(\displaystyle{ Y}\) w przestrzeń \(\displaystyle{ Span(X_{\perp}).}\)

Proszę wykonać rysunek.
max123321
Użytkownik
Użytkownik
Posty: 3388
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 975 razy
Pomógł: 3 razy

Re: Rzut prostopadły

Post autor: max123321 »

Kurczę jakie to skomplikowane. Musiałbyś mi chyba odpowiedzieć na milion pytań, żebym to zrozumiał.
No, ale dobra spróbujmy.
janusz47 pisze:Oznaczmy przestrzeń generowaną przez kolumny macierzy \(\displaystyle{ X}\) jako \(\displaystyle{ Span(X).}\).

Jak wiemy z algebry liniowej dla każdego wektora \(\displaystyle{ \vec{y}}\) o odpowiednich wymiarach \(\displaystyle{ X\vec{y} \in Span(X).}\)
Czy \(\displaystyle{ X}\) to jest macierz, której kolumnami są wektory rozpinające \(\displaystyle{ Span(X)}\)?
Czy \(\displaystyle{ X\vec{y}}\) to jest zwykłe mnożenie macierzy \(\displaystyle{ X}\) przez wektor \(\displaystyle{ y}\)?
Czy wektor \(\displaystyle{ y}\) może być innego wymiaru niż wektor z \(\displaystyle{ X}\)?
janusz47 pisze:


Szukamy takiego \(\displaystyle{ \overline{\beta},}\) który minimalizuje

\(\displaystyle{ \min S(\overline{\beta}) = \min_{\beta}(Y - X\beta)^{T}(Y - X\beta)= \min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel}\)

Stąd

\(\displaystyle{ \hat{Y}\in Span(X).}\)
Nie rozumiem. Po co szukamy tego \(\displaystyle{ \beta}\)? \(\displaystyle{ \beta}\) już chyba znaleźliśmy wcześniej:
\(\displaystyle{ \beta=(X^TX)^{-1}X^TY}\) i nie rozumiem też, tego
\(\displaystyle{ \min_{\beta}( \sqrt{\parallel Y - X\beta\parallel} \rightarrow \min_{\beta} \parallel Y - \hat{Y}\parallel}\)

To jest w sensie, że zbiega w granicy? I u Ciebie jak rozumiem \(\displaystyle{ \overline{Y}}\) to jest co innego niż \(\displaystyle{ \hat{Y}}\)
janusz47 pisze: Szukamy więc takiego \(\displaystyle{ \hat{Y}}\) należącego do przestrzeni generowanej przez kolumny macierzy \(\displaystyle{ X}\), który jest najmniej odległy od wektora \(\displaystyle{ Y.}\)
Najmniej odległy, w jakim sensie?
janusz47
Użytkownik
Użytkownik
Posty: 7910
Rejestracja: 18 mar 2009, o 16:24
Płeć: Mężczyzna
Podziękował: 30 razy
Pomógł: 1670 razy

Re: Rzut prostopadły

Post autor: janusz47 »

Narysuj oś \(\displaystyle{ Span(X)}\) pod kątem prostym oś \(\displaystyle{ Span(X_{\perp}).}\)
W punkcie przecięcia się tych osi pod kątem ostrym narysuj wektor \(\displaystyle{ Y}\).
Narysuj wektor \(\displaystyle{ Y - \hat{Y}}\) jako rzut wektora \(\displaystyle{ Y}\) na oś \(\displaystyle{ Span(X)}\) oraz wektor \(\displaystyle{ \vec{e}}\) jako rzut wektora \(\displaystyle{ Y}\) na oś \(\displaystyle{ Span(X_{\perp}).}\)
max123321
Użytkownik
Użytkownik
Posty: 3388
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 975 razy
Pomógł: 3 razy

Re: Rzut prostopadły

Post autor: max123321 »

No okej, ale gdzie w tym jest to przekształcenie liniowe będące rzutem? Bo my mamy wykazać, że przekształcenie liniowe \(\displaystyle{ \overline{Y}(Y)=X(X^{T}X)^{-1}X^{T}Y}\) jest rzutem \(\displaystyle{ Y}\) na \(\displaystyle{ Span(X)}\). Jaki jest warunek, żeby to był rzut?

Chociaż, teraz jak tak szperam po internecie to znalazłem coś takiego, że:
Jeśli \(\displaystyle{ u_1,...,u_k}\) jest bazą niekoniecznie ortonormalną, a macierz \(\displaystyle{ A}\) zawiera te wektory jako kolumny, to rzut ma postać:
\(\displaystyle{ P_A=A(A^TA)^{-1}A^T}\)
czyli dokładnie to co mamy w zadaniu.

Czy możesz mi wytłumaczyć na przykładzie, kiedy rzutujemy na prostą dla \(\displaystyle{ p=1}\) i \(\displaystyle{ n=2}\), tak, żeby \(\displaystyle{ X=\left[ x_1,x_2\right]^T}\),to dlaczego \(\displaystyle{ X(X^TX)^{-1}X^TY}\) jest wektorem, leżącym na prostej rozpiętej przez \(\displaystyle{ X=\left[ x_1,x_2\right]^T}\) ??
Hydra147
Użytkownik
Użytkownik
Posty: 268
Rejestracja: 31 mar 2013, o 20:23
Płeć: Mężczyzna
Lokalizacja: Polska
Podziękował: 1 raz
Pomógł: 82 razy

Re: Rzut prostopadły

Post autor: Hydra147 »

Wystarczy pokazać, że \(\displaystyle{ H=X(X^TX)^{-1}X^T}\) jest macierzą rzutu ortogonalnego tj. że jest idempotentna (\(\displaystyle{ H \cdot H = H}\)) i symetryczna (\(\displaystyle{ H = H^T}\)).
max123321
Użytkownik
Użytkownik
Posty: 3388
Rejestracja: 26 maja 2016, o 01:25
Płeć: Mężczyzna
Lokalizacja: Kraków
Podziękował: 975 razy
Pomógł: 3 razy

Re: Rzut prostopadły

Post autor: max123321 »

A no to faktycznie, tak dużo łatwiej, dziękuję.
ODPOWIEDZ