Model regresji liniowej.

[ms7]

Dzień dobry,

Mam pewien problem związany z modelem regresji liniowej i chciałbym ,,zaciągnąć języka".

Po pierwsze chciałbym prosić o zweryfikowanie, czy dobrze rozumiem ideę tego modelu.
A rozumiem go w następujący sposób:

Mamy jakąś próbę \(\displaystyle{ \left( x_1,Y_1\right) ,..., \left( x_n,Y_n\right)}\).
Stwierdzamy, że punkty te układają się mniej więcej liniowo, chcemy więc znaleźć taką funkcję liniową, która jak najlepiej będzie przybliżać nam wyniki doświadczenia, które już znamy(igreki z próby) i pozwoli z jak najlepszą dokładnością przewidywać dla \(\displaystyle{ x}\) spoza próby wartości \(\displaystyle{ Y}\).
Problem ten można przedstawić jako konieczność znalezienia parametrów \(\displaystyle{ b_1}\), \(\displaystyle{ b_2}\) takich, aby w równaniu
\(\displaystyle{ Y=b_0+b_1x_i + e_i}\)
błąd był "możliwie najmniejszy" dla każdego \(\displaystyle{ i \in \left\{ 1,...,n\right\}}\).

Metodą najmniejszych kwadratów i minimalizując po \(\displaystyle{ b_1}\) oraz \(\displaystyle{ b_2}\) dostajemy:
\(\displaystyle{ \hat{b}_1= \frac{ \sum_{i=1}^{n}\left( (x_i-\overline{x})Y_i\right) }{\sum_{i=1}^{n}(x_i-\overline{x})^2}}\)
oraz
\(\displaystyle{ \hat{b}_0= \overline{Y}-\hat{b}_1\overline{x}}\)

obydwa powyższe estymatory zależą tylko od próby.

Do tego momentu wszystko wydaje mi się proste i oczywiste, problem zaczyna się w momencie gdy mówimy o własnościach tych estymatorów.

Po pierwsze, co znaczy, że estymatory są liniowe?
W teorii oznacza to, że zależą liniowo od \(\displaystyle{ Y_1,...,Y_n}\), a w praktyce nie bardzo to rozumiem, bo mając:
\(\displaystyle{ \hat{b}_1= \frac{ \sum_{i=1}^{n}\left( (x_i-\overline{x})Y_i\right) }{\sum_{i=1}^{n}(x_i-\overline{x})^2}}\)
widzę tu po prostu sumowanie konkretnych wartości, bo skoro \(\displaystyle{ x_i}\) oraz \(\displaystyle{ Y_i}\) pochodzą z próby to są konkretnymi liczbami, więc gdzie tu mowa o jakiejkolwiek zależności?

Po drugie, co znaczy, że estymator jest nieobciążony?
Wiem, że musi zachodzić \(\displaystyle{ \hat{b}_1=b_1}\) oraz \(\displaystyle{ \hat{b}_0=b_0}\), ale czym są tutaj zarówno \(\displaystyle{ b_1}\) jak i \(\displaystyle{ b_0}\)?

[Igor V]

Forma którą prezentujesz jest niewygodna jeśli chodzi o takie rzeczy. Mówiąc o własnościach mamy najczęściej na myśli postać macierzową (oczywiście równoważną) : \(\displaystyle{ \widehat{b} = \left(X^TX) ^{-1}X^TY}\)

Po pierwsze, co znaczy, że estymatory są liniowe?

To znaczy że są liniową funkcją wektora obserwacji - czyli tutaj \(\displaystyle{ \widehat{b}}\) zależy liniowo od \(\displaystyle{ Y}\)
Chyba widać wprost że tak jest.

Po drugie, co znaczy, że estymator jest nieobciążony?

To znaczy że wartość oczekiwana estymatora jest równa wartości szacowanego parametru
\(\displaystyle{ E\left(\widehat{b}\right) = E\left(\left(X^TX\right) ^{-1} X^TY\right) = E\left(\left(X^TX\right) ^{-1} X^T\left(XB + \epsilon\right)\right) = E\left(\left(X^TX\right) ^{-1} X^TXB \right) + E\left(\left(X^TX\right) ^{-1} X^T \epsilon\right) = E(B) + \left(X^TX\right) ^{-1} X^T E(\epsilon) = E(B) + 0 = B}\)

[ms7]

Nie rozumiem jeszcze jednej rzeczy.
Dlaczego licząc \(\displaystyle{ E\hat{b}_1}\) w momencie gdy obliczamy \(\displaystyle{ EY_i}\) mamy
\(\displaystyle{ EY_i=b_0+b_1x_i}\)
zamiast
\(\displaystyle{ EY_i=b_0+b_1x_i + e_i}\)
przecież \(\displaystyle{ Y_i}\) jest konkretną wartością z próby, podobnie jak \(\displaystyle{ x_i}\).
\(\displaystyle{ b_0}\), \(\displaystyle{ b_1}\) to konkretne stałe, więc czemu \(\displaystyle{ e_i}\) traktujemy w tym momencie jako zmienną losową(i za jej wartość oczekiwaną dajemy zero zamiast potraktować ją jak konkretną liczbę) skoro na dobrą sprawę przyjmuje tutaj konkretną wartość?

[Igor V]

W kwestii formalnej to co napisałem jest zapisem macierzowym, więc np: \(\displaystyle{ \widehat{b} = \left[\begin{array}{ccc} \widehat{b_0}\\\widehat{b_1}\end{array}\right]}\)

1.Zakłada się model w którym niepewnościam są obarczone tylko wartości \(\displaystyle{ Y}\) ( w innym przypadku to wyższa szkoła jazdy).
2. Niepewności są modelowane przez niezależne, jednakowe zmienne losowe, o wartości oczekiwanej równej zero (najczęściej z rozkładu Gaussa)
3. Minimalizacji dokonuje się w sensie metody najmniejszych kwadratów.

Skoro \(\displaystyle{ Y_i=b_0+b_1x_i + \epsilon_i}\), albo w zapisie macierzowym \(\displaystyle{ Y = XB + \epsilon}\) i \(\displaystyle{ \epsilon_i}\) jest zmienną losową (odpowiednio wektor \(\displaystyle{ \epsilon}\)) to sam \(\displaystyle{ Y_i}\) też musi być zmienną losową (\(\displaystyle{ Y}\)).To prawda że \(\displaystyle{ Y_i}\) to są konkretne wartości, ale dopiero po zmierzeniu. Gdybyś powtórzył pomiary to mógłbyś otrzymać inne wartości, bo podlegają one rozrzutowi spowodowanym przez \(\displaystyle{ \epsilon_i}\). A skoro wektor estymat \(\displaystyle{ \widehat{b}}\) jest zależny od \(\displaystyle{ Y}\), to też jest zmienną losową.