Mam problem z takim zadaniem:
Uzasadnij, że estymator KMNK jest zmienną losową o rozkładzie normalnym.
Estymator Klasycznej Metody Najmniejszych Kwadratów
-
janusz47
- Użytkownik
- Posty: 7917
- Rejestracja: 18 mar 2009, o 16:24
- Płeć: Mężczyzna
- Podziękował: 30 razy
- Pomógł: 1671 razy
Estymator Klasycznej Metody Najmniejszych Kwadratów
Znajdujemy estymatory KMNK
\(\displaystyle{ S = \sum_{i=1}^{n}( Y_{i} -A -Bx_{i})^{2}.}\)
\(\displaystyle{ S'_{|A}(A, B) = -2\sum_{i=1}^{n}(Y_{i} - A - Bx_{i}) = 0 .}\)
\(\displaystyle{ S'_{|B}(A, B) = -2\sum_{i=1}^{n}x_{i}(Y_{i} - A - Bx_{i})= 0.}\)
\(\displaystyle{ \sum_{i=1}^{n}Y_{i} = nA + B\sum_{i=1}^{n}x_{i}.}\)
\(\displaystyle{ \sum_{i=1}^{n}x_{i}Y_{i} = A\sum_{i=1}^{n}x_{i} + B\sum_{i=1}^{n}x^{2}_{i}.}\)
Otrzymaliśmy układ równań normalnych.
Kładąc
\(\displaystyle{ Y =\frac{ \sum_{i=1}^{n}Y_{i}}{n}, \ x = \frac{\sum_{i=1}^{n}x_{i}}{n}.}\)
możemy napisać ten układ w postaci
\(\displaystyle{ A = Y - Bx}\) (1)
Podstawiając A do drugiego równania
\(\displaystyle{ \sum_{i=1}^{n}x{i}Y_{i} = ( Y - Bx)nx + B\sum_{i=1}^{n}x^{2}_{i}.}\)
\(\displaystyle{ B(\sum_{i=1}^{n}x^{2}_{i} - nx^{2}) = \sum_{i=1}^{n}x_{i}Y_{i} - nxY.}\)
\(\displaystyle{ B = \frac{\sum_{i=1}^{n}x_{i}Y_{i} - nxY}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}}.}\)
Pozostało udowodnić, że zmienne losowe A i B mają rozkład normalny.
Zapisujemy zmienną losową B w postaci
\(\displaystyle{ B = \frac{\sum_{i=1}^{n}(x_{i} - x)Y_{i}}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}} =c\sum_{i=1}^{n}(x_{i} - x)Y_{i} .}\)
gdzie
\(\displaystyle{ c = \frac{1}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}}.}\)
Z (1) równanie
\(\displaystyle{ A + Bx_{0} = \frac{\sum_{i=1}^{n}Y_{i}}{n} - B( x - x_{0}) = \sum_{i=1}{n}Y_{i}\left[ \frac{1}{n} - c(x_{i} -x )(x - x_{0}) \right]}\)
jest liniową kombinacją niezależnych zmiennych losowych \(\displaystyle{ Y_{i}, \ i =1,2,...,n.}\) 0 rozkładzie normalnym.
Obliczamy jego wariancję
\(\displaystyle{ Var(A + Bx_{0}) = \sum_{i=1}^{n}\frac{Y_{i}}{n} - B( x - x_{0}) = \sum_{i=1}^{n}Var(Y_{i})\left[ \frac{1}{n} - c (x_{i} - x )(x - x_{0}) \right]^{2}=}\)
\(\displaystyle{ =\sigma^{2}\left[ \frac{1}{n} + \frac{(x - x_{0})^{2}}{S_{xx}} \right].}\)
gdzie
\(\displaystyle{ \sum_{i=1}^{n}(x_{i} - x)^{2}= \sum_{i=1}^{n}x_{i}^{2} - nx^{2}= \frac{1}{c}= S_{xx}, \ \sum_{i=1}^{n} (x_{i} - x ) = 0.}\)
Stąd
\(\displaystyle{ A + Bx_{0} \sim N\left ( \alpha + \beta x_{0}, \ \sigma^{2}\left[\frac{1}{n} + \frac{(x - x_{0})^{2}}{S_{xx}} \right] \right).}\)
Co należało udowodnić
\(\displaystyle{ S = \sum_{i=1}^{n}( Y_{i} -A -Bx_{i})^{2}.}\)
\(\displaystyle{ S'_{|A}(A, B) = -2\sum_{i=1}^{n}(Y_{i} - A - Bx_{i}) = 0 .}\)
\(\displaystyle{ S'_{|B}(A, B) = -2\sum_{i=1}^{n}x_{i}(Y_{i} - A - Bx_{i})= 0.}\)
\(\displaystyle{ \sum_{i=1}^{n}Y_{i} = nA + B\sum_{i=1}^{n}x_{i}.}\)
\(\displaystyle{ \sum_{i=1}^{n}x_{i}Y_{i} = A\sum_{i=1}^{n}x_{i} + B\sum_{i=1}^{n}x^{2}_{i}.}\)
Otrzymaliśmy układ równań normalnych.
Kładąc
\(\displaystyle{ Y =\frac{ \sum_{i=1}^{n}Y_{i}}{n}, \ x = \frac{\sum_{i=1}^{n}x_{i}}{n}.}\)
możemy napisać ten układ w postaci
\(\displaystyle{ A = Y - Bx}\) (1)
Podstawiając A do drugiego równania
\(\displaystyle{ \sum_{i=1}^{n}x{i}Y_{i} = ( Y - Bx)nx + B\sum_{i=1}^{n}x^{2}_{i}.}\)
\(\displaystyle{ B(\sum_{i=1}^{n}x^{2}_{i} - nx^{2}) = \sum_{i=1}^{n}x_{i}Y_{i} - nxY.}\)
\(\displaystyle{ B = \frac{\sum_{i=1}^{n}x_{i}Y_{i} - nxY}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}}.}\)
Pozostało udowodnić, że zmienne losowe A i B mają rozkład normalny.
Zapisujemy zmienną losową B w postaci
\(\displaystyle{ B = \frac{\sum_{i=1}^{n}(x_{i} - x)Y_{i}}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}} =c\sum_{i=1}^{n}(x_{i} - x)Y_{i} .}\)
gdzie
\(\displaystyle{ c = \frac{1}{\sum_{i=1}^{n}x^{2}_{i} - nx^{2}}.}\)
Z (1) równanie
\(\displaystyle{ A + Bx_{0} = \frac{\sum_{i=1}^{n}Y_{i}}{n} - B( x - x_{0}) = \sum_{i=1}{n}Y_{i}\left[ \frac{1}{n} - c(x_{i} -x )(x - x_{0}) \right]}\)
jest liniową kombinacją niezależnych zmiennych losowych \(\displaystyle{ Y_{i}, \ i =1,2,...,n.}\) 0 rozkładzie normalnym.
Obliczamy jego wariancję
\(\displaystyle{ Var(A + Bx_{0}) = \sum_{i=1}^{n}\frac{Y_{i}}{n} - B( x - x_{0}) = \sum_{i=1}^{n}Var(Y_{i})\left[ \frac{1}{n} - c (x_{i} - x )(x - x_{0}) \right]^{2}=}\)
\(\displaystyle{ =\sigma^{2}\left[ \frac{1}{n} + \frac{(x - x_{0})^{2}}{S_{xx}} \right].}\)
gdzie
\(\displaystyle{ \sum_{i=1}^{n}(x_{i} - x)^{2}= \sum_{i=1}^{n}x_{i}^{2} - nx^{2}= \frac{1}{c}= S_{xx}, \ \sum_{i=1}^{n} (x_{i} - x ) = 0.}\)
Stąd
\(\displaystyle{ A + Bx_{0} \sim N\left ( \alpha + \beta x_{0}, \ \sigma^{2}\left[\frac{1}{n} + \frac{(x - x_{0})^{2}}{S_{xx}} \right] \right).}\)
Co należało udowodnić