Regresja liniowa - o jak to działa?

Piotras88 · Post autor: **Piotras88** » 3 lis 2007, o 22:22

Witam!
Jestem studentem pierwszego roku informatyki na politechnice szczecińskiej. Piszę tutaj ponieważ liczę na to, że ktoś byłby tak uprzejmy i pomógłby mi zrozumieć regresję liniową. Do czego mi ona potrzebna? Otóż potrzebuję ją zastosować do obliczeń z fizyki, jednakże mimo, iż bardzo się starałem to nie rozumiem co jest w tym wzorze, a co gorsza jak go zastosować w związku z tym chciałbym prosić wszystkich członków tego forum o jakąkolwiek pomoc. Z góry ślicznie dziękuję.

[EDIT]

Już chyba doszedłem co i jak we wzorze tylko zastanawia mnie jaką wartość wstawić pod: \(\displaystyle{ \sum_{n=1}^{n}}\)

kadykianus · Post autor: **kadykianus** » 4 lis 2007, o 12:51

Po pierwsze studencie jest cos takiego jak Internet i wystarczy wpisac regresja liniowa by wszystkiego sie dowiedzieć. To tak na przyszłość. Poza tym przeszukaj tutejsze forum. Na pewno coś znajdziesz (wiem, ze cos znajdziesz bo sam kilka dni temu wyjaśniałem co to jest regresja liniowa). Regresja liniowa to statystyczna metoda stworzenia matematycznego modelu zależności jednej zmiennej od innej zmiennej albo więcej niz jednej zmiennej. Model ten opisany jest funkcją liniową postaci Y = a*X+b, gdzie Y to Twoja zmienna zależna, którą chcesz oszacować, wyliczyć na podstawie zmiennej niezależnej X. Przykładowo może to byc model zależności wagi od wzrostu.

Ma on postać: Waga = a*Wzrost+b. Aby dostać model musisz oszacować te współczynniki czyli "a" i "b". Robisz to na podstawie materialu statystycznego czyli na próbce ludzi którym pomierzono wagę i wzrost i wykreślono na wykresie. Wiadomo, ze nie ma zależności funkcyjnej miedzy waga a wzrostem lecz jest zaleznosc statystyczna (mówiąc poprawniej stochastyczna). Zatem to co masz na wykresie to chmura punktów. Teraz, Twoim zadaniem jest poprowadzic przez tą chmurę prostą linię. Bedzie to tzw. prosta regresji. Istnieje nieskonczenie wiele takich prostych ale tylko jedna jest najlepsza z nich wszystkich czyli taka, która najlepiej do tych punktów "pasuje". Współczynniki "a" i "b" tej prostej oblicza sie metodą najmniejszych kwadratów (MNK). Mając juz te współczynniki możesz podstawić do wzoru wzrost i obliczyć przewidywaną wagę. Roznica między wagami oryginalnymi (tymi z próbki którą dysponujesz) a przewidywanymi w modelu nazywa się "reszta". Metoda najmniejszych kwadratów gwarantuje, ze suma kwadratów tych reszt bedzie najmniejsza z możliwych i dlatego prosta regresji tym sposobem wyliczona będzie najlepiej pasowała do chmurki przez którą przechodzi.

Oczywiście regresję robi sie automatycznie w roznych programach albo nawet w lepszych kalkulatorach ale Ty chyba na zajeciach masz to robic "ręcznie" ze wzorów. Wzory na współczynniki "a" i "b" są powszechnie dostapne wiec nie bede tu ich pokazywał. Pamiętaj tylko ze 'y' to Twoja zmienna zalezna a 'x' to niezależna.

Najpierw sie wyznacza wspolczynnik 'a' (wzor jest prosty choc wygląda na skomplikowany) a nastepnie wspolczynnik 'b' ze wzoru: b = y'-a*x', gdzie y' to jest srednia z y-grekow a x' to srednia z x-ksów. Co do Twojego ostatniego pytania, to 'n' jest liczba punktów (obserwacji)
a 'i' oznacza kolejny punkt zatem 'i' jest od 1 do 'n'.

A wzór na wspolczynnik 'a' wymaga, by od pierwszego y-greka odjac srednia z y-grekow. Nastepnie od pierwszego x-ksa odjac srednia z x-ksów. Te dwie liczby pomnożyć. Zrobic tak z kazdą parą x-ksow i y-grekow. Wyniki mnożenia zsumować i zapisać jako "R". Następnie od każdego x-ksa znowu odjąć średnią z x-ksow ale tym razem wynik podnieść do kwadratu. Zsumować te wszystkie kwadraty x-ksowe i zapisac jako P. Teraz masz juz zapisane dwie liczby. Podziel R/P i masz wspolczynnik 'a'.

Piotras88 · Post autor: **Piotras88** » 10 lis 2007, o 21:48

Hmmm, a czy R nie trzeba jeszcze pomnożyć jeszcze razy n?

kadykianus · Post autor: **kadykianus** » 11 lis 2007, o 00:24

Nie, nie mnozyc razy n. Niz z tych rzeczy. Wzor ten pisalem majac ksiazke przed nosem i teraz jeszcze raz sprawdziłem

Licznik tego wzoru czyli R wyglada nastepujaco: (y-sr(y)) * (x-sr(x)) i te wszystkie iloczyny zsumować na końcu. To bedzie wtedy Twpoje R. W tym wzorze wyrażenie sr(y) to średnia z y-ków, a sr(x) to oczywiscie srednia z x-ksów.

Piotras88 · Post autor: **Piotras88** » 11 lis 2007, o 13:01

Te wzory co ja widziałem wyglądają trochę inaczej, ale tą metodą dobrze wychodzi . Mam jeszcze pytanie co do wzoru na \(\displaystyle{ S_{ \overline{a} }}\) oraz \(\displaystyle{ S_{ \overline{b} }}\) jak je policzyć.
Z góry dziękuję.

kadykianus · Post autor: **kadykianus** » 11 lis 2007, o 13:25

Nie napisales co to jest S. Domyslam sie, ze jest to odchylenie standardowe wspolczynnikow regresji "a" i "b".
Są na to wzory ale najpierw poszukaj na

Kod: Zaznacz cały

http://www.google.pl

. Wpisz hasla regresja liniowa itp. Moge tylko powiedzic, ze czlowiek, ktory Ci kaze to wszystko na piechotę liczyc fatalnie uczy statystyki. Poza tym kto dzisiaj wylicza odchylenia standardowe współczynników. Lepszą miarą dopasowania linii regresji do danych jest współczynnik determinacji. Możesz to powtórzyć swojemu nauczycielowi ode mnie.

Piotras88 · Post autor: **Piotras88** » 11 lis 2007, o 13:29

W sumie to ja nie miałem tego na statystyce, a potrzebuję policzyć zadania z fizyki. Co do wzorów to je mam, ale nie wiem zbytnio jak je zastosować, dlatego byłbym wdzięczny za objaśnienie jak to się liczy. A co do S mam napisane, że to "miara niepewności pomiarowych współczynników regresji"

kadykianus · Post autor: **kadykianus** » 11 lis 2007, o 13:33

OK zgadza sie. Chodzi o odchylenie standardowe estymatorów a i b.
Jak nie znajdziesz niczego sam to napisze krok po kroku jak to sie liczy.

Piotras88 · Post autor: **Piotras88** » 11 lis 2007, o 13:57

Przeszukałem google jednakże znalazłem same wzory, ani grama objaśnienia jak to się liczy .

kadykianus · Post autor: **kadykianus** » 11 lis 2007, o 16:44

OK. Opisze slowami jak to sie liczy. Uwaga.
Aby policzyc odchylenie standardowe wspolczynnika kierunkowego regresji (czyli Sa) trzeba podnieść do kwadratu wszystkie y-greki i zsumować je razem. Zapisać wynik jako A.
Nastepnie trzeba pomnozy kazdy y-grek przez odpowiadający mu x-ks. Zsumowac te wszystkie iloczyny razem. Sume pomnozyc razy wspolczynnik kierunkowy regresji "a". Zapisac wynik jako B.
Nastepnie zsumować wszystkie y-greki a sume pomnożyc przez wyraz wolny rownania regresji czyli "b". Wynik zapisac jako C.
Nastepnie podniesc do kwadratu wszystkie x-ksy i zsumowac je raszem. Wynik pomnozyc razy "n" czyli liczebnosc probki. Wynik zapisac jako D.
Nastepnie zsumować wszystkie x-ksy a sumę podniesc do kwadratu. Wynik zapisać jako E.

Teraz uwaga. Nalezy obliczyć takie coś: [A-B-C] a wynik pomnozyc razy "n". Zapisać to jako Z.
Teraz trzeba obliczyc takie coś: [D-E] a wynik pomnozyc razy n-2 (czyli jak masz naprzyklad 100 obserwacji to "n" jest 100 a n-2 rowna sie 98 i trzeba pomnozyc przez 98) Wynik zapisac jako V.
No i teraz trzeba podzielić Z / V. Wynik zapisac jako T. Na sam koniec trzeba spierwiastkować T i koniec. Mamy nasze szukane odchylenie standardowe wspolczynnika kierunkowego prostej regresji czyli szukane Sa.

Aby wyliczyc odchylenie standardowe wyrazu wolnego "b" czyli aby policzyc Sb to wystarczy takie coś:
Podnieść do kwadratu wszystkie x-ksy i zsumować je razem. Wynik pomnozyc razy wyliczony wczesniej Sa podniesiony do kwadratu (nie pomyl sie tutaj! Podnosisz Sa do kwadratu!) i zapisac jako K. Nastepnie K podzielić przez "n" a wynik spierwiastkować. Koniec. To co wyjdzie to nasze szukane Sb czyli odchylenie standardowe wyrazu wolnego w rownaniu regresji.