Kryterium AIC i RSS

Geraldinho · Post autor: **Geraldinho** » 10 lut 2015, o 22:50

Witam

Chcę wykorzystać kryterium informacyjne Akaikiego do sprawdzenia czy mój model (wielomian) ma odpowiedni stopień.
Nie umiem jednak policzyć składnika RSS czyli sumy reszt kwadratów czy jak piszę angielska wiki "Residual sum of squares".
Mógłby mi ktoś podpowiedzieć jak to się ogólnie liczy?
Wzór widziałem na wikipedi ale nie bardzo wiem jak go zastosować.

Z góry dziękuje.

Adifek · Post autor: **Adifek** » 12 lut 2015, o 14:46

To po prostu suma kwadratów reszt.

Ale skądinąd nie wiem po co Ci RSS, skoro kryterium Akaike bazuje na funkcji wiarygodności.

Geraldinho · Post autor: **Geraldinho** » 12 lut 2015, o 17:58

Jest kilka równoważnych wersji kryterium Akaike, w jednej jest maksymalna wartość funkcji wiarygodności a w drugiej właśnie RSS.
Tak czy siak nie wiem,ani jak policzyć funkcje wiarygodności,ani jak policzyć RSS.

Suma kwadratów reszt wciąż niewiele mi mówi,mógłbyś rozwinąć?

Adifek · Post autor: **Adifek** » 12 lut 2015, o 19:16

Nie wiem jaki masz model, ale to co mówisz brzmi mocno podejrzanie, by do kryterium informacyjnego używać estymator.

Zwykle RSS definiuje się tak: Dla obserwacji \(\displaystyle{ y_1, \dots , y_n}\) oraz ich estymatorów \(\displaystyle{ \widehat{y}_1, \dots , \widehat{y}_n}\) definiuje się jako

\(\displaystyle{ RSS = \sum_{i=1}^n \left( y_i -\widehat{y}_i\right)^2}\)

Ale nie znając modelu to ciężko coś więcej powiedzieć

Geraldinho · Post autor: **Geraldinho** » 12 lut 2015, o 23:53

Ok chyba mnie nie rozumiesz więc napiszę inaczej.
Wzór na RSS znam,jednak zwyczajnie nie potrafię go zastosować bo miałem bardzo mało do czynienie ze statystyką.
Mój model jak pisałem w pierwszym poście to wielomian x-stopnia,chyba 12 mi mathematica wyliczyła. Chcę mieć jednak większą pewność że nie jest on "overfitted" jak to czasem wyskakuje.
Dlatego chcę policzyć AIC a do tego mi jest potrzebny RSS i naprawdę nie ma w tym nic podejrzanego, zresztą kryterium HQC też bazuję na RSS.
Dlatego proszę o pomoc,czym są obserwację którę wspomniałeś wyżej a czym estymatory(podkreślam że do wikipedii mam dostęp potrzebuję trochę "głębszego wyjaśnienia")

Adifek · Post autor: **Adifek** » 13 lut 2015, o 00:55

Załóżmy, że masz pewne obserwacje \(\displaystyle{ y_1, ... , y_n}\) oraz \(\displaystyle{ x_1 , ... ,x_n}\). Załóżmy, że zakładasz najprostszy model liniowy \(\displaystyle{ y=ax +b + \epsilon}\). Dostajesz oszacowania \(\displaystyle{ \widehat{a}, \ \widehat{b}}\) parametrów \(\displaystyle{ a}\) i \(\displaystyle{ b}\). Wtedy \(\displaystyle{ RSS = \sum_{i=1}^{n}(y_i - \widehat{a}x_i - \widehat{b})^2}\).

Nie ma takiego modelu jak "wielomian". Wielomian jest funkcją deterministyczną i kryterium AIC nie ma tutaj zastosowania. Może być ewentualnie jakaś regresja.