Matematyka.pl

Chciałbym porównać dwa sposoby dopasowania krzywych. Zbiór treningowy to \(\displaystyle{ N}\) punktów \(\displaystyle{ \left\{ \mathbf{x}^{(n)}, y^{(n)}\right\}
}\).

Najpierw funkcja \(\displaystyle{ p(\mathbf{x}) = \mathbf{w}^{T} \mathbf{x}}\) , gdzie \(\displaystyle{ \mathbf{x}}\) to wektor kolumnowy o wymierach \(\displaystyle{ L \times 1}\). Zakładam również, że istenieje taki wektor \(\displaystyle{ \mathbf{w}}\), który minimalizuje błąd losowy na owym zbiorze treningowym.

Alternatywne podejście to transformacja \(\displaystyle{ \mathbf{x}}\) przy użyciu funkcji wektorowej \(\displaystyle{ \mathbf{ \Pi }}\) i dopasowanie funkcji \(\displaystyle{ r(\mathbf{x}) = \mathbf{v}^T \mathbf{\Pi}(\mathbf{x})}\). Funkcja wektorowa dana jest następująco: \(\displaystyle{ \mathbf{\Pi}(\mathbf{x}) = A\mathbf{x}}\), gdzie \(\displaystyle{ A}\) to odwracalna macierz.

Należy pokazać, że procedury są równoważne.

Moje podejście było następujące: znając wymiary \(\displaystyle{ x}\), wiemy jakie są wymiary wszystkich innych parametrów. \(\displaystyle{ \mathbf{w}^{T}}\) oraz \(\displaystyle{ \mathbf{v}^{T}}\) są wektorami \(\displaystyle{ 1 \times L}\), natomiast macierz \(\displaystyle{ A}\) ma wymiary \(\displaystyle{ L \times L}\). Wtedy po podstawieniu funkcji wektorowej do \(\displaystyle{ r(\mathbf{x}) = \mathbf{v}^T A\mathbf{x}}\). Mogę przyjąć \(\displaystyle{ \mathbf{z}^T = \mathbf{v}^T A}\). A wtedy, \(\displaystyle{ r(\mathbf{x}) = \mathbf{z}^T \mathbf{x}}\). Co oznacza, że procedury są takie same.

Aczkolwiek nie jestem pewien powyższego rozwiązania i byłbym wdzięczny za pomoc . Ciekaw jestem również, czy gdyby \(\displaystyle{ A}\) było macierzą nieodwracalną, to czy dałoby się coś zrobić z tą drugą metodą. Z góry przepraszam za ewentualne kalki językowe.

Dowód jest poprawny, pod warunkiem, że \(\displaystyle{ \Pi(x) }\) jest hiperpłaszczyzną regresji i z jej własności wynika, że wartości dopasowane mogą być interpretowane jako rzut prostopadły wektora \(\displaystyle{ \vec{r}(x) }\) na hiperpłaszczyznę ( w szczególności prostą) wyznaczoną wektorem \(\displaystyle{ \vec{x}. }\)

Zapomniałem dodać, że \(\displaystyle{ \Pi(\mathbf{x}) = A\mathbf{x}}\) w moim przykładzie jest transformacją liniową.

To podałeś.

Czy została podana postać wektora wektora minimalizującego \(\displaystyle{ \vec{w} ? }\)

Nie, należało jedynie założyć, że taki wektor istnieje.

Twój dowód można uznać za poprawny.

Bardziej dokładnie.
W analizie ekonometrycznej znajduje się postać wektora minimalizującego \(\displaystyle{ \vec{w}. }\)
Otrzymuje się układ równań normalnych.
Sprawdza się warunek wystarczający istnienia minimum lokalnego.

Uwzględniając postać przekształcenia \(\displaystyle{ \Pi(x) }\) w wektorze \(\displaystyle{ \vec{r}(\vec{x}), }\) oblicza się pochodną formy kwadratowej. Otrzymujemy ten sam warunek istnienia minimum lokalnego co poprzednio.

W oparciu o twierdzenie Gaussa - Markowa stwierdzamy dodatkowo, że wektor \(\displaystyle{ \vec{w} }\) przy spełnieniu założeń klasycznej metody regresji jest najlepszym estymatorem wektora punktów w klasie liniowych i nieobciążonych estymatorów.

Jeśli chciałbyś pogłębić wiadomości na ten temat proponuję na przykład

SKRYPT DO EKONOMETRII SEMESTR 1 Jerzego Mycielskiego. Wydanie 3. Wydział Nauk Ekonomicznych Uniwersytetu Warszawskiego 2007.