Rozkład normalny

[Emiel Regis]

Rozkład normalny

\(\displaystyle{ X \sim \mathcal{N}(m, \sigma^2)}\)

\(\displaystyle{ m \in \mathbb{R} \text{ - parametr położenia}}\)

\(\displaystyle{ \sigma^2 > 0 \hbox{ - parametr skali}}\)




I Podstawowe informacje


1. Gęstość prawdopodobieństwa

\(\displaystyle{ f(x) = \frac{1}{\sqrt{2 \pi} \sigma} \ \exp \left \{-\frac{(x-m)^2}{2 \sigma^2} \right \}}\)


2. Dystrybuanta

\(\displaystyle{ F(x) = \int_{-\infty}^x f(u)du}\)


3. Wartość oczekiwana

\(\displaystyle{ EX=m}\)

Dowód:    

\(\displaystyle{ EX = \int_{\mathbb{R}} x f(x)dx =
\int_{\mathbb{R}} \frac{1}{\sqrt{2 \pi} \sigma} x \exp \left \{ -\frac{(x-m)^2}{2 \sigma^2} \right \} =
\left|\begin{array}{c} y=\frac{x-m}{\sqrt{2} \sigma} & \sqrt{2} \sigma dy = dx \end{array}\right| = \\ \\ \\
= \frac{1}{\sqrt{\pi}} \int_{\mathbb{R}}(\sqrt{2} \sigma y + m) \ e^{-y^2}dy = \sqrt{\frac{2}{\pi}} \sigma
\underbrace{\int_{\mathbb{R}} y e^{-y^2}dy}_{0} + \frac{m}{\sqrt{\pi}} \underbrace{\int_{\mathbb{R}} e^{-y^2}dy}_{\sqrt{\pi}} =m}\)

Pierwsza całka jest równa zero dlatego, że przedział całkowania jest symetryczny względem 0 oraz funkcja podcałkowa jest nieparzysta.
Druga całka to szczególny przypadek całki Gaussa gdzie \(\displaystyle{ b=0, a=1}\).

4. Wariancja

\(\displaystyle{ Var(X)=\sigma^2}\)

Dowód:    

\(\displaystyle{ Var(X)= E(X-EX)^2 = \int_{\mathbb{R}} (x-m)^2 f(x)dx =
\int_{\mathbb{R}} (x-m)^2 \frac{1}{\sqrt{2 \pi} \sigma} \exp \left \{-\frac{(x-m)^2}{2 \sigma^2} \right \}=\\ \\
= \left|\begin{array}{c} y=\frac{x-m}{\sqrt{2} \sigma} & \sqrt{2} \sigma dy = dx \end{array}\right| =
\frac{\sigma^2}{\sqrt{\pi}} \int_{\mathbb{R}} 2y^2 e^{-y^2}dy = \frac{2 \sigma^2}{\sqrt{\pi}} \int_0^{\infty} 2y^2 e^{-y^2}dy =
\left| \begin{array}{cc} f = y & g' = 2ye^{-y^2} \\ f'=1 & g = -e^{-y^2} \end{array} \right| = \\ \\
= \frac{2 \sigma^2}{\sqrt{\pi}} \bigg{(}-ye^{-y^2} \bigg{|}^{\infty}_{0}+
\underbrace{\int_0^{\infty} e^{-y^2}dy}_{\frac{1}{2} \sqrt{\pi}} \bigg{)} = \frac{2 \sigma^2}{\sqrt{\pi}} \cdot \frac{1}{2}\sqrt{\pi} = \sigma^2}\)

5. Funkcja charakterystyczna

\(\displaystyle{ \varphi(t)= \exp \left \{ imt - \frac{\sigma^2 t^2}{2} \right \}}\)

Dowód:    

Najpierw policzmy funkcję charakterystyczną dla rozkładu standardowego:

\(\displaystyle{ X \sim \mathcal{N}(0, 1) \\ \\
\varphi_X(t) = Ee^{itX} =
\int_{\mathbb{R}} e^{itx} \frac{1}{\sqrt{2 \pi}} e^{-\frac{1}{2}x^2}dx =
\frac{1}{\sqrt{2 \pi}} \int_{\mathbb{R}} \exp \left \{-\frac{1}{2} \left(x^2-2itx \right) \right \}dx =}\)

\(\displaystyle{ = \frac{1}{\sqrt{2 \pi}} \int_{\mathbb{R}} \exp \left \{-\frac{1}{2} ((x-it)^2+t^2) \right \}dx =
\frac{1}{\sqrt{2 \pi}} \exp \left \{-\frac{1}{2}t^2 \right \} \underbrace{\int_{\mathbb{R}} \exp \left \{ -\frac{1}{2}(x-it)^2 \right \} dx}_{\sqrt{2 \pi} \ \ (*)} = \exp \left \{ -\frac{t^2}{2} \right \}}\)

następnie weźmy zmienną:

\(\displaystyle{ Y=\sigma X+m \sim \mathcal{N}(m, \sigma^2)}\)

oraz skorzystajmy z następującego twierdzenia dla funkcji charakterystycznych:

\(\displaystyle{ Z: Y = aX+b}\)

\(\displaystyle{ T: \varphi_Y(t) = e^{itb} \varphi_X(at)}\)

otrzymujemy funkcję charakterystyczną rozkładu normalnego w pełnej ogólności:

\(\displaystyle{ \varphi_Y(t) = e^{imt} \cdot \exp \left \{-\frac{\sigma^2 t^2}{2} \right \} =
\exp \left \{ imt-\frac{\sigma^2 t^2}{2} \right \}}\)


(*) Uzasadnienie wartości całki.

\(\displaystyle{ \int_{\mathbb{R}} \exp \left \{ -\frac{1}{2}(x-it)^2 \right \} dx = \sqrt{2 \pi}}\)

Przesunięcie argumentu jest tutaj już wzdłuż osi urojonej (nie jest to już całka Gaussa) przez co policzenie tej całki staje sie nietrywialne. Poniżej zaprezentuję metodę, która wykorzystuje narzędzia analizy zespolonej.



Parametryzacje krzywych:
(z racji, że jesteśmy teraz na płaszczyźnie zespolonej to zamiast argumentu x będę pisał z)

\(\displaystyle{ \begin{array}{lcl}
\Gamma_2: z(u)=r+itu, & \quad & u \in [0,1] \\
\Gamma_3: z(u)=u+it, & \quad &u \in [r,-r] \\
\Gamma_4: z(u)=-r+itu, & \quad & u \in [1,0]
\end{array}}\)

Dla uproszczenia zapisu nazwijmy funkcję podcałkową:

\(\displaystyle{ f(z) = \exp \left \{-\frac{1}{2}(z-it)^2 \right \}}\)

Funkcja \(\displaystyle{ f}\) jest holomorficzna na całej płaszczyźnie zespolonej, zatem z tw. Cauchy'ego wynika, że całka z niej po krzywej zamkniętej wynosi zero.

\(\displaystyle{ \int_{\Gamma _1}f + \int_{\Gamma _2}f + \int_{\Gamma _3}f + \int_{\Gamma _4}f =0 \ \ \ \Longrightarrow \ \ \ \int_{\Gamma _1}f = - \int_{\Gamma _2}f - \int_{\Gamma _3}f - \int_{\Gamma _4}f}\)

Korzystając z powyższego faktu możemy naszą całkę przekształcać następująco:

\(\displaystyle{ \int_{\mathbb{R}} f = \lim_{r \to \infty} \int_{-r}^r f = \lim_{r \to \infty} \int_{\Gamma_1} f = \lim_{r \to \infty} \Bigg{(} -
\underbrace{\int_{\Gamma _2}f}_{\rightarrow 0} -
\underbrace{\int_{\Gamma _3}f}_{\rightarrow -\sqrt{2 \pi}} -
\underbrace{\int_{\Gamma _4}f}_{\rightarrow 0} \Bigg{)}}\)

Po kolei teraz pokażę odpowiednie zbieganie powyższych trzech całek.

\(\displaystyle{ 1. \quad \quad \int_{\Gamma _2}f \quad \longrightarrow \quad 0}\)

\(\displaystyle{ \left| \int_{\Gamma_2} \exp \left \{-\frac{1}{2}(z-it)^2 \right \} dz \right| =
\left| \int_0^1 \exp \left \{-\frac{1}{2}(r+itu-it)^2 \right \} it du \right| =
\left| it \int_0^1 \exp \left \{-\frac{1}{2}(r+it(u-1))^2 \right \} du \right| =
\\ \\
= \left| t \int_0^1 \exp \left \{-\frac{1}{2} \left(r^2+2rit(u-1)-t^2(u-1)^2 \right) \right \} du \right| \leqslant
t \int_0^1 \exp \left \{-\frac{1}{2}r^2 \right \} \exp \left \{-\frac{1}{2}t^2(u-1)^2 \right \} du =
\\ \\
\mbox{\displaystyle
=t \exp \left \{-\frac{1}{2}r^2 \right \} \int_0^1 \exp \left \{-\frac{1}{2}t^2(u-1)^2 \right \} du \leqslant t \exp \left \{-\frac{1}{2}r^2 \right \} \cdot \lambda([0,1]) \cdot \exp \left \{\frac{1}{2}t^2 \right \} \stackrel{r \to \infty}{\longrightarrow} 0}}\)

Ostatnie szacowanie całki to po prostu długość przedziału całkowania razy największa wartość funkcji na tym przedziale.

\(\displaystyle{ 2.\quad \quad \int_{\Gamma _4}f \quad \longrightarrow \quad 0}\)

Analogicznie jak poprzednia.

\(\displaystyle{ 3.\quad \quad \int_{\Gamma _3}f \quad \longrightarrow \quad -\sqrt{2 \pi}}\)

\(\displaystyle{ \int_{\Gamma_3} \exp \left \{-\frac{1}{2}(z-it)^2 \right \}dz = \int_{r}^{-r} \exp \left \{-\frac{1}{2}u^2 \right \}du = -\int_{-r}^{r} \exp \left \{-\frac{1}{2}u^2 \right \}du
\stackrel{r \to \infty}{\longrightarrow} -\sqrt{2 \pi}}\)



Reasumując całe rozumowanie:

\(\displaystyle{ \int_{\mathbb{R}} \exp \left \{-\frac{1}{2}(z-it)^2 \right \} = -(-\sqrt{2 \pi}+0+0) = \sqrt{2 \pi}}\)

II Uwagi


1. Rozkład normalny jest jednym z najczęściej spotykanych rozkładów - ma to miejsce głównie za sprawą centralnych twierdzeń granicznych, które mówią, że ustandaryzowana suma odpowiednio regularnych zmiennych losowych zbiega do rozkładu normalnego. Więcej można przeczytać o tym w osobnym artykule:
Centralne twierdzenia graniczne

2. Funkcja Gaussa

\(\displaystyle{ f(x) = \exp \left \{-\frac{(x-b)^2}{a^2} \right \}}\)

Jedną z jej najistotniejszych (najbardziej uciążliwych) własności jest to że całka nieoznaczona z niej jest nieelementarna. W praktyce oznacza to, że poza szczególnym przypadkiem, w którym \(\displaystyle{ c=-\infty}\) oraz \(\displaystyle{ d = +\infty}\) nie jesteśmy w stanie policzyć analitycznie wartości:

\(\displaystyle{ \int_c^d \exp \left \{-\frac{(x-b)^2}{a^2} \right \} dx}\)

Przez co do jej policzenia wykorzystuje się metody numeryczne.


3. Standardowy rozkład normalny

\(\displaystyle{ Z: X \sim \mathcal{N}(m, \sigma^2)}\)

\(\displaystyle{ T: Y = \frac{X-m}{\sigma} \sim \mathcal{N}(0, 1)}\)

O zmiennej Y mówimy, że ma standardowy rozkład normalny. Widzimy więc, że każdą zmienną normalną da się ustandaryzować. W związku z tym oraz uwagą drugą w celu sprawnego liczenia prawdopodobieństwa dla zmiennych o rozkładzie normalnym autorzy książek zamieszczają tablice wartości dystrybuanty standardowego rozkładu normalnego.


4. Całka Gaussa

Całka Gaussa jest to całka oznaczona z funkcji Gaussa po całej osi liczb rzeczywistych.

\(\displaystyle{ \int_{\mathbb{R}} \exp \left \{-\frac{(x-b)^2}{a^2} \right \}dx = \sqrt{\pi a^2}}\)

Dzięki takiemu przedziałowi całkowania jesteśmy w stanie policzyć ją analitycznie.

Dowód:    

Ponieważ przy liczeniu wartości oczekiwanej oraz wariancji będę korzystał z wartości tej całki także przedstawię poniżej sposób jej policzenia.

W ogólnej postaci całka Gaussa wygląda następująco:

\(\displaystyle{ I = \int_{\mathbb{R}} \exp \left \{-\frac{(x-b)^2}{a^2} \right \}dx}\)

Ze względu, że całkujemy po całej osi rzeczywistej to przesunięcie argumentu nie zmienia wartości całki, a więc możemy ją zapisać w prostszy sposób:

\(\displaystyle{ I = \int_{\mathbb{R}} \exp \left \{-\frac{x^2}{a^2} \right \}dx}\)

Poniżej skorzystam z twierdzenia Fubiniego oraz przejdę na współrzędne biegunowe, mianowicie:

\(\displaystyle{ I^2 = \int_{\mathbb{R}} \exp \left \{-\frac{x^2}{a^2} \right \}dx \int_{\mathbb{R}} \exp \left \{-\frac{y^2}{a^2} \right \}dy =
\int_{\mathbb{R}^2} \exp \left \{-\frac{1}{a^2}(x^2+y^2) \right \}dxdy = \\ \\ \\
= \left|\begin{array}{c} x = rcos \varphi \\ y=rsin \varphi \\|J|=r \end{array}\right| =
\int_{\mathbb{R}^2} r \exp \left \{-\frac{r^2}{a^2} \right \}drd \varphi =
\int_0^{2 \pi}d \varphi \int_0^{\infty}r \exp \left \{-\frac{r^2}{a^2} \right \}dr = \\ \\ \\
= \left|\begin{array}{c} t = r^2 \\ \frac{1}{2}dt=rdr \end{array}\right| =
\pi \int_0^{\infty} \exp \left \{-\frac{t}{a^2} \right \}dt =
- \pi a^2 \exp \left \{-\frac{t}{a^2} \right \} \bigg{|}^{\infty}_0 = \pi a^2}\)

Ostatecznie:

\(\displaystyle{ I = \sqrt{\pi a^2}}\)

5. Kombinacja liniowa zmiennych o łącznym rozkładzie normalnym ma rozkład normalny

W szczególności:

\(\displaystyle{ Z: (X, Y) \sim \mathcal{N}_2}\)

\(\displaystyle{ T: X+Y \sim \mathcal{N} (EX+EY, Var(X)+Var(Y)+2Cov(X, Y))}\)


6. Funkcja liniowa zmiennej normalnej

\(\displaystyle{ Z: X \sim \mathcal{N}(m, \sigma^2) \ \ \wedge \ \ a \in \mathbb{R} \backslash \{0\} \ \ \wedge \ \ b \in \mathbb{R}}\)

\(\displaystyle{ T: aX+b \sim \mathcal{N}(am + b, a^2 \sigma^2)}\)