Suma niezależnych zmiennych losowych - dowód na splot

[1jacek2kowalski3]

Witam serdecznie. Ostatnimi czasy analizuję dowody pewnych twierdzeń ze zmiennych losowych. Niejasne jest dla mnie miejsce w dowodzie faktu, iż gęstość sumy niezależnych zmiennych losowych typu ciągłego wyraża się za pomocą splotu. Konkretnie chodzi o równość
\(\displaystyle{ P(X+Y \in B)=P_{(X,Y)}(\{(x,y): x+y \in B\})}\)
dla dowolnego zbioru borelowskiego. Dla formalności
\(\displaystyle{ (\Omega, \mathcal F, P)}\) - przestrzeń z miarą
\(\displaystyle{ X, Y\colon \Omega \to R}\) - zmienne losowe
\(\displaystyle{ P_{(X,Y)}}\) - rozkład łączny zmiennych losowych X, Y. Zmienne są niezależne. To miejsce jest albo oczywiste albo zapożycza jakichś fakt. Nie potrafię nawet tego uzasadnić w wersji
\(\displaystyle{ P(X+Y \leq z)=P_{(X,Y)}(\{(x,y): x+y \leq z \})}\)
Patrzę na to i nie wiem o co chodzi. Wiadomo, że
\(\displaystyle{ \{X+Y\leq z\}=\{\omega \in \Omega \colon X(\omega)+Y(\omega)\in B\}\subset \Omega}\)
\(\displaystyle{ \{(x,y)\in \Omega^2: x+y \in B\}\subset \Omega^2}\)
Nie jest dla mnie jasne przejście z miary jednowymiarowej do dwuwymiarowej. Czy korzystamy tutaj z tw. Fubiniego?
Pozdrawiam

[Premislav]

Oj, nie mam ochoty tego pisać, bo istnieje ryzyko, że coś pomylę.
Jest to wyjaśnione, o ile pamiętam, u Jakubowskiego i Sztencla w bardzo dobrej książce Wstęp do teorii prawdopodobieństwa, można to też znaleźć w tym oto skrypcie (twierdzenie 5.12): .
Najpierw korzysta się tam z warunku równoważnego niezależności zmiennych losowych \(\displaystyle{ X,Y}\) o rozkładach ciągłych (jest to zawarte w poprzedzającym twierdzeniu 5.11; gęstość wektora losowego \(\displaystyle{ (X,Y)}\) jest iloczynem gęstości rozkładów brzegowych), a potem z Fubiniego.-- 30 lip 2019, o 17:03 --Aaa, Ty chyba pytasz dokładnie o tę pierwszą napisaną tam równość (w tym twierdzeniu 5.12)… Nie umiem tego wytłumaczyć, dla mnie ona się rozumie sama przez się. Mamy wektor losowy \(\displaystyle{ (X,Y)}\), funkcję borelowską (ba, ta nawet ciągła jest) \(\displaystyle{ h: \RR^2\rightarrow \RR}\), no to
\(\displaystyle{ \mathbf{P}(h(X,Y)\in B)=\mathbf{P}_{(X,Y)}((x,y): h(x,y)\in B)}\).
Pewnie to jest związane z jakimś twierdzeniem o transporcie miary.

[1jacek2kowalski3]

Dobra, udało mi się to uzasadnić. W tym momencie wcale nie uważam tego za oczywiste. Więc tak:
Uzasadnimy najpierw równość
\(\displaystyle{ P(X+Y<z)=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y<z\}).}\)
Zbiór
\(\displaystyle{ \{(x,y)\in \mathbb R^2 \colon x+y<z\}}\)
przedstawiamy jako przeliczalną sumę rozłącznych przedziałów dwuwymiarowych postaci \(\displaystyle{ [a_n, b_n)\times[c_n, d_n).}\) (Tutaj pewnie mógłbym założyć, że wszystkie końce są otwarte, ale w ten sposób łatwiej to widać). Wówczas

\(\displaystyle{ \{\omega \in \Omega \colon X(\omega)+Y(\omega)<z\}=\bigcup_{n=1}^{\infty}\{\omega \in \Omega \colon X(\omega) \in [a_n, b_n), Y(\omega) \in [c_n, d_n)\},}\)

przy czym sumujemy rozłączne zdarzenia.
\(\displaystyle{ P(X+Y<z)=\sum_{n=1}^{\infty}P(X \in [a_n, b_n), Y \in [c_n, d_n))=}\)

\(\displaystyle{ \sum_{n=1}^{\infty}P_{(X, Y)}(\{(x,y)\colon x \in [a_n, b_n), y\in [c_n, d_n)\})=}\)

\(\displaystyle{ P_{(X, Y)}(\bigcup_{n=1}^{\infty}\{(x,y)\colon x \in [a_n, b_n), y\in [c_n, d_n)\})=}\)

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y<z\}).}\)

Tym samym dla \(\displaystyle{ a<b}\) mamy

\(\displaystyle{ P(a\leq X+Y<b)=P( X+Y<b)-P( X+Y<a)=}\)

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon a\leq x+y<b\}).}\)

Stąd widać, że

\(\displaystyle{ P(X+Y=a)=\lim_{n \to \infty}P(a\leq X+Y<a+1/n)=}\)

\(\displaystyle{ \lim_{n \to \infty}P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon a\leq x+y<a+1/n\})=}\)

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y=a\})=0.}\)

bo przestrzeń jest skończonej miary, a ciąg zbiorów jest zstępujący. Ostatecznie otrzymaliśmy, że

\(\displaystyle{ P(X+Y\in (a, b))=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in (a,b)\}).}\)

Dowolny zbiór otwarty w \(\displaystyle{ \mathbb R}\) można przedstawić jako rozłączną przeliczalną sumę odcinków otwartych, więc dla zbioru otwartego \(\displaystyle{ U}\) mamy

\(\displaystyle{ P(X+Y\in U)=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in U\}).}\)

Ta sama własność zachodzi również dla zbiorów domkniętych jako dopełnienie odpowiednich zdarzeń.
Uzasadnimy teraz, że dla dowolnego zbioru borelowskiego \(\displaystyle{ B\subset \mathbb R}\) mamy

\(\displaystyle{ P(X+Y\in B)=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in B\}).}\)

Każdy zbiór borelowski na \(\displaystyle{ \mathbb R}\) jest mierzalny w sensie Lebesgue'a. Z regularności \(\displaystyle{ \mu}\) mamy, że istnieją zbiory domknięte \(\displaystyle{ F_n}\) oraz zbiory otwarte \(\displaystyle{ U_n}\) takie, że \(\displaystyle{ F_n\subset B\subset U_n}\) oraz takie, że \(\displaystyle{ \mu(U_n\setminus F_n)<1/n.}\)
Pokażemy, że

\(\displaystyle{ \lim_{n \to \infty}P(X+Y\in U_n\setminus F_n)=0,}\)

co będzie oznaczać, że

\(\displaystyle{ \lim_{n \to \infty}P(X+Y\in F_n)=P(X+Y\in B),\quad \lim_{n \to \infty}P(X+Y\in U_n)=P(X+Y\in B).}\)

Ze względu na wcześniejszą obserwację oraz oczywisty fakt

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in F_n\})\leq P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in B\})\leq}\)

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in U_n\})}\)

(środkowy zbiór jest borelowski jaki przeciwobraz przez ciągłą funkcję \(\displaystyle{ (x, y)\to x+y}\)) otrzymamy, że

\(\displaystyle{ P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y\in B\})=P(X+Y\in B)}\)

Na początek zauważmy, że dla dowolnego \(\displaystyle{ N>0, a<b}\) mamy

\(\displaystyle{ \mu_2(\{(x,y) \colon x+y\in (a, b)\}\cap [-N, N]\times [-N, N])\leq 2N(b-a).}\)


Ustalmy zatem \(\displaystyle{ \varepsilon>0}\). Dobierzmy \(\displaystyle{ N>0}\) tak, aby

\(\displaystyle{ P(X \in [-N, N], Y\in [-N, N])=P(X \in [-N, N])\cdot P(Y\in [-N, N])\geq 1-\varepsilon/2.}\)

Z absolutnej ciągłości dystrybuanty rozkładu \(\displaystyle{ P_{(X,Y)}}\) wiemy, że istnieje \(\displaystyle{ \delta>0}\) takie, że dla dowolnego zbioru borelowskiego \(\displaystyle{ A\subset \mathbb R^2}\) takiego, że \(\displaystyle{ \mu_2(A)<\delta}\) mamy

\(\displaystyle{ P((X,Y)\in A)<\varepsilon/2.}\)

Niech \(\displaystyle{ n}\) będzie dowolnych wskaźnikiem takim, że

\(\displaystyle{ 2N/n<\delta.}\)

Wówczas zbiór \(\displaystyle{ U_{n}\setminus F_{n}}\) jest otwarty i można zapisać go jako sumę przeliczalnie wielu przedziałów otwartych parami rozłącznych \(\displaystyle{ I_k=(a_k, b_k)}\)
(\(\displaystyle{ I_k}\) oczywiście zależą od n). Wówczas

\(\displaystyle{ P(X+Y\in U_{n}\setminus F_{n})= \sum_{k=1}^{\infty}P(X+Y\in I_k)=\sum_{k=1}^{\infty}P_{(X, Y)}(\{(x,y) \colon x+y\in I_k\})=}\)

\(\displaystyle{ \sum_{k=1}^{\infty}P_{(X, Y)}(\{(x,y) \colon x+y\in I_k\}\cap [-N, N]\times [-N, N])+}\)

\(\displaystyle{ \sum_{k=1}^{\infty}P_{(X, Y)}(\{(x,y) \colon x+y\in I_k\}\setminus [-N, N]\times [-N, N])\leq \varepsilon,}\)

gdyż

\(\displaystyle{ \mu(\bigcup_{k=1}^{\infty}\{(x,y) \colon x+y\in I_k\}\cap [-N, N]\times [-N, N])=}\)
\(\displaystyle{ \sum_{k=1}^{\infty}\mu(\{(x,y) \colon x+y\in I_k\}\cap [-N, N]\times [-N, N])<\delta}\)

oraz

\(\displaystyle{ \sum_{k=1}^{\infty}P_{(X, Y)}(\{(x,y) \colon x+y\in I_k\}\setminus [-N, N]\times [-N, N])=}\)

\(\displaystyle{ P_{(X, Y)}(\bigcup_{k=1}^{\infty}\{(x,y) \colon x+y\in I_k\}\setminus [-N, N]\times [-N, N])\leq}\)

\(\displaystyle{ P_{(X, Y)}(\mathbb R^2\setminus [-N, N]\times [-N, N])\leq \varepsilon/2.}\)


Ufff...
Jeżeli zna ktoś lepszy sposób to bardzo proszę. Również korzystałem ze skryptu Osękowskiego i właśnie o ten moment mi chodziło. Osobiście uznaję to za lukę w dowodzie. Ewentualnie należałoby podać źródło. Z transportem miary jeszcze się nie spotkałem i wątpię aby ktoś po podstawowym kursie teorii miary i całki odwołał się do takich faktów, ale na pewno sprawdzę. Może jakieś źródło literatury ktoś podsunie z literatury polskojęzycznej albo anglojęzycznej.

[Premislav]

Uuu, to grubaśnie. Gratulacje, ja bym nie był w stanie przeprowadzić samodzielnie takiego rozumowania, chociaż i rachunek prawdopodobieństwa 1 i 2, i teorię miary i całki (u nas na UWr na to był oddzielny przedmiot) miałem dawno temu (tzn. w żadnym momencie bym nie był w stanie).

Nie wiem, czy jesteś zaznajomiony z wartościami oczekiwanymi (patrząc po rozdziale Osękowskiego, być może nie), ale jeśli tak, to sprawę załatwia napisanie
\(\displaystyle{ \mathbf{P}(X+Y\le z)=\mathbf{E}\left[ 1{\hskip -2.5 pt}\hbox{l}_{(-\infty, z]}(X+Y)\right]}\)
i skorzystanie z takiego oto twierdzenia (w II wydaniu z 2001 roku książki Jakubowskiego i Sztencla twierdzenie to jest Twierdzeniem 7. w rozdziale 5.6, str. 82):

Niech \(\displaystyle{ \varphi: \RR^n\rightarrow \RR}\) będzie funkcją borelowską, a \(\displaystyle{ X}\) zmienną losową o wartościach w \(\displaystyle{ \RR^n}\).
Wtedy
\(\displaystyle{ \mathbf{E}\varphi(X)=\int_{\RR^n}\varphi(x)\mu_X(dx)}\),
przy czym równość należy rozumieć tak:
jeśli całka po jednej stronie istnieje, to całka po drugiej stronie też istnieje i są one równe.

Po krótkim wspomnieniu wcześniej udowodnionego w toku książki faktu, że \(\displaystyle{ \varphi(X)}\) jest zmienną losową (u Osękowskiego to się pojawia wcześniej), dowód przebiega standardową metodą komplikowania funkcji: najpierw sprawdza się dla \(\displaystyle{ \varphi}\) będącej funkcją indykatorową zbioru borelowskiego, później dla dowolnej mierzalnej funkcji prostej przez liniowość całki, potem dla dowolnej nieujemnej funkcji borelowskiej, którą przedstawia się jako granicę ciągu monotonicznego mierzalnych funkcji prostych nieujemnych i korzysta się przy tym z twierdzenia Lebesgue'a, no a wreszcie rozbija się dowolną funkcję borelowską \(\displaystyle{ \varphi}\) na \(\displaystyle{ \varphi=\varphi^+-\varphi^-}\), gdzie
\(\displaystyle{ \varphi^+(x)=\max\left\{ \varphi(x), 0\right\}, \ \varphi^-(x)=-\min\left\{ \varphi(x), 0\right\}}\).
Tutaj właściwie wystarcza nam pierwszy krok tego wywodu (dla funkcji indykatorowej zbioru borelowskiego), jak nie masz dostępu do tej książki, to mogę Ci podesłać albo tu przepisać ten fragment dowodu. No ale u pana Osękowskiego wartość oczekiwana pojawia się w rozdziale 7. a to jest rozdział 5. więc powinno się dać uzasadnić bez tego.

Bardzo podobny dowód tego samego twierdzenia jest w książce Durretta, Probability: Theory and Examples (w necie można znaleźć), str. 27, twierdzenie 1.6.9

Natomiast jak to skminić prościej niż napisałeś bez odwoływania się do wartości oczekiwanych, to na razie nie wiem.

[Dasio11]

Uzasadnimy najpierw równość
\(\displaystyle{ P(X+Y<z)=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y<z\}).}\)

Jak definiujesz lewą stronę i czym jest \(\displaystyle{ P_{(X, Y)}}\) ?

[janusz47]

\(\displaystyle{ F_{X+Y}(z)=P(\{X+Y<z\})=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y<z\}) = \iint_{\{(x,y):x+y\leq z\}} f_{(X,Y)}(x,y)dxdy =}\)

[1jacek2kowalski3]

Dzięki za namiary do książek. Nie pozostaje mi zatem nic innego jak przebrnąć przez te dowody dla szczególnego przypadku. Na razie przeglądam książkę Durretta, Probability: Theory and Examples, ale na razie nie czuję gdzie jest ten kluczowy moment w dowodzie. Może sedno jest we własnościach całki Lebesgue'a - Stieltjesa. Książkę Sztencla i Jakubowskiego już mam i również sprawdzę. Fakt, że dowody są z użyciem wartości oczekiwanej mi nie przeszkadza i jeżeli faktycznie da się to uprościć to będę zadowolony.
Jeszcze małe sprostowanie: W drugim poście napisałem, że zbiór
\(\displaystyle{ \{(x,y)\in \mathbb R^2\colon x+y<z\}}\)
być może również da się przedstawić jako przeliczalną sumę dwuwymiarowych przedziałów otwartych parami rozłącznych. Jest to oczywiście bzdura. Wystarczy bowiem rozważyć przedział
\(\displaystyle{ (a_1,b_1)\times (a_2,b_2).}\)
Wówczas punkt \(\displaystyle{ (a_1,a_2)\in \mathbb R^2}\) nie może należeć do żadnego innego przedziału otwartego rozłącznego z \(\displaystyle{ (a_1,b_1)\times (a_2,b_2)}\).

[Dasio11]

Jak definiujesz lewą stronę i czym jest \(\displaystyle{ P_{(X, Y)}}\) ?

Odpowiesz?

[janusz47]

\(\displaystyle{ F_{X+Y}(z)=P(\{X+Y<z\})=P_{(X, Y)}(\{(x,y)\in \mathbb R^2 \colon x+y<z\}) = \iint_{\{(x,y):x+y\leq z\}} f_{(X,Y)}(x,y)dxdy =\\ = \int_{\RR}\int_{-\infty}^{z-x}f_{(X,Y)}(x,y)dydx = | y'=y+x| =\int_{-\infty}^{z}\int_{\RR}f_{(X,Y)}(x, y'-x)dx dy'.}\)

\(\displaystyle{ f_{X+Y}(z) = F'_{X+Y}(z) = \int_{\RR}f_{(X,Y)}(x, y-x)dx dy.}\)

[1jacek2kowalski3]

Dowód okazał się być trywialny.

\(\displaystyle{ P(\{\omega \in \Omega \colon X(\omega)+Y(\omega)\in B\})=}\)

\(\displaystyle{ P\bigl(\bigl\{\omega \in \Omega \colon (X(\omega),Y(\omega))\in \{(x, y) \colon x+y\in B\}\bigr\}\bigr)}\)

\(\displaystyle{ =P_{(X, Y)}(\{(x, y) \colon x+y\in B\})}\)


Zatem nie potrzebujemy tutaj korzystać z wartości oczekiwanej. Wcześniej przekombinowałem z moim uzasadnieniem. Nie potrzebujemy tutaj nawet korzystać z niezależności zmiennych losowych. Tym samym w twierdzeniu dotyczącym splotu nie ma żadnej luki. Okazuje się, że wspomniane twierdzenie (tw.7 str. 82 Jakubowsi Sznycel, ewentualnie th. 1.6.9 p. 27) nie rozwiązuje problemu (wyjaśnienie poniżej).

Startujemy od tożsamości \(\displaystyle{ P(X+Y<z)=E I_{(\infty, z)}(X+Y)}\). Oczywista sprawa, gdyż zmienna \(\displaystyle{ I_{(\infty, z)}(X+Y)}\) przyjmuje dwie wartości.

Ustalmy obiekty

\(\displaystyle{ (\Omega, \mathcal F, P)}\)- przestrzeń probabilistyczna,

\(\displaystyle{ X \colon \Omega \to \mathbb R^n}\)- wektor losowy

\(\displaystyle{ (\mathbb R^n, B(\mathbb R^n), P_X)}\) - przestrzeń generowana przez wektor \(\displaystyle{ X}\).

\(\displaystyle{ f \colon \mathbb R^n\to \mathbb R}\) borelowska

Przyjmujemy definicję

\(\displaystyle{ E X:=\int_\Omega X(\omega)dP(\omega)}\)

Twierdzenie orzeka, że

\(\displaystyle{ Ef(X)=\int_\Omega f(X(\omega))dP(\omega)=\int_{\mathbb R^n}f(x)dP_X.}\)

Przyjmując w twierdzeniu \(\displaystyle{ f=I_{(\infty, z)}}\) oraz \(\displaystyle{ X+Y}\) zamiast \(\displaystyle{ X}\) dostajemy

\(\displaystyle{ P(X+Y<z)=E I_{(\infty, z)}(X+Y)=\int_\Omega I_{(\infty, z)}(X(\omega)+Y(\omega))dP(\omega)=\int_{\mathbb R}I_{(\infty, z)}(x)dP_{X+Y}=}\)

\(\displaystyle{ P_{X+Y}((-\infty, z))=P(X+Y<z).}\)

Przedostatnia równość zachodzi z definicji gdyż tak się definiuje całkę z funkcji prostej określonej na przestrzeni \(\displaystyle{ (\mathbb R, B(\mathbb R), P_{X+Y})}\). Otrzymaliśmy zatem tożsamość zamiast rozwiązania problemu. Sytuacji nie poprawia nawet tożsamość

\(\displaystyle{ P((X,Y)\in B)=E I_{B}((X,Y)),}\)

gdzie \(\displaystyle{ B \in B(\mathbb R^2)}\) (u nas \(\displaystyle{ B=\{(x, y)\colon x+y<z\}}\)). Wówczas z twierdzenia

\(\displaystyle{ P((X,Y)\in B)=E I_{B}((X,Y))=\int_\Omega I_{B}((X(\omega),Y(\omega)))dP(\omega)=\int_{\mathbb R^2}I_{B}(x)dP_{(X,Y)}=}\)

\(\displaystyle{ P_{(X,Y)}(B)=P((X, Y)\in B).}\)

Zatem twierdzenie to w przypadku funkcji indykatorowych prowadzi do tożsamości. Wówczas w dowodzie tego twierdzenia interesuje nas przypadek tylko funkcji prostej - dalsza komplikacja funkcji \(\displaystyle{ f}\) nie jest potrzebna. Jeżeli się mylę proszę mnie poprawić.

Temat chyba wyczerpany. Jeżeli ma ktoś coś do dodania to proszę.

Jeszcze inny Kolega prosił o wyjaśnienie:
\(\displaystyle{ P_{(X, Y)}}\) to rozkład wektora \(\displaystyle{ (X,Y)}\). Stąd jak wyżej

\(\displaystyle{ P_{(X,Y)}(B):=P((X,Y)\in B)=P(\{\omega \in\Omega \colon (X(\omega), Y(\omega)\in B)\})}\)
dla zbioru borelowskiego B na płaszczyźnie.

Do autora, który podał dowód na splot: właśnie o drugą równość chodzi. To jej nie potrafiłem udowodnić. Reszta dowodu płynie z tw. Fubieniego i zamiany zmiennych.

[Premislav]

Pomyliłem się co do tego, że wystarcza pierwszy krok w tym dowodzie twierdzenia (7. ze str. 82 w książce Jakubowskiego i˙Sztencla) przez komplikację, bo mamy tutaj taką funkcję borelowską
\(\displaystyle{ \varphi(x,y)=1{\hskip -2.5 pt}\hbox{l}_{(-\infty, z]}(x+y)}\) (bynajmniej nie sprowadzającą się do zwykłej funkcji indykatorowej zbioru borelowskieo, tylko bardziej złożoną), natomiast jeśli zastosować to do wektora losowego \(\displaystyle{ (X,Y)}\) i takiej właśnie funkcji, to wcale nie dostaniemy tożsamości, tylko to, co trzeba.
Niemniej (jak zazwyczaj zresztą) nieźle się zbłaźniłem w tym wątku.