Matematyka.pl

Dla 3- stanowego łańcucha Markowa znaleźć prawdopodobieństwo przejścia ze stanu 1-ego w 2-gi i z powrotem za 2 kroki oraz udowodnić istnienie rozkładu stacjonarnego i go znaleźć jeśli macierz P przejscia za jeden krok ma postać

\(\displaystyle{ \left[\begin{array}{ccc} \frac{1}{2} &0&\frac{1}{2}\\\frac{1}{4}&\frac{1}{4}&\frac{1}{2}\\0&\frac{1}{3}&\frac{2}{3}\end{array}\right]}\)

Z czym mamy problem?

Obliczyłem pr przejścia ze stanu w 1-2 i z 2-1

\(\displaystyle{ p^2=\left[\begin{array}{ccc} \frac{1}{4} &\frac{1}{6}&\frac{7}{12}\\\frac{3}{16}&\frac{11}{48}&\frac{7}{12}\\\frac{1}{12}&\frac{11}{36}&\frac{22}{36}\end{array}\right]}\)

\(\displaystyle{ p _{12}(2)=\frac{1}{6}
p _{21}(2)=\frac{3}{16}}\)

I teraz do obliczenia rozkladu stacjonarnego bierzemy wartosci z której macierzy?
Z macierzy P
\(\displaystyle{ \begin{cases}\frac{1}{2}\pi_1+\frac{1}{2}\pi_3=\pi_1\\\frac{1}{4}\pi_1+\frac{1}{4}\pi_2+\frac{1}{2}\pi_3=\pi_2\\\frac{1}{3}\pi_2+\frac{2}{3}\pi_3=\pi_3\\\pi_1+\pi_2+\pi_3=1\end{cases}}\)

czy\(\displaystyle{ p^2}\)?
\(\displaystyle{ \begin{cases}\frac{1}{4}\pi_1 +\frac{1}{6}\pi_2+\frac{7}{12}\pi_3=\pi_1\\\frac{3}{16}\pi_1+\frac{11}{48}\pi_2+\frac{7}{12}\pi_3=\pi_2\\\frac{1}{12}\pi_1+\frac{11}{36}\pi_2\frac{22}{36}\pi_3=\pi_3\\\pi_1+\pi_2+\pi_3=1\end{cases}}\)

No i bardzo dobrze. Do rozkładu stacjonarnego bierzemy macierz P, ale P^2 da ten sam wynik.

Wyszło mi, że
\(\displaystyle{ \pi_1=\pi_2=\pi_3= \frac{1}{3}}\)
Czy to już koniec?

Źle pomnożyłeś macierze. Zrobiłeś to tak \(\displaystyle{ P\pi=\pi}\), a ma być \(\displaystyle{ \pi P=\pi}\)

Poprawiłem
\(\displaystyle{ \begin{cases}\frac{1}{2}\pi_1+\frac{1}{4}\pi_2=\pi_1\\\frac{1}{4}\pi_2+\frac{1}{3}\pi_3=\pi_2\\\frac{1}{2}\pi_1+\frac{1}{2}\pi_2+\frac{2}{3}\pi_3=\pi_3\\\pi_1+\pi_2+\pi_3=1\end{cases}}\)

Wyszło mi, że
\(\displaystyle{ \pi_1=\frac{2}{15}}\)
\(\displaystyle{ \pi_2=\frac{4}{15}}\)
\(\displaystyle{ \pi_3= \frac{3}{5}}\)


Czy to już koniec?

Ooo pomyliłem się wcześniej. Teraz masz dobrze

Mam wątpliwość. CZemu jest dobrze to prawdopodobieństwo, jeśli macierz \(\displaystyle{ P^{2}}\)mówi nam o prawdopodobieństwie dojścia do danego stanu w dwóch krokach, a chcą prawdopodobieństwo konkretnej reasy Z 1 do 2 i z powrotem.

No własnie, można to różnie interpretować.

Sformułowanie "znaleźć prawdopodobieństwo przejścia ze stanu 1-ego w 2-gi i z powrotem za 2 kroki" zrozumiałem początkowo tak, jak Kartezjusz, czyli że w pierwszym kroku idziemy z 1 do 2, a potem w drugim z 2 do 1 (tu łatwo wychodzi zero), ale potem zorientowałem się, że może też chodzić o to, żeby obliczyć prawdopodobieństwo przejścia z 1 do 2 w 2 kroki oraz prawdopodobieństwo przejścia z powrotem (czyli z 2 do 1) w 2 kroki; to jest to, do czego używamy \(\displaystyle{ P^2}\)

Witam

Jesli mam lancuch markowa i rozklad graniczny wychodzi 0 0 0 0. Czy te liczby moge uznac za poprawne?

Nie, rozkład (nie tylko stacjonarny) to rozkład prawdopodobieństw. Prawdopodobieństwa muszą sumować się do jedynki.