łańcuch Markowa

[klejdyszklaudia]

Łańcuch Markowa \(\displaystyle{ \{X_n\}_{n \ge 0}}\) na przestrzeni stanów ma następującą macierz prawdopodobieństw przejść: \(\displaystyle{ P=

\begin{array}{ccc}
0 & 0 & 1 \\
0 & 0.5 & 0.5 \\
0.5 & 0.5 & 0 \\
\end{array}

}\). Znajdź ogólny wzór na prawdopodobieństwo, że proces startujący w chwilii 0 ze stanu 1 w chwili n jest z powrotem w stanie 1, czyli wyznacz \(\displaystyle{ p^{(n)} _{1,1} }\). Podobnie wyznacz formułę na \(\displaystyle{ p^{(n)} _{1,2} }\).