Łańcuch Markowa

[tortoise]

Witam,

prosiłbym o krótkie wyjaśnienie, co mam zrobić w tym zadaniu. Na ćwiczeniach wiele z łańcuchów Markowa nie zrobiliśmy, a już mi brakuje czasu, żeby samemu poważnie nad tym przysiąść. Dodam, że "normalne" łańcuchy Markowa rozwiązuję spokojnie. Nie wiem tylko co zrobić, gdy pojawia się limes.

Treść:
Rozważmy łańcuch Markowa \(\displaystyle{ X_0, X_1, X_2, X_3,...}\) o trzech stanach: \(\displaystyle{ 1, 2, 3}\), który ma następującą macierz przejścia:

\(\displaystyle{ P = \left[\begin{array}{ccc}\frac{1}{2}&\frac{1}{2}&0\\\frac{1}{3}&0&\frac{2}{3}\\\frac{1}{3}&0&\frac{2}{3}\end{array}\right]}\)

Załóżmy ponadto, że \(\displaystyle{ P(X_0=1)=\frac{1}{6}, P(X_0=2)=\frac{1}{3}, P(X_0=3)=\frac{1}{2},}\)

Obliczyć: \(\displaystyle{ \lim_{n\to\infty} P(X_{n+1} = 1 | X_n = 2)}\).


Pozdrawiam!

[tometomek91]

Ta granica to wyraz \(\displaystyle{ a_{21}}\) macierzy \(\displaystyle{ \lim_{n \to \infty} A \cdot P^n}\), gdzie \(\displaystyle{ A}\) to rozkład poczatkowy.

[tortoise]

Dziękuję! W sumie teraz rozumiem swoją głupotę i brak dobrego zaznajomienia z teorią. Z tw. ergodycznego śmiało powinno pójść.

Pozdrawiam!