Łańcuch Markowa

[pozytywna88]

Proszę o pomoc w rozwiązaniu tego zadania albo przynajmniej podpowiedzi od czego zacząć. Teorię nt Łańcuchów Markowa znam, umiem rozwiązywać prostsze zadania, jednak z tym zupełnie utknęłam. Nie znam niestety prawidłowego wyniku.


Ze zbioru \(\displaystyle{ {1,2,3,4}}\) losujemy po jednej liczbie ze zwracaniem. Niech \(\displaystyle{ X _{n} =k}\) wtedy i tylko wtedy, gdy \(\displaystyle{ k}\) jest największą z liczb, która się pojawiła w n początkowych losowaniach.

a) podać macierz prawdopodobieństw przejścia łańcucha Markowa \(\displaystyle{ (X _{n} :n \ge 1)}\)
b) wyznaczyć prawdopodobieństwa zdarzenia \(\displaystyle{ \{ X _{2} =2, X _{3} =3 \}}\) .

Będę bardzo wdzięczna za wszelkie wskazówki.

Pozdrawiam

[norwimaj]

a) Załóżmy, że do tej pory największą wylosowaną liczbą była \(\displaystyle{ 2}\). Jakie jest prawdopodobieństwo, że po następnym losowaniu największą dotychczas wylosowaną liczbą będzie \(\displaystyle{ 4}\)? Takie jak prawdopodobieństwo wylosowania \(\displaystyle{ 4}\) w pojedynczym losowaniu. Zatem \(\displaystyle{ \mathbb{P}(X_{n+1}=4|X_n=2)=\frac14}\). Pozostałe elementy macierzy liczymy podobnie.

b) Możliwe ciągi wylosowanych liczb, to \(\displaystyle{ (1,2,3,\ldots)}\), \(\displaystyle{ (2,1,3,\ldots)}\), \(\displaystyle{ (2,2,3,\ldots)}\), gdzie trzy kropki oznaczają dowolny ciąg.