Macież prawdobodobieństwa przejścia

[mlaczyn]

Witam, mam zadanie którego zrozumienie pomogłoby by mi w nauce do kolokwium. Jest to przykład z wykładu na którym go nie ogarnąłem i stoję w tej chwili w miejscu;/ Zadanie brzmi: Wyznaczyć macierz prawdopodobieństwa przejścia dla błądzenia losowego po kracie {1, 2, 3, 4, 5} z pochłanianiem w "1" i odbiciem w "5" w dwóch krokach. Najważniejsze to wyjaśnienie mi jak wypełnić macierz w kroku pierwszym bo krok drugi to po prostu iloczyn kroku pierwszego.

[miodzio1988]

No to co oznaczają wyrazy danej macierzy?

[mlaczyn]

Na chwilę obecną to nie ma żadnej macierzy, tzn w zeszycie jest ale skąd się wzięła to nie wiem. Warunki na pochłanianie w "1" i odbicie w "5" są zapisane tak, że:

\(\displaystyle{ P(X_t+1 = j |X_t=1) = \begin{cases} 1; j=1 \\ 0; j \neq 1 \end{cases}}\)

\(\displaystyle{ P(X_t+1 = j |X_t=5) = \begin{cases} p; j=5 \\ q; j=4 \end{cases}}\)