Matematyka.pl

Dany jest ciąg symboli generowanych przez źródło binarne:

1001110111100010101011011 (1...)

Wyznaczyc entropie źródła dla modelu Markowa pierwszego rzędu (źródło z pamięcią)

Wyznaczamy p-stwa stanów:

\(\displaystyle{ p(0)=10/25}\)

\(\displaystyle{ p(1)=15/25}\)

Wyznaczamy p-stwa przejść:

\(\displaystyle{ p(0\to 0)=3/10}\)

\(\displaystyle{ p(1\to 1)=7/13}\)

Zatem

\(\displaystyle{ H(0)=-\frac{3}{10}\log\frac{3}{10}-\frac{7}{10}\log\frac{7}{10}}\)

\(\displaystyle{ H(1)=-\frac{7}{13}\log\frac{7}{13}-\frac{6}{13}\log\frac{6}{13}}\)

\(\displaystyle{ H=p(0)H(0)+p(1)H(1)\approx 0,66}\)