Dany jest ciąg symboli generowanych przez źródło binarne:
1001110111100010101011011 (1...)
Wyznaczyc entropie źródła dla modelu Markowa pierwszego rzędu (źródło z pamięcią)
Wyznaczanie entropii
-
- Użytkownik
- Posty: 1874
- Rejestracja: 4 paź 2008, o 02:13
- Płeć: Kobieta
- Lokalizacja: Lost Hope
- Podziękował: 28 razy
- Pomógł: 502 razy
Wyznaczanie entropii
Wyznaczamy p-stwa stanów:
\(\displaystyle{ p(0)=10/25}\)
\(\displaystyle{ p(1)=15/25}\)
Wyznaczamy p-stwa przejść:
\(\displaystyle{ p(0\to 0)=3/10}\)
\(\displaystyle{ p(1\to 1)=7/13}\)
Zatem
\(\displaystyle{ H(0)=-\frac{3}{10}\log\frac{3}{10}-\frac{7}{10}\log\frac{7}{10}}\)
\(\displaystyle{ H(1)=-\frac{7}{13}\log\frac{7}{13}-\frac{6}{13}\log\frac{6}{13}}\)
\(\displaystyle{ H=p(0)H(0)+p(1)H(1)\approx 0,66}\)
\(\displaystyle{ p(0)=10/25}\)
\(\displaystyle{ p(1)=15/25}\)
Wyznaczamy p-stwa przejść:
\(\displaystyle{ p(0\to 0)=3/10}\)
\(\displaystyle{ p(1\to 1)=7/13}\)
Zatem
\(\displaystyle{ H(0)=-\frac{3}{10}\log\frac{3}{10}-\frac{7}{10}\log\frac{7}{10}}\)
\(\displaystyle{ H(1)=-\frac{7}{13}\log\frac{7}{13}-\frac{6}{13}\log\frac{6}{13}}\)
\(\displaystyle{ H=p(0)H(0)+p(1)H(1)\approx 0,66}\)