Wyznaczanie entropii

luke877
Użytkownik
Użytkownik
Posty: 114
Rejestracja: 29 paź 2007, o 19:00
Płeć: Mężczyzna
Lokalizacja: Rybnik
Podziękował: 50 razy

Wyznaczanie entropii

Post autor: luke877 »

Dany jest ciąg symboli generowanych przez źródło binarne:

1001110111100010101011011 (1...)

Wyznaczyc entropie źródła dla modelu Markowa pierwszego rzędu (źródło z pamięcią)
xiikzodz
Użytkownik
Użytkownik
Posty: 1874
Rejestracja: 4 paź 2008, o 02:13
Płeć: Kobieta
Lokalizacja: Lost Hope
Podziękował: 28 razy
Pomógł: 502 razy

Wyznaczanie entropii

Post autor: xiikzodz »

Wyznaczamy p-stwa stanów:

\(\displaystyle{ p(0)=10/25}\)

\(\displaystyle{ p(1)=15/25}\)

Wyznaczamy p-stwa przejść:

\(\displaystyle{ p(0\to 0)=3/10}\)

\(\displaystyle{ p(1\to 1)=7/13}\)

Zatem

\(\displaystyle{ H(0)=-\frac{3}{10}\log\frac{3}{10}-\frac{7}{10}\log\frac{7}{10}}\)

\(\displaystyle{ H(1)=-\frac{7}{13}\log\frac{7}{13}-\frac{6}{13}\log\frac{6}{13}}\)

\(\displaystyle{ H=p(0)H(0)+p(1)H(1)\approx 0,66}\)
ODPOWIEDZ