Entropia, teoria informacji

Awatar użytkownika
waldekmar
Użytkownik
Użytkownik
Posty: 45
Rejestracja: 30 wrz 2009, o 18:10
Płeć: Mężczyzna
Lokalizacja: Polska
Podziękował: 1 raz
Pomógł: 2 razy

Entropia, teoria informacji

Post autor: waldekmar »

Źródło nadaje n+1 komunikatów z prawdopodobieństwami
\(\displaystyle{ \frac{1}{1}, \frac{1}{4}, \frac{1}{8} ... \frac{1}{2 ^{n-1} } , \frac{1}{2 ^{n} } ,\frac{1}{2 ^{n} }}\)
. Oblicz
entropię źródła. Przedstaw obliczenia.
Wzór na entropię ... informacji)
Naed Nitram
Użytkownik
Użytkownik
Posty: 121
Rejestracja: 8 paź 2013, o 17:08
Płeć: Mężczyzna
Lokalizacja: hd
Podziękował: 2 razy
Pomógł: 44 razy

Entropia, teoria informacji

Post autor: Naed Nitram »

Chyba się ostatni element zdublował, inaczej mamy \(\displaystyle{ n+2}\) elementów.

\(\displaystyle{ -\sum_{i=0}^n\frac 1{2^i}\cdot\log_2\left(\frac 1{2^i}\right)=-\sum_{i=0}^n\frac{-i}{2^i}=\sum_{i=1}^n\frac i{2^i}=2-\frac 1{2^{n-1}}-\frac n{2^n}}\).
Awatar użytkownika
waldekmar
Użytkownik
Użytkownik
Posty: 45
Rejestracja: 30 wrz 2009, o 18:10
Płeć: Mężczyzna
Lokalizacja: Polska
Podziękował: 1 raz
Pomógł: 2 razy

Entropia, teoria informacji

Post autor: waldekmar »

Cholera, źle mi się napisał pierwszy element, miało być 1/2, reszta jest dokładnie tak jak w zadaniu.
Ogólnie doszedłem do momentu, że od 1/2 do 1/2^n jest ciąg geo o g=1/2, a jego suma wynosi 1 - (1/2)^n. Nie wiem co dalej z tym począć
ODPOWIEDZ