Rozkład dwupunktowy

Definicja klasyczna. Prawdopodobieństwo warunkowe i całkowite. Zmienne losowe i ich parametry. Niezależność. Prawa wielkich liczb oraz centralne twierdzenia graniczne i ich zastosowania.
xxmonikaxx
Użytkownik
Użytkownik
Posty: 108
Rejestracja: 10 sty 2012, o 13:27
Płeć: Kobieta
Lokalizacja: Krak
Podziękował: 40 razy

Rozkład dwupunktowy

Post autor: xxmonikaxx »

Witam,
otóż mam problem z takim zadaniem :

Dla jakiego \(\displaystyle{ p}\) rozkład dwupunktowy \(\displaystyle{ P(X=0)=1-p, P(X=1)=p}\) ma największą entropię?

Będę wdzięczna za wskazówki
Ostatnio zmieniony 28 cze 2012, o 08:50 przez lukasz1804, łącznie zmieniany 1 raz.
Powód: Całe wyrażenia matematyczne umieszczaj w tagach [latex] [/latex].
brzoskwinka1

Rozkład dwupunktowy

Post autor: brzoskwinka1 »

Entropia: \(\displaystyle{ \mathbb{E} (p) =-p\cdot \frac{\ln p }{\ln 2} -(1-p)\cdot \frac{\ln (1-p)}{\ln 2} .}\)
\(\displaystyle{ \mathbb{E}' (p) =\frac{1}{\ln 2} \cdot (\ln (1-p) -\ln p ) .}\)
\(\displaystyle{ \mathbb{E}' (p) =0 \Leftrightarrow p=\frac{1}{2} .}\)
\(\displaystyle{ \mathbb{E}'' \left(\frac{1}{2} \right) =-\frac{4}{\ln 2}<0 .}\)
Zatem dla \(\displaystyle{ p=\frac{1}{2}}\) entropia osiąga maksimum.
norwimaj
Użytkownik
Użytkownik
Posty: 5101
Rejestracja: 11 mar 2011, o 16:31
Płeć: Mężczyzna
Lokalizacja: 52°16'37''N 20°52'45''E
Podziękował: 4 razy
Pomógł: 1001 razy

Rozkład dwupunktowy

Post autor: norwimaj »

Można też skorzystać z tego, że logarytm naturalny jest ściśle wklęsły.

\(\displaystyle{ p\ln\frac1p + (1-p)\ln\frac1{1-p}\le\ln\left(\frac pp+\frac{1-p}{1-p}\right)=\ln2}\)

i równość zachodzi tylko dla \(\displaystyle{ \frac1p=\frac1{1-p}}\) (o ile wagi \(\displaystyle{ p}\) i \(\displaystyle{ 1-p}\) są niezerowe, ale w tym przypadku entropia jest \(\displaystyle{ 0}\)).
ODPOWIEDZ