3 pytania z testu odnośnie statystyki + entropia shannona

[Burn_Baby_Burn]

Witam.
Otóż rozwiązuje sobie test ze statystyki i nie jestem pewien co do tych pytań:
1.Jeżeli 2 zdarzenia wzajemnie się wykluczają to są niezależne,
2.Warunkiem niezależności dwóch zdarzeń A i B jest, aby prawdopodobieństwo warunkowe zdarzenia B pod warunkiem A było równe prawdopodobieństwu bezwarunkowemu zdarzenia B,
3.Rozkład normalny jest przykładem rozkładu prawdopodobieństwa ciągłej zmiennej losowej.

moje typy:
(-)1. ?
(-)2. Gdyż zdanie powinno brzmieć tak: Warunkiem niezależności dwóch zdarzeń A i B jest, aby prawdopodobieństwo warunkowe zdarzenia A pod warunkiem B było równe
prawdopodobieństwu bezwarunkowemu zdarzenia A.

(+)3.Tu nie jestem pewien bo rozkładem ciągłej zmiennej jest Funkcja Gęstości , ale ona wchodzi przecież w skład rozkładu normalnego



Dodatkowo byłbym wdzięczny jeżeli ktoś wiedział by czy dane stwierdzenia są prawdziwe bo prócz jakiś skąpych notatek znalezionych na google nic nie potrafiłem znaleźć:
Entropia Shannona ma następujące własności:
1.Przyjmuje wartości nieujemne
2.Przyjmuje wartość równą zero tylko w przypadku, gdy doświadczenie nie jest losowe, tzn jedno z jego wyników pojawia się z prawdopodobieństwem równym jeden, zaś pozostałe wyniki nigdy nie zachodzą (zachodzą za prawdopodobieństwem równym zero)
3.Przyjmuje wartość maksymalną równą \(\displaystyle{ log_{2}n}\) gdzie n jest liczbą wyników doświadczenia losowego tylko wówczas gdy wszystkie wyniki doświadczenia losowego są jednakowo prawdopodobne tzn. każdy z nich pojawia się z prawdopodobieństwem równym 1/n
4.Jeśli do obliczania entropii wykorzystujemy logarytmy dziesiętne, to jednostką entropii jest bit.

Dziękuję za pomoc .

[suwak]

1. To proste Nie mogą być niezależne - jeżeli jedno zaszło to drugie nie mogło. Niech A i A' są niezależne i niech \(\displaystyle{ P(A) = 0.5}\) wtedy:

Z definicji mamy
\(\displaystyle{ P(A \cap A' ) = 0}\)

Z niezależności
\(\displaystyle{ P(A \cap A') = P(A) P(A') = 0.5*0.5 = 0.25 \neq 0}\) - sprzeczność

2. Ok

3. Zmienna losowa zawsze ma jakiś rozkład albo ciągły, albo dyskretny. Jeżeli zmienna losowa przyjmuje tylko wartości dyskretne (np. wynik rzutu kostką, coś co da się policzyć na liczbach naturalnych) to nie ma gęstości względem miary Lebesgue'a ( nie istnieje pochodna Radony-Nikodyma) - w ty przypadku pojedynczy punkt ma niezerowe pradopodobieństow, jak zaczniemy z ilością tych "punktów" dążyć do nieskończoności nie tylko w sensie mocy alef zero ale i continuum to prawdopodobieństwo musi się "rozmyć" już nie da się pojedynczemu punktowi przyporządkować niezerowego prawdopodobieństwa - opisujemy je raczej częstością jego pojawiania się, a funkcja która to opisuje to gęstość. Rozkład normalny ma gęstość względem miary Lebesgue'a więc jest rozkładem ciągłym

Co do entropii:

1. Popatrz na wzór - jakie wartości ma logarytm dla argumentów z przedziału (0,1)?
2. Podstaw do wzoru p_1 = 1 a pozostałe p_i = 0 (nie ważne ile ich jest) ile wychodzi?
3. To można wyliczyć, ale to prawda. Entropia to miara nieuporządkowania, im mniej przewidywalny jest układ tym jest większa. Zupełna losowość czyli każdy stan jest jednakowo prawdopodobny to maksymalna entropia.
4. Nie prawda. Jeżeli logarytm ma podstawe 2 to jednostką jest bit.

A następnym razem użyj googla, a nie szukaj kogoś kto za ciebie pomyśli i poda na tacy.
Po wpisaniu w googla "własności entropii" masz odpowiedzi na wszystkie pytania.