Entropia Renny'iego, grupowanie danych, warunek stopu

Procesy stochastyczne. Sposoby racjonalizowania wielkich ilości informacji. Matematyka w naukach społecznych.
ekonovember
Użytkownik
Użytkownik
Posty: 1
Rejestracja: 1 wrz 2011, o 21:18
Płeć: Mężczyzna
Lokalizacja: asdf

Entropia Renny'iego, grupowanie danych, warunek stopu

Post autor: ekonovember » 1 wrz 2011, o 21:33

Witam wszystkich, to pierwszy post, mam nadzieję że podpada pod dobry dział.

Zajmuję się implementacją mrówkowych algorytmów grupowania (licencjat a teraz magisterka).
Ostatnimi czasy za badaczami "chodzi" wykorzystanie entropii do wnioskowania o zbiorze danych. Nie inaczej jest w przypadku pewnego algorytmu który implementuję a właściwie już zaimplementowałem i stworzyłem do tego graficzne środowisko testowe (gdyby kogoś to interesowało to odpowiem na pytania i udostępnię jakieś fragmenty [na razie] kodu). Brakuje mi tylko warunku stopu algorytmu i tutaj kłania się moja niewiedza lub skleroza z zagadnień statystyki/matematyki itp. Otóż algorytm o którym mowa stosuje warunek stopu oparty o entropię Renny'iego. Pozwolę sobie wrzucić fragment artykułu w którym opisane jest jak to policzyć, niestety jakoś nie daję rady :/

[img]http://wstaw.org/m/2011/09/01/entropia_png_300x300_q85.jpg[/img]

Czy ktoś może mi łopatologicznie wytłumaczyć jak policzyć pojedyncze V({z}) zakładając że mam pewnien zbiór obiektów i {z} to jest jakiś podzbiór/klaster/grupa. Obiekt jest interpretowany jako wektor cech rzeczywistych. Pewnie mój problem jest banalny i nie będziecie mieli z tym problemu :)

Dzięki i Pozdrawiam

PS. gdyby kogoś interesowało jak wygląda ta aplikacja podaję tutaj screena (jak widać warunek stopu tutaj to maksymalna liczba iteracji)
[img]http://wstaw.org/m/2011/09/01/nac_gui_png_300x300_q85.jpg[/img]

-- 3 wrz 2011, o 12:42 --

Ktokolwiek, cokolwiek ?

To może napiszę co mi się wydaje na chwilę obecną:
We wzorze 10 mamy \(\displaystyle{ G(z_i - z_j, 2\sigma^2I)}\) jest to zwykłe odejmowanie wektorów.
Nie wiem czy to istotne ale cechy zapisane w wektorze są wstępnie przeskalowane na przedział \(\displaystyle{ <-1, 1>}\) - to jest wymaganie algorytmu.

Teraz patrząc na wzorek 8 cały problem sprowadza się do policzenia eksponenty z macierzy kwadratowej będącej wynikiem \(\displaystyle{ x^Tx}\). Wyliczenie tego jest dane wzorem tutaj ale z tego co mi się wydaje wynikiem jest dalej macierz a chyba to powinna być liczba ?

Czy ktoś byłby w stanie pokazać jak policzyć \(\displaystyle{ G(x, 2\sigma^2I)= \frac{1}{(2\pi)^{M/2}\sigma^M}exp( \frac{x^Tx}{2\sigma^2} )}\) oraz być może stwierdzić gdzie podziało się \(\displaystyle{ I}\) bo chyba tego brakuje.

Przyjmę każdą podpowiedź lub też dywagację :)

ODPOWIEDZ