testowanie hipotez - 4 hipotezy zerowe

wojcieh · Post autor: **wojcieh** » 18 lip 2011, o 22:17

Witam,
mam problem z testowaniem hipotez do eksperymentu. Chodzi o pewne cechy podprogramów w dużej populacji. Postaram się to trochę uogólnić, bez zbędnego wprowadzania w temat.

Chodzi o zbadanie cech populacji programów wygenerowanych różnymi algorytmami. Istotny jest procent programów EM i NEM (program może być albo EM albo NEM) w losowej próbce próbce (i w populacji) - to jest badane i na tej podstawie oceniane są algorytmy.

Dana jest populacja, dla której wyliczona została wielkość próbki - 50. (95% poziom pewności).

Badane są 4 algorytmy, więc mam 4 hipotezy zerowe
H0.1: Algorytm A nie ma wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.

H0.2: Algorytm B nie ma wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.

itd. H0.3 i H0.4.

Hipotezy alternatywne to kolejno H1.1 do H1.4:
H1.1 Algorytm A ma korzystny wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.

Wyniki z przeprowadzonych badań są następujące:
Alg. A: 49% poprawy
Alg. B: 58% poprawy
Alg. C: 65% poprawy
Alg. D: 0,03% pogorszenia

Teraz pytanie jak się za to zabrać? Słyszałem coś o korekcji Holm-Bonferroniego dla więcej niż jednej hipotezy, ale nie wiem nawet jak dojść do tego etapu..

Czy potrzebne są jeszcze jakieś dane? Nie jestem pewien czy wszystko podałem.

Pozdrawiam

miodzio1988 · Post autor: **miodzio1988** » 18 lip 2011, o 22:25

A to nie możesz dla każdej hipotezy zastosować oddzielny test?

wojcieh · Post autor: **wojcieh** » 18 lip 2011, o 22:43

Hm, ciągle czytam na ten temat i widzę, że istotne może być dodanie tego faktu:
badanie było przeprowadzone na 4 różnych 'środowiskach', czyli w sumie po 4 badania dla każdego algorytmu.
(wyniki dla kolejnych środowisk, wyniki ujemne to pogorszenie)
Alg. A: 72%, 46%, 41%, 27%
Alg. B: 84%, 53%, 50%, 45%
Alg. C: 81%, 69%, 58%, 54%
Alg. D: 24%, -7%, -16%, 0%
Wyniki podane w pierwszym poście to średnie arytmetyczne (wszędzie wielkość próbki była ta sama).

Drugie pytanie - jaki test (metode) przeprowadzić, bo widziałem że jest ich dużo. Mam na myśli te metody:
T-test
Mann-Whitney
F-test
Paired t-test
Wilcoxon
Sign test
ANOVA (Analysis of Variance)

miodzio1988 · Post autor: **miodzio1988** » 18 lip 2011, o 22:52

Algorytm A nie ma wpływu na stosunek wygenerowanych programów EM i NEM,

Zaznaczone co jest ważne. Czyli w języku matematyki jakbyś zapisał hipotezę zerową? Co badamy? Na n

wojcieh · Post autor: **wojcieh** » 18 lip 2011, o 23:05

"Na n" ? Nie rozumiem.

Według tego co znalazłem w sieci:
"Jeżeli hipoteza dotyczy rozkładu cechy w populacji, wówczas hipotezę formułujemy jako zwykłe zdanie/stwierdzenie". Więc chyba taki zapis jaki przedstawiłem jest odpowiedni.

Jaki test powinienem tu przeprowadzić? 'test istotności'? (wg źródła powyżej), jeżeli tak to skąd mam wiedzieć jaki rozkład wybrać?

miodzio1988 · Post autor: **miodzio1988** » 18 lip 2011, o 23:07

Test niezależności. Wszak o to się rozchodzi, nie? Poczytaj o tym w necie

scyth · Post autor: **scyth** » 19 lip 2011, o 11:15

Jest kilka metod na poprawki przy wielokrotnym testowaniu hipotez. Głównym problemem jest tutaj kontrola błędu I rodzaju. Można testować w następujący sposób (nie znam polskiej terminologii):
1. experiment-wise inflation, czyli przy przyjętym poziomie \(\displaystyle{ \alpha}\) dla jednego testu błąd I rodzaju dla badania wynosi \(\displaystyle{ 1-(1-\alpha)^k}\), zatem trzeba dobrać go odpowiednio małego.
2. poprawka Bonferroniego (dzielimy błąd przez ilość testów i takie alfa zastosowujemy do pojedynczego testu) i Sidaka (coś jak w punkcie 1) -
3. poprawka Fibonacciego, czyli poszczególne testy mają odpowiednie czynniki dla alfa
4. testowanie sekwencyjne - tu jest kilka rodzajów i krótko opisać się nie da
W każdym z przypadków ważna jest metodologia badania, która pozwoli wybrać najlepszą metodę.