Witam,
mam problem z testowaniem hipotez do eksperymentu. Chodzi o pewne cechy podprogramów w dużej populacji. Postaram się to trochę uogólnić, bez zbędnego wprowadzania w temat.
Chodzi o zbadanie cech populacji programów wygenerowanych różnymi algorytmami. Istotny jest procent programów EM i NEM (program może być albo EM albo NEM) w losowej próbce próbce (i w populacji) - to jest badane i na tej podstawie oceniane są algorytmy.
Dana jest populacja, dla której wyliczona została wielkość próbki - 50. (95% poziom pewności).
Badane są 4 algorytmy, więc mam 4 hipotezy zerowe
H0.1: Algorytm A nie ma wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.
H0.2: Algorytm B nie ma wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.
itd. H0.3 i H0.4.
Hipotezy alternatywne to kolejno H1.1 do H1.4:
H1.1 Algorytm A ma korzystny wpływu na stosunek wygenerowanych programów EM i NEM, w stosunku do metody tradycyjnej.
Wyniki z przeprowadzonych badań są następujące:
Alg. A: 49% poprawy
Alg. B: 58% poprawy
Alg. C: 65% poprawy
Alg. D: 0,03% pogorszenia
Teraz pytanie jak się za to zabrać? Słyszałem coś o korekcji Holm-Bonferroniego dla więcej niż jednej hipotezy, ale nie wiem nawet jak dojść do tego etapu..
Czy potrzebne są jeszcze jakieś dane? Nie jestem pewien czy wszystko podałem.
Pozdrawiam
testowanie hipotez - 4 hipotezy zerowe
testowanie hipotez - 4 hipotezy zerowe
A to nie możesz dla każdej hipotezy zastosować oddzielny test?
testowanie hipotez - 4 hipotezy zerowe
Hm, ciągle czytam na ten temat i widzę, że istotne może być dodanie tego faktu:
badanie było przeprowadzone na 4 różnych 'środowiskach', czyli w sumie po 4 badania dla każdego algorytmu.
(wyniki dla kolejnych środowisk, wyniki ujemne to pogorszenie)
Alg. A: 72%, 46%, 41%, 27%
Alg. B: 84%, 53%, 50%, 45%
Alg. C: 81%, 69%, 58%, 54%
Alg. D: 24%, -7%, -16%, 0%
Wyniki podane w pierwszym poście to średnie arytmetyczne (wszędzie wielkość próbki była ta sama).
Drugie pytanie - jaki test (metode) przeprowadzić, bo widziałem że jest ich dużo. Mam na myśli te metody:
T-test
Mann-Whitney
F-test
Paired t-test
Wilcoxon
Sign test
ANOVA (Analysis of Variance)
badanie było przeprowadzone na 4 różnych 'środowiskach', czyli w sumie po 4 badania dla każdego algorytmu.
(wyniki dla kolejnych środowisk, wyniki ujemne to pogorszenie)
Alg. A: 72%, 46%, 41%, 27%
Alg. B: 84%, 53%, 50%, 45%
Alg. C: 81%, 69%, 58%, 54%
Alg. D: 24%, -7%, -16%, 0%
Wyniki podane w pierwszym poście to średnie arytmetyczne (wszędzie wielkość próbki była ta sama).
Drugie pytanie - jaki test (metode) przeprowadzić, bo widziałem że jest ich dużo. Mam na myśli te metody:
T-test
Mann-Whitney
F-test
Paired t-test
Wilcoxon
Sign test
ANOVA (Analysis of Variance)
testowanie hipotez - 4 hipotezy zerowe
Zaznaczone co jest ważne. Czyli w języku matematyki jakbyś zapisał hipotezę zerową? Co badamy? Na nAlgorytm A nie ma wpływu na stosunek wygenerowanych programów EM i NEM,
testowanie hipotez - 4 hipotezy zerowe
"Na n" ? Nie rozumiem.
Według tego co znalazłem w sieci:
"Jeżeli hipoteza dotyczy rozkładu cechy w populacji, wówczas hipotezę formułujemy jako zwykłe zdanie/stwierdzenie". Więc chyba taki zapis jaki przedstawiłem jest odpowiedni.
Jaki test powinienem tu przeprowadzić? 'test istotności'? (wg źródła powyżej), jeżeli tak to skąd mam wiedzieć jaki rozkład wybrać?
Według tego co znalazłem w sieci:
"Jeżeli hipoteza dotyczy rozkładu cechy w populacji, wówczas hipotezę formułujemy jako zwykłe zdanie/stwierdzenie". Więc chyba taki zapis jaki przedstawiłem jest odpowiedni.
Jaki test powinienem tu przeprowadzić? 'test istotności'? (wg źródła powyżej), jeżeli tak to skąd mam wiedzieć jaki rozkład wybrać?
testowanie hipotez - 4 hipotezy zerowe
Test niezależności. Wszak o to się rozchodzi, nie? Poczytaj o tym w necie
- scyth
- Użytkownik
- Posty: 6392
- Rejestracja: 23 lip 2007, o 15:26
- Płeć: Mężczyzna
- Lokalizacja: Warszawa
- Podziękował: 3 razy
- Pomógł: 1087 razy
testowanie hipotez - 4 hipotezy zerowe
Jest kilka metod na poprawki przy wielokrotnym testowaniu hipotez. Głównym problemem jest tutaj kontrola błędu I rodzaju. Można testować w następujący sposób (nie znam polskiej terminologii):
1. experiment-wise inflation, czyli przy przyjętym poziomie \(\displaystyle{ \alpha}\) dla jednego testu błąd I rodzaju dla badania wynosi \(\displaystyle{ 1-(1-\alpha)^k}\), zatem trzeba dobrać go odpowiednio małego.
2. poprawka Bonferroniego (dzielimy błąd przez ilość testów i takie alfa zastosowujemy do pojedynczego testu) i Sidaka (coś jak w punkcie 1) -
3. poprawka Fibonacciego, czyli poszczególne testy mają odpowiednie czynniki dla alfa
4. testowanie sekwencyjne - tu jest kilka rodzajów i krótko opisać się nie da
W każdym z przypadków ważna jest metodologia badania, która pozwoli wybrać najlepszą metodę.
1. experiment-wise inflation, czyli przy przyjętym poziomie \(\displaystyle{ \alpha}\) dla jednego testu błąd I rodzaju dla badania wynosi \(\displaystyle{ 1-(1-\alpha)^k}\), zatem trzeba dobrać go odpowiednio małego.
2. poprawka Bonferroniego (dzielimy błąd przez ilość testów i takie alfa zastosowujemy do pojedynczego testu) i Sidaka (coś jak w punkcie 1) -
3. poprawka Fibonacciego, czyli poszczególne testy mają odpowiednie czynniki dla alfa
4. testowanie sekwencyjne - tu jest kilka rodzajów i krótko opisać się nie da
W każdym z przypadków ważna jest metodologia badania, która pozwoli wybrać najlepszą metodę.