Z tej racji że podobnie jak kadykianus martwi mnie że ktoś kto nie ma pojęcia o rachunku prawdopodobieństwa czy statystyce wejdzie tu i przeczyta nieprawdziwe informacje, chcialbym w jednym miejscu zebrać wszelkie mity jakie propaguje ów człowiek.
Nie wiem czemu tak brniesz w tej dyskusji w ślepy zaułek, taka od serca rada: wstydem nie jest sie przyznac do błędu, wstydem jest tkwić w nim. Odłóż dumę na bok i zastanów się nad poniższymi cytatami (głównie drugą ich częscią):
kadykianus pisze:Pierwiastek z nieobciążonego estymatora wariancji jest nieobciążonym estymatorem odchylenia standardowego.
Nieprawda. Jednak wyjaśnione już wiec nie komentuje.
kadykianus pisze:Wariancji NIGDY nie liczy sie dzielac przez n
Nieprawda. To zdaje się też wyjaśnione.
kadykianus pisze:To wciąż będzie estymator ale estymator obciążony (czyli do niczego)
Nieprawda. Warto się tutaj dłużej zatrzymać. Dlaczego utożsamiasz pojęcie "obciążonosci" z "byciem do niczego"?
kadykianus pisze:Jesli jednak chodzi o to, żeby wyliczyć wariancje z tych liczb i koniec, to oczywiście trzeba podzielić przez n a nie przez n mniej jeden i to wszystko. Moja wina. Ale jeśli tech chłopaczek zapamięta ze wariancje z próby tez tak sie estymuje to już będzie źle.
Nieprawda. A dokładniej to uważasz że jedyny prawidłowy i zawsze najlepszy sposob estymacji to poprzez estymatory nieobciążone?
Jak pisałem, temat zamykam ze swojej strony. Wyjaśniłem w kilku miejscach o co szły rozbieżności. Szły o to, czy wariancje liczyć z próby czy szacować jej nieznana wartość w populacji z tej próby. Wszystko juz jest wyjaśnione wiec nie pisz ze ja cos powiedziałem i ze to jest nieprawda i ze ty wiesz ze to jest juz wyjaśnione. Wiemy ze jest wyjaśnione.
Poco prowokujesz i podważasz sens stosowania nieobciążonych estymatorów (swoja drogą, wiesz co znaczy obciązonosc??) Jeśli masz do wyboru zgadnąć coś i masz dwa źródła o tym, w tym wiesz, ze jedno z nich podaje informacje przekłamaną systematycznie, i wiesz które tak podaje a które nie, to odrzucisz źródło przekłamujące. Dlatego wolimy stosować estymatory nieobciążone. Szukamy takich. Pragniemy ich
To, jest powód dla którego uważam, ze mając do wyboru estymator obciążony i nieobciążony wybieram ten drugi, jeśli oba są równe w pozostałych kryteriach
Swoją drogą to jedna rzecz wylazła w tym temacie. Okazało się, ze niektórzy z tych, którzy jakoś sie statystyką interesowali , myślała o tym, ze statystyka to jest tylko opisowa, ze liczyć w statystyce to jak liczyć w geometrii. Mam dane i mam wzór to liczę. A przecież ZASADNICZO statystyka to szacowanie nieznanego, próba określenia co z dwojga jest bardziej prawdopodobne.
kadykianus pisze:statystyka to szacowanie nieznanego, próba określenia co z dwojga jest bardziej prawdopodobne.
O własnie, statystyka polega na umiejętności podjęcia decyzji w sytuacji niepewności, czyli np estymowania parametru gdy mamy ograniczoną wiedzę na jego temat. Ponieważ tu sie zgadzamy to wybacz ale nie dam Ci spokoju i wyprowadzę Cie z błędu odnosnie obciążonosci. Udzielasz wielu kompetentnych rad w innych tematach i szkoda żebyś tutaj pozostal z błędnym przekonaniem, być może inni też na tym skorzystają bo z tą nieobciążonością to jest dosc powszechny mit.
Klucz leży tutaj:
kadykianus pisze:Poco prowokujesz i podważasz sens stosowania nieobciążonych estymatorów (swoja drogą, wiesz co znaczy obciązonosc??) Jeśli masz do wyboru zgadnąć coś i masz dwa źródła o tym, w tym wiesz, ze jedno z nich podaje informacje przekłamaną systematycznie, i wiesz które tak podaje a które nie, to odrzucisz źródło przekłamujące. Dlatego wolimy stosować estymatory nieobciążone. Szukamy takich. Pragniemy ich
To, jest powód dla którego uważam, ze mając do wyboru estymator obciążony i nieobciążony wybieram ten drugi, jeśli oba są równe w pozostałych kryteriach
Nic nie prowokuje tylko podważam Twoje autorytatywne stwierdzenie jakoby nieobciażone estymatory były zawsze lepsze od innych.
Dobrze, jesteśmy na forum matematycznym wiec żeby sobie bajek nie opowiadać to krótko spytam, umiesz formalnie pokazać że estymator nieobciażony jest "lepszy" od obciążonego? Jeszcze chciałbym abyś sprecyzował co rozumiesz przez "lepszy".
Napisałem, ze przy wszystkich pozostałych warunkach takich samych, estymator nieobciążony jest lepszy od obciążonego z tego powodu, ze jest nieobciążony
Nieobciazonosc (przynajmniej asymptotyczna) jest pierwszym żądaniem stawianym każdemu estymatorowi.
Później, spośród wielu nieobciążonych wybiera sie najlepszy. Dla małych prób, absolutnie wymagane jest uzywanie estymatora nieobciążonego przede wszystkim . Dla dużych, estymator może byc asymptotycznie nieobciążony. Tak jak wspominany juz tutaj estymator wariancji w którym dzielimy sumę kwadratów przez n a nie przez n-1. Jest on asymptotycznie nieobciążonym estymatorem nieznanej wariancji którego nie wolno stosować przy estymacji z małych liczebności.
Miałeś mnie wyprowadzić z błędu nt. obciązonosci. (?) Co to za mit leży u jej podstaw?
Z ostatniej chwili. Pouczającym doswiadczeniem nad tym jak sie zachowuja estymatory w realu jest zrobic symulację estymacji wariancji z proby. Zrobiłem to w R ale takze w zwyklym Excelu mozna to z łatwoscia sprawdzic.
Zadanie polegało na oszacowaniu wariancji standaryzowanego rozkladu normalnego. Wynosi ona oczywiscie 1.
Jeden to liczba ktorej my nie znamy ale chcemy ja oszacowac na podstawie małej probki 12 liczb z rozkladu N(0,1)
Uzyjemy estymatorów trzech typów:
1) estymator zalecany w takich wypadkach czyli suma kwadratów dzielona przez (n-1)
2) estymator będący suma kwadratów ale podzielona przez liczebnosc (n)
3) estymator będący sumą kwadratów dzielona przez (n+1)
Teoria mówi, ze prawidłowe oszacowanie da estymator pierwszy z wymienionych.
Pozostałe dwa są jakoś obciążone.
Przeprowadziłem symulacje dla 100 000 losowań. Wyniki:
Cały czas planuje wyprowadzić Cie z błędu jednak nie odpowiadasz na moje pytania. Może je powtórze bo jak dotąd to ciągle jesteśmy na etapie pisania wierszy do siebie. Oczywiscie mógłbym się ograniczyć do napisania że sie z Tobą nie zgadzam jednak to bedzie niekonstruktywne, bądźmy konkretni.
Pytania:
1. Czy umiesz formalnie (czytaj: matematycznie) pokazać że estymator nieobciążony jest zawsze "lepszy".
2. Co dokładnie rozumiesz przez "lepszy".
i doszło nowe pytanie:
3. Czemu uważasz ze w rzeczywistości "wszystkie pozostałe warunki" są takie same i jakie to "wszystkie pozostałe warunki".
[edit]
O jest jakiś konkret; ) A co do moderatorów to nie widzę powodu aby kogokolwiek wywalać.
Tak czy siak wracając do tematu ja nie twierdziłem nigdy że estymatory nieobciążone nie mają zastosowania... tylko mówiłem że nie zawsze są one remedium na wszelkie zmartwienia i że są sytuacje kiedy one zawodzą. A to własnie wynika z tego że zerując obciązenie traci się na wariancji która może drastycznie wzrosnać i zwiększyc ryzyko danej reguły decyzyjnej.
Witam! Drugi raz to pisze, bo sie cos jak zwykle sie zj....
Widać ze znacie się na rzeczy, ale przeczytawszy waszą dyskusję mam jakość mętlik.To wkoncu jak to jest, czy za każdym razem mozna liczyć odchylenie jako pierwiastek z warianci czy nie zawsze.
Z tego co sie orientje to jesli liczymy wariancjie z :
- populacji to korzystamy ze wzoru z n w mianowniku
- z proby to korzystamy z n-1 w mianowniku i to jest tak jakby nie liczenie, a szacowanie
Tu mam mały problem. Na ( wiem ze to nie ostateczne źródło wiadomości) jest podany przykład :
"Przykład pokazuje oszacowanie odchylenia standardowego w populacji za pomocą nieobciążonego estymatora. Próbą będzie wiek czworga dzieci, wyrażony w latach: { 5, 6, 8, 9 }."
No i jest tam liczone z tego wzoru z proby, czyli n-1 i odrzymuja na koncu wynik 1,82 . I do tego momentu jest okej , ale potem pada magiczne zdanie "Większość użytkowników odchylenia standardowego kończy w tym miejscu nie przejmując się obciążeniem estymatora" Z tego co się zorientowalem to można do zdanie rozszerzyć , ze nie tylko ludzie.
Odrzymany wynik wikipedia jeszcze poproawia , aby otrzymac estymator nieobciążony odchylenia standardowego w populacji. i wychodzi im po odpowiednich obliczeniach 1,98
Wklepując te dane do EXCEL2007 I używając funkcji ODCH.STANDARD.POPUL() otrzymujemy wynik 1,58
Jeśli użyłem funkcji ODCH.STANDARDOWE() (ktora liczy odchylenie z proby) otrzymałem wynik 1,82. I teraz pytanie, skąd wynika ta roznieżność , bo raczej wątpie ze pół liczącego świata używająca excela wylicza błędne odchylenia.
Dodatkowo , mam zadanie z tego forum, dla ktorego odpowiedz nie rozstrzygała jednoznacznie (może dlatego ze nie widziała problemów wprowadzanych w tej dyskusji). Zadanie brzmiało:
"W pięciu rożnych księgarniach ceny tej samej ksiązki były następujące: 21,5 zl; 20 zł ; 21 zł; 22 zł; 22,4 zł. Oblicz:
a) Wariancję od średniej ceny ksiązki ( średnią obliczyłam-21,38 zł) ale dalej??
b) odchylenie stadardowe od średniej ceny ksiązki."
I mam pytania:
a) jak traktować te ksiązki jako probe z populacji czy jak populację?
b) jesli założyc ze to proba ,to ponieważ jest ich mała liczba to liczyć jak excel czyli z n-1 w mianowniku, czy tak jak wikipedia po otrzymanym wyniku jeszcze go modyfikować?
Wogóle to mogłby ktos ogarniety w temacie jakoś usystematyzoawć wiedze i napisać co kiedy można robić a kiedy nie, czy zawsze odchylenie to pierwiastek z wariancji czy nie, itd
Twoje pierwsze spostrzeżenia sa prawidłowe. Jak z próby to n-1 a jak z populacji to przez n.
I teraz uwaga. Odchylenie standardowe to jest zawsze pierwiastek kwadratowy z wariancji.
Estymator wariancji z próby (czyli w mianowniku n-1) daje nieobciażone oszacowanie wariancji. Narazie OK. ale już pierwiastek z tego nie daje nieobciążonego oszacowania odchylenia standardowego. Niestety. Tak liczone odchylenie jest obciążone. Tyle że, nigdy w życiu, ani na studiach, ani w życiu zawodowym nie spotkałem sie z sytuacja aby to był problem!
Jest koszmarny wzór na nieobciążone odchylenie standardowe (w Wikipedia) ale nie ma najmnijszego powodu go używać.
Dlaczego?
Dlatego, że do opisówki wystarczy pierwiastek z wariancji a do wnioskowania statystycznego (np. w testach na wariancję lub na równość dwóch średnich) stosuje się wariancję i to ona jest ważna bo ma ważne właściwości matematyczne których odchylenie nie ma.
A teraz Excel.
Twoje obliczenia sa prawidlowe.
Jesli potraktujesz swoje liczby jako całą populację to uzywasz funkcji ODCH.STANDARD.POPUL() a jak traktujesz to jako próbę losową z tej populacji to używasz ODCH.STANDARD() Rozbieżności w wynikach wynikaja z tego ze pierwszy dzieli przez n a drugi przez n-1 (sprawdz w Pomocy do tej funkcji - tam jest wzór którego Excel uzywa)
Natomiast wzór który daje wynik 1.98 w Wikipedia nie jest zaimplementowany w Excelu To jest taki wzór na nieobciążone odchylenie standardowe z populacji. Nikt go nie używa bo nie ma po co. W Excelu tez go nie ma. Zapomnij o nim.
A teraz Twoje pytania.
Ktos kto wymyślił to zadanie powinien podać w treści, ze "cena w 5 losowo wybranych księgarniach..." Wtedy byś liczyła ze wzoru n-1 a odchylenie standardowe jako pierwoastek z tej wariancji i koniec.
Ale jeśli nie ma juz innych księgarni to jest to cała populacja księgarni wiec liczysz ze wzoru dzielącego przez n. A odchylenie standardowe to znowu pierwiastek z tak liczonej wariancji.
Jeśli w treści nie ma nic o tym czy to jest proba to liczyłbym wariancje ze wzoru dzielącego przez n. A odchylenie stand. oczywiście jako pierwiastek z tej wariancji. Koniec.
Hmm:) Jak zauważyles sa tematy, ktore warte są doprowadzenia do końca i sa stare i jare:)
kadykianus pisze:Jesli potraktujesz swoje liczby jako całą populację to uzywasz funkcji ODCH.STANDARD.POPUL() a jak traktujesz to jako próbę losową z tej populacji to używasz ODCH.STANDARD() Rozbieżności w wynikach wynikaja z tego ze pierwszy dzieli przez n a drugi przez n-1 (sprawdz w Pomocy do tej funkcji - tam jest wzór którego Excel uzywa)
To to akurat wiedziałem, zle mnie zrozumiales, nie chodzilo mi dlaczego w tych dwóch funkcjach sa inne wyniki, ale o ta rozbierznosc w exelowej funkcji od probki i tym uszczegolowieniu w wiki , co juz wyjasniłes
kadykianus pisze:]Ktos kto wymyślił to zadanie powinien podać w treści, ze "cena w 5 losowo wybranych księgarniach..." Wtedy byś liczyła ze wzoru n-1 a odchylenie standardowe jako pierwoastek z tej wariancji i koniec.
Ale jeśli nie ma juz innych księgarni to jest to cała populacja księgarni wiec liczysz ze wzoru dzielącego przez n. A odchylenie standardowe to znowu pierwiastek z tak liczonej wariancji.
Jeśli w treści nie ma nic o tym czy to jest proba to liczyłbym wariancje ze wzoru dzielącego przez n. A odchylenie stand. oczywiście jako pierwiastek z tej wariancji. Koniec.
Tez tak rozumowałem jak Ty, ale czasami tresci zadań sa tak niejednoznaczne, ze można orła wywinąć.
Czyli reasumując ze wzoru na wariancję dla populacji (z n w mianowniku) odchylenie jest nieobciążone, a ze wzoru dla probki z populacji (z n-1) wariancja jest nieobciążona, a odchylenie juz jest obciążone, ale i tak sie wyciąga pierwiastek. A dla zastosowań statystycznych i tak uzywa sie nieobciazonej wariancji. Ciekawe co na to wszystko Twoi oponęci w tym temacie
Pozdrawiam
Wszystko sie zgadza. Tylko pamiętaj, ze jeśli dysponujesz calą populacją (czyli całą informacją) to nie ma sensu mówić, ze cos jest nieobciążone. Wiadomo, ze jest nieobciążone bo to cala populacja; innej nie ma i masz całkowitą wiedzę o wariancji czy czymkolwiek.
O obciażonosci mówimy tylko wtedy gdy mając PRÓBĘ losową z populacji próbujemy zgadnąć (oszacować, estymować) nieznaną wariancję, średnią, odchylenie itp. Wtedy szukamy estymatorów które nie przekłamują systematycznie wyniku (czyli nieobciążonych).
Żaden estymator nie poda Ci prawdziwej wariancji w populacji. Jesli bys chcial ją znać to musiałbyś przebadać wszystkie obiekty w tej populacji. Estymator podaje zawsze inną wartość (jak weźmiesz inna probe to dostaniesz inną średnia i wariancje ceny tych książek) ale tym sie statystyka nie przejmuje bo umie sobie radzić. Bo ta różnica wynika z tzw. błędu próby. Gorzej, jeśli estymator niezależnie od próby "od siebie" dodaje coś do wartości szacowanego parametru. Wtedy mówimy, ze jest obciążony (z uporem maniaka przekłamuje)
*****
Moi oponenci mają prawo pisać w necie co chcą. Byle nie traktowali mnie z góry, bo to znaczy, ze mają w życiu za mało seksu i się na forach wyżywają
A wtedy ich argumenty są mało wiarygodne (powiemy: obciążone kłopotami w sypialni, hehe)
Pozdr.
appetite1 pisze:Ciekawe co na to wszystko Twoi oponęci w tym temacie
Widzisz appetite1, są ludzie którzy jednak nie uczą się na błędach. Obawiam się, że możesz nie miec odpowiedniej wiedzy matematycznej jednak jeśli masz ochote zgłębić ten temat to mozesz hobbystycznie poczytać: Dlaczego kadykianus się myli.
Wcześniej miałem mimo wszystko wyższe mniemanie o jego adresacie.
A co do Twojego dylematu, przy estymowaniu wariancji możesz z naprawdę czystym sumieniem dzielić zarówno przez n-1 jak i przez n oraz n+1. Jeśli ktoś by na Ciebie krzywo spojrzał widząc jak dzielisz przez n+1 to mu każ policzyć ryzyko wszystkich trzech estymatorów, a następnie je porównać i wyciągnąć wnioski.
Odpisuje w tym temacie tylko dlatego, że nie chce żebyś został wprowadzony w błąd. Na polemiki z kadykianusem nie mam najmniejszej ochoty zatem to jest mój ostatni post w tym temacie.
appetite1 pisze:Ciekawe co na to wszystko Twoi oponęci w tym temacie
Jeśli ktoś by na Ciebie krzywo spojrzał widząc jak dzielisz przez n+1 to mu każ policzyć ryzyko wszystkich trzech estymatorów, a następnie je porównać i wyciągnąć wnioski.
Co to jest "ryzyko" estymatora??
Mam juz odpowiedz na Twoją sugestie. Wyzej w poprzedniej dyskusji podałem wyniki doświadczenia numerycznego z tymi trzema rodzajami dzielenia które uważasz za równie dobre. One nie są równie dobre. Co to jest ryzyko estymatora??? Ja sie domyslam ze to moze jego wariancja (wariancja estymatora) ale estymatorów nie dobiera sie tylko ze względu na malą wariancje. Mozesz miec estymator o najmniejszej wariancji ale bedzie obciazony. To są dwa rozne pojecia! Dwa rózne kryteria! Zobacz prosze moje wyniki symulacji twoich trzech estymatorów live (post z 12 marca 2008)
Do Ciebie appetite1: jesli będziesz dzielil przez n to musisz wytłumaczyć dlaczego a jak przez n-1 to tez. Ale juz wiesz jak to wytłumaczyć. Jesli jednak będziesz obliczał wariancje jako sume kwadratow odchylen od sredniej dzielona przez n+1 to dostaniesz dwóje. Bo to jest sprzeczne z definicja wariancji która ma swoja ścisłą definicje. I ta definicja jest słuszna, bo jak sie dzieli przez cos innego, np. n+1 to wychodzą głupoty (patrz mój post z 12 marca 2008 wyzej w tej dykusji)
Do Ciebie, Oponencie. Nie odsylaj chlopaka do linku z naszej dyskusji o telefonistce bo on nie zrozumie zawiłości tamtego przykładu z procesem Poissona a tylko namącisz mu w głowie. Pewnie liczysz, ze przeczyta tam, jak przyznałem Ci racje, ale to nie znaczy, ze chłopak ma isc w swiat z Twoja nową, genialną definicją wariancji dzielącej przez n+1 lub przez pomidora. Uprawiasz tu zwykłą propagandę niczym polityk, wyciągający słowa z kontekstu.
Odświeżę temat, gdyż nie rozumiem jednej rzeczy. Chodzi mi o liczenie przedziałów ufności. Pod tym linkiem 39312.htm znajduje się model II, który mnie interesuje. Odchylenie standardowe z populacji jest nieznane, wobec czego należy je oszacować z próby. Z tego tematu wynika, iż licząc odchylenie standardowe z próby, powinnam dzielić je przez n-1. W takim razie we wzorze na przedział ufności pod pierwiastkiem nie powinno być samo n? Tak przynajmniej twierdzi niejaki M. Miszczyński w swoich wykładach ze statystyki.
nadia_sk pisze:Odświeżę temat, gdyż nie rozumiem jednej rzeczy. Chodzi mi o liczenie przedziałów ufności. ...[].
Tak. Jeśli wariancja z próby (a więc i odchylenie standardowe) zostało obliczone wzorem, w którym dzielisz przez n-1 to we wzorze na przedział ufności (Model II) ma być samo n a nie n-1.
Dobrą praktyką jest by przy podawaniu wzoru na przedział podać, jak liczymy odchylenie standardowe. Generalnie, jeśli liczymy odchylenie z próby to liczy się dzieląc przez n-1 co ma duże znaczenie przy małych liczebnościach. Im większe n bowiem, tym wynik mniej różni się od n-1.
Wszystko to rozumiem, tylko skoro w modelu 2 parametr rozkładu - sigma - jest nieznany, z czego wynika, iż muszę go estymować odchyleniem standardowym i to z małej próby, z czego wynika, iż do wyliczenia estymatora muszę użyć wzoru z n-1, z czego wynika, że w przedziale ufności pod pierwiastkiem muszę użyć n.
W takim razie dlaczego model używa we wzorze n-1, skoro to wymuszałoby na mnie wyliczenie estymatora przy użyciu n, czego robić nie powinnam? Inaczej mówiąc, czemu we wzorze jest domyślnie n-1, a nie n skoro wedle mojego rozumowania powinno być to drugie? Przynajmniej tak zrozumiałam to z tego tematu.
A jeśli źle zrozumiałam, to w praktyce od czego zależy, czy estymuję wzorem z n-1 albo z n?
W wyznaczaniu przedziału ufności dla średniej musisz mieć średnią i błąd standardowy.
W obu przypadkach błąd standardowy będzie taki sam.
Jeśli wariancję liczysz dzieląc przez n-1 a błąd standardowy dzieląc odchylenie st. przez pierwiastek z n, to dostaniesz taki sam wynik jak w sytuacji, kiedy wariancję liczysz dzieląc przez n a błąd standardowy dzieląc odchylenie przez pierwiastek z n-1.
W obu przypadkach wynik będzie taki sam. Dostaniesz taki sam przedział ufności dla średniej.
Dlatego jest ważne aby wiedzieć, jak liczono wariancję.
W prawdziwym życiu wariancja w populacji ZAWSZE jest nieznana wiec dobrą praktyka jest ZAWSZE liczyć wariancję dzieląc przez n-1 a w przedziale ufności dzielić przez pierwiastek z n. I tyle.
