Pytanie:
Dlaczego różna wielkość próby - testowanie hipotez nie wpływa na błąd typu I?
Stats
2014-12-29 18:37:30 UTC
view on stackexchange narkive permalink

Nie rozumiem, dlaczego nie ma to wpływu na prawdopodobieństwo wystąpienia błędu typu I podczas wykonywania testu hipotezy. Zwiększenie $ n $ $ \ Rightarrow $ zmniejsza odchylenie standardowe $ \ Rightarrow $ sprawia, że ​​rozkład normalny rośnie bardziej na poziomie prawdziwego $ µ $, a obszar krytycznej granicy powinien zostać zmniejszony, ale dlaczego tak nie jest?

(Cross opublikowany na Math Stack Exchange.)

Wybierasz $ \ alpha $, więc w zasadzie może robić to, co chcesz, gdy zmienia się rozmiar próbki ... i naprawdę, jeśli minimalizujesz całkowity koszt popełnienia dwóch typów błędów, powinien spaść jako $ n$ robi się duże.Nie ma sensu, aby ludzie nadal używali $ \ alpha = 0,05 $ (lub cokolwiek), podczas gdy $ \ beta $ spada do coraz bardziej znikomych liczb, gdy otrzymują gigantyczne rozmiary próbek.
Czuję, że brakuje mi jakiegoś wspólnego punktu, który wy, inni, już zrozumieli. O ile rozumiem z odpowiedzi, moja teoria jest poprawna, ale prawdopodobieństwo jest zachowane, ale tak nie jest .. ???
Na limitowanie rozkładu statystyki testowej nie ma wpływu wielkość próby, nie widzę powodu, dla którego należałoby zmniejszać $ \ alpha $.Wybór $ \ alpha $ może być dowolny.Można wybrać $ \ alpha = 0,1 $ dla $ n = 10 ^ {1000} $.Sednem problemu w statystykach częstych jest to, czy prawdopodobieństwo pokrycia zestawu ufności na poziomie $ 1- \ alpha $ jest bliskie $ 1- \ alpha $ dla dowolnego $ \ alpha $.
@Khashaa Jeśli nie weźmiesz pod uwagę współczynnika błędów typu II przy wyborze $ \ alpha $, zapłacisz więcej (pod względem popełniania większej liczby błędów) niż musisz.Przy wystarczająco dużych próbkach moc przy jakiejś wielkości efektu, na której mi zależy, będzie arbitralnie zbliżać się do 1 (0,99999 ...) - przy znacznie mniejszej wielkości próbki niż mamy (tj. Błąd typu II będzie tak bliski 0, jaklubimy, zanim dojdziemy do bieżącego $ n $).W takim przypadku nadal możemy osiągnąć ten bliski 0 błąd typu 2 przy większej próbie z mniejszą liczbą błędów typu I.Nie powiedziałem, że * nie można * wybrać $ \ alpha = 0,1 $, mówiłem, że to zły pomysł ... ctd
(ctd) ... Chyba że nalegasz na popełnienie znacznie większej liczby błędów typu I niż to konieczne, jak przypuszczam.
@xtzx Jak w swoim scenariuszu decydujesz, które przypadki zostaną odrzucone?Wydaje się, że wyobrażasz sobie stałą regułę odrzucania, gdy zmieniasz $ n $.Ale nie tak działają testy hipotez - nie masz reguły typu „odrzuć, gdy różnica średnich wynosi 15”, która ma zastosowanie do każdej wielkości próby.
@Glen_b Naprawdę nie rozumiem, jakie to ma znaczenie ... Wydaje mi się intuicyjne, że błąd typu I zmniejszyłby się wraz ze wzrostem n, ponieważ rozkład próbkowania miałby tendencję do zwiększania się przy prawdziwym µ, a próbki, które są znacznie powyżej lubponiżej wystąpi mniej razy.hipoteza zostanie odrzucona, jeśli próbki znajdują się w obszarze krytycznym, który będzie występował rzadziej od przyrostu n.
@Glen_b Zgadzam się z tobą.Nie należy wybierać tylko jednego $ \ alpha $.Nie przepadam za pomysłem „wybierania $ \ alpha $”.Niesie to dziwne konotacje, jakby $ \ alpha $ było jakimś parametrem nieodłącznym dla modelu.Byłbym bardziej zainteresowany przedziałami ufności na poziomie $ 1 \ alpha $ dla zakresu wartości $ \ alpha $.
Trzy odpowiedzi:
Frank Harrell
2014-12-29 18:49:15 UTC
view on stackexchange narkive permalink

To pytanie nie jest zadawane wystarczająco często. W statystykach częstych mamy tendencję do naprawiania $ \ alpha $ zgodnie z konwencją. Wtedy jako $ n \ rightarrow \ infty $ błąd typu II $ \ rightarrow 0 $ (tj. Potęga $ \ rightarrow 1 $), chociaż mamy również luksus dla dużych $ n $ polegający na niedopuszczeniu tak wielu fałszywych alarmów, gdybyśmy wybrali różnie. Rezultatem tej konwencji jest to, że kiedy $ n $ jest „duże”, można wykryć trywialne różnice, a gdy istnieje wiele hipotez, pojawia się problem wielości. Z drugiej strony, szkoła prawdopodobieństwa wnioskowania zajmuje się ogółem błędów typu I i typu II i pozwala na błąd typu I $ \ rightarrow 0 $ jako $ n \ rightarrow \ infty $. To rozwiązuje wiele problemów paradygmatu częstości. Jak na ironię, częste cechy wydajnościowe metody prawdopodobieństwa są również całkiem dobre.

Zobacz na przykład http://people.musc.edu/~elg26/SCT2011/SCT2011.Blume.pdf i http://onlinelibrary.wiley.com/doi/10.1002/sim.1216/abstract.

To są świetne spostrzeżenia, ale czy możesz rozwinąć swoją odpowiedź nieco bardziej, podając kilka odniesień?(Mimo wszystko +1)
Nie jestem do końca pewien, czy rozumiem odpowiedź. Czy tak jest, czy nie, patrzę na to w sposób wnioskujący.
Tak $ \ alpha $ jest tradycyjnie utrzymywane na stałym poziomie jako $ n \ rightarrow \ infty $, ale jest to tylko konwencją.
Ok .. to mnie zdezorientowało ... Więc nawet jeśli wydaje mi się, że "logiczne" jest stwierdzenie, że prawdopodobieństwo błędu typu I spada jako n -> $ \ infty $, to nie jest przypadek, ponieważ jest zachowane?
Przeczytaj ponownie moje komentarze.W tradycyjnym, częstym myśleniu prawdopodobieństwo błędu typu I ** nie ** maleje wraz ze wzrostem $ n $.
John
2014-12-29 21:34:57 UTC
view on stackexchange narkive permalink

Wygląda na to, że brakuje Ci głównego argumentu, że poziom błędów typu I jest również Twoim kryterium odcięcia. Jeśli twoje kryterium odcięcia się nie zmienia, to alfa się nie zmienia.

$ p $ -wartość jest warunkowym prawdopodobieństwem zaobserwowania efektu tak dużego lub większego niż ten, który znalazłeś, jeśli wartość null jest prawdziwa. Jeśli wybierzesz wartość graniczną $ p $ 0,05 do stwierdzenia, że ​​wartość null nie jest prawdą, to prawdopodobieństwo 0,05, że to prawda, zamienia się w błąd typu I.

Na marginesie, to podkreśla, dlaczego nie może przejść tego samego testu i ustawić wartości granicznej dla $ \ beta $. $ \ beta $ może istnieć tylko wtedy, gdy wartość null nie była prawdą, podczas gdy obliczona wartość testowa zakłada, że ​​tak jest.

Twierdzenie Franka Harrella jest doskonałe, że zależy to od Twojej filozofii. Niemniej jednak nawet w przypadku częstych statystyk można wybrać niższe kryterium z góry i tym samym zmienić współczynnik błędu typu I.

Szukałem czegoś takiego ... http://snag.gy/K8nQd.jpg
Ten podkreślony fragment zdaje się zaprzeczać temu, co zostało powiedziane wcześniej, tj. Że α pozostaje ustalone na tym, na co go ustawiłeś, i nie zmniejsza się wraz ze wzrostem wielkości próbki ?!
Jak mówię ludziom, którzy w to nie wierzą, uruchom symulację.Zobacz pytanie oznaczone jako zduplikowane.
Aksakal
2014-12-30 03:07:16 UTC
view on stackexchange narkive permalink

Jeśli używasz standardowego testowania hipotez, to ustawiasz poziom ufności $ \ alpha $, a następnie porównujesz z nim testową wartość p. W tym przypadku wielkość próby nie wpłynie na prawdopodobieństwo błędu typu I, ponieważ poziom ufności $ \ alpha $ jest prawdopodobieństwem błędu typu I, prawie z definicji. Innymi słowy, ustawiasz prawdopodobieństwo błędu typu I wybierając poziom ufności.

Na prawdopodobieństwo błędu typu I wpływa tylko Twój wybór poziomu ufności i nic jeszcze.

Wiem, że z góry ustalasz, jakie powinno być $ \ alpha $.Moje pytanie dotyczyło raczej tego, czy zmiana n miałaby wpływ, co właśnie potwierdził mój podręcznik, co również ma sens. $ alpha $ / poziom istotności zmienia się wraz ze zmianą wielkości próby.nie mogę jednak powiedzieć, ile ...
@xtzx,, spojrzałeś na link, który podałem?To wszystko wyjaśnia.
ale fakt, że zmienia std.dev podane przez link snag.gy/K8nQd.jpg, co również zmienia linię graniczną dla regionu akceptacji, co również wpłynie na $ \ alpha $
@xtzx, nic nie może zmienić $ \ alpha $.Ty to ustawisz, tylko Ty możesz to zmienić.
„..ustawiasz poziom ufności $ \ alpha $ ..” Zawsze uczono mnie używania „poziomu istotności” dla $ \ alpha $ w teście hipotezy (np. 0,05) i używania „poziomu ufności” dla przedziałów ufności(np. 95%).Szybkie rozejrzenie się po Internecie sugeruje, że jest to właściwie uniwersalna terminologia.
AilihxbrbaCMT poprawnie


To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 3.0, w ramach której jest rozpowszechniana.
Loading...