Wraz ze wzrostem wielkości próby, moc statystyczna (patrz poniżej) do wykrywania nawet najmniejszego rozmiaru efektu również rośnie, a te małe rozmiary efektów okazują się następnie istotne statystycznie, nawet jeśli nie mają znaczenie w ogóle. To tylko eksperyment myślowy, który zilustruje to dokładniej: co by było, gdybyś mógł włączyć do badania wszystkie osoby, które są zainteresowane. Wszystkie statystyki obliczone na podstawie tej pełnej „próbki” odzwierciedlałyby prawdziwe wartości w populacji bez błędów. Więc jeśli rozmiary efektu populacji są równe dokładnie 0, to i tylko wtedy okazałyby się one równe dokładnie 0. W przeciwnym razie natrafiłbyś na drobne różnice lub korelacje lub jakikolwiek jest rozmiar twojego efektu.

Ten post może być również interesujący w tym kontekście.

Dodatek

Tę wspaniałą analogię mocy statystycznej znalazłem w Harvey Motulsky Intuitive Biostatistics: A Nonmathematical Guide to Statistical Thinking (analogię pierwotnie opracował John Hartung):

Załóżmy, że wyślij dziecko do piwnicy po narzędzie, powiedzmy młotek. Dziecko wraca i mówi: „Nie ma młota”. Jaki jest twój wniosek? Czy młotek jest w piwnicy, czy nie? Nie możemy być w 100% pewni, więc odpowiedź musi być prawdopodobieństwem. Pytanie, na które naprawdę chcesz odpowiedzieć, brzmi: „Jakie jest prawdopodobieństwo, że młotek jest w piwnicy?” Aby odpowiedzieć na to pytanie, potrzebowalibyśmy wcześniejszego prawdopodobieństwa, a zatem statystyk bayesowskich. Możemy jednak zadać inne pytanie: „Jeśli młotek naprawdę jest w piwnicy, jaka jest szansa, że ​​Twoje dziecko by to znalazło? ” Od razu widać, że odpowiedź zależy:

• Jak długo Twoje dziecko patrzyło? Jest to analogiczne do wielkości próbki. Im dłużej dziecko patrzy, tym większe jest prawdopodobieństwo, że znajdzie młotek. I co ważne: nawet jeśli młotek jest naprawdę mały, jeśli dziecko spędzało godziny na szukaniu, prawdopodobnie znajdzie młotek, pomimo jego niewielkich rozmiarów. Odnosi się to również do badań: im większy rozmiar próbki, tym mniejsze rozmiary efektów („młotki”) można wykryć.
• Jak duży jest młotek? Jest to analogiczne do wielkości efektu. Młot jest łatwiejszy (tj. Szybszy) do znalezienia niż mały młotek. Badanie ma większą moc, jeśli efekt jest duży.
• Jak zabrudzona jest piwnica? Łatwiej jest znaleźć młotek w uporządkowanej piwnicy niż w brudnej. Jest to analogiczne do eksperymentalnego rozproszenia (odchylenia). Badanie ma większą moc, gdy dane wykazują niewielkie odchylenia.

Twoje dziecko ma trudności, jeśli musi znaleźć mały młotek w krótkim czasie w brudnej piwnicy. Z drugiej strony, Twoje dziecko ma duże szanse na znalezienie, jeśli spędza dużo czasu na szukaniu młota w uporządkowanej piwnicy (więc posprzątaj piwnicę, zanim wyślesz dziecko na poszukiwanie!).

Aby uzyskać konkretność, wyobraź sobie test średnich na jednej próbie (duża próba, na czymś, gdzie istnieje średnia i wariancja populacji, aby nieco uprościć argument).

Niech różnica między prawdziwą średnią a hipotetyczną średnią z próby będzie dowolną różną od zera $ \ delta $. Wtedy rozkład próbkowania średniej próby pomniejszonej o hipotetyczną średnią będzie sam w sobie miał średnią $ \ delta $ i wariancję, która zmniejszy się proporcjonalnie do 1 $ / n $.

Jako taki, gdy $ n $ stanie się wystarczająco duży, prawdopodobieństwo, że statystyka testowa będzie poza obszarem odrzucenia, spada.

W rzeczywistości może pomóc myślenie o niej w kategoriach testu opartego na przedziale ufności. Przedział ufności dla średniej populacji zmniejszy się o $ \ frac {1} {\ sqrt n} $. Gdy $ n $ staje się wystarczająco duże, typowy CI zbliża się coraz bardziej do średniej populacji (oczywiście nadal jest to zmienna losowa), ale $ \ delta $ pozostaje stałe.

Ostatecznie połowa szerokości przedziału ufności („margines błędu”) jest zwykle znacznie mniejsza niż $ \ delta $ - co sprawia, że ​​hipoteza oznacza „daleko” - coraz więcej połówek szerokości typowy CI - na podstawie rzeczywistej średniej populacji (co daje prawdopodobieństwo odrzucenia zbliżone do 1)

Możesz skonstruować podobne argumenty dla prawie każdego testu hipotez dla punktu zerowego, o ile spełnionych jest kilka podstawowych warunków (jeśli nie masz spójności, argument się nie powiedzie).