Wraz ze wzrostem wielkości próby, moc statystyczna (patrz poniżej) do wykrywania nawet najmniejszego rozmiaru efektu również rośnie, a te małe rozmiary efektów okazują się następnie istotne statystycznie, nawet jeśli nie mają znaczenie w ogóle. To tylko eksperyment myślowy, który zilustruje to dokładniej: co by było, gdybyś mógł włączyć do badania wszystkie osoby, które są zainteresowane. Wszystkie statystyki obliczone na podstawie tej pełnej „próbki” odzwierciedlałyby prawdziwe wartości w populacji bez błędów. Więc jeśli rozmiary efektu populacji są równe dokładnie 0, to i tylko wtedy okazałyby się one równe dokładnie 0. W przeciwnym razie natrafiłbyś na drobne różnice lub korelacje lub jakikolwiek jest rozmiar twojego efektu.
Ten post może być również interesujący w tym kontekście.
Dodatek
Tę wspaniałą analogię mocy statystycznej znalazłem w Harvey Motulsky Intuitive Biostatistics: A Nonmathematical Guide to Statistical Thinking (analogię pierwotnie opracował John Hartung):
Załóżmy, że wyślij dziecko do piwnicy po narzędzie, powiedzmy młotek. Dziecko wraca i mówi: „Nie ma młota”. Jaki jest twój wniosek? Czy młotek jest w piwnicy, czy nie? Nie możemy być w 100% pewni, więc odpowiedź musi być prawdopodobieństwem. Pytanie, na które naprawdę chcesz odpowiedzieć, brzmi: „Jakie jest prawdopodobieństwo, że młotek jest w piwnicy?” Aby odpowiedzieć na to pytanie, potrzebowalibyśmy wcześniejszego prawdopodobieństwa, a zatem statystyk bayesowskich. Możemy jednak zadać inne pytanie: „Jeśli młotek naprawdę jest w piwnicy, jaka jest szansa, że Twoje dziecko by to znalazło? ” Od razu widać, że odpowiedź zależy:
- Jak długo Twoje dziecko patrzyło? Jest to analogiczne do wielkości próbki. Im dłużej dziecko patrzy, tym większe jest prawdopodobieństwo, że znajdzie młotek. I co ważne: nawet jeśli młotek jest naprawdę mały, jeśli dziecko spędzało godziny na szukaniu, prawdopodobnie znajdzie młotek, pomimo jego niewielkich rozmiarów. Odnosi się to również do badań: im większy rozmiar próbki, tym mniejsze rozmiary efektów („młotki”) można wykryć.
- Jak duży jest młotek? Jest to analogiczne do wielkości efektu. Młot jest łatwiejszy (tj. Szybszy) do znalezienia niż mały młotek. Badanie ma większą moc, jeśli efekt jest duży.
- Jak zabrudzona jest piwnica? Łatwiej jest znaleźć młotek w uporządkowanej piwnicy niż w brudnej. Jest to analogiczne do eksperymentalnego rozproszenia (odchylenia). Badanie ma większą moc, gdy dane wykazują niewielkie odchylenia.
Twoje dziecko ma trudności, jeśli musi znaleźć mały młotek w krótkim czasie w brudnej piwnicy. Z drugiej strony, Twoje dziecko ma duże szanse na znalezienie, jeśli spędza dużo czasu na szukaniu młota w uporządkowanej piwnicy (więc posprzątaj piwnicę, zanim wyślesz dziecko na poszukiwanie!).