Metoda najmniejszych kwadratów jest rzeczywiście największym prawdopodobieństwem, jeśli błędy są iid normalne, ale jeśli nie są normalne, metoda najmniejszych kwadratów nie jest maksymalnym prawdopodobieństwem. Na przykład, gdyby moje błędy były logistyczne, metoda najmniejszych kwadratów nie byłaby złym pomysłem, ale nie byłoby to maksymalne prawdopodobieństwo.

Wiele estymatorów nie jest estymatorami maksymalnego prawdopodobieństwa; podczas gdy estymatory maksymalnego prawdopodobieństwa mają zwykle wiele przydatnych i atrakcyjnych właściwości, nie są jedyną grą w mieście (a nawet nie zawsze są świetnym pomysłem).

Kilka przykładów innych metod szacowania może obejmować

• metoda momentów (obejmuje zrównanie wystarczającej liczby momentów próby i populacji do rozwiązania w celu oszacowania parametrów; czasami okazuje się, że jest to maksymalne prawdopodobieństwo, ale zwykle tak nie jest)

  Na przykład zrównanie pierwszego i drugiego momentu w celu oszacowania parametrów rozkładu gamma lub równomiernego rozkładu; nie jest to maksymalne prawdopodobieństwo w obu przypadkach.

• metoda kwantyli (zrównanie wystarczającej liczby kwantyli próbki i populacji do rozwiązania w celu oszacowania parametrów; czasami jest to maksymalne prawdopodobieństwo, ale zwykle nie jest),

• minimalizowanie innej miary braku dopasowania niż $ - \ log \ mathcal {L} $ (np. minimalna chi-kwadrat, minimalna odległość KS) .

Dopasowując modele typu regresji liniowej, możesz na przykład przyjrzeć się solidnej regresji (z których niektóre odpowiadają metodom ML dla określonego rozkładu błędów, ale wiele z nich nie).

W przypadku prostej regresji liniowej, pokazuję przykład dwóch metod dopasowania linii, które nie są maksymalnym prawdopodobieństwem tutaj - tam estymowanie nachylenia przez ustawienie na 0 niektórych inna miara korelacji (tj. inna niż zwykła metoda Pearsona) między resztami a predyktorem.

Innym przykładem może być linia odporna Tukey'a / linia trzech grup Tukeya (np. patrz ? line w R).Istnieje wiele innych możliwości, chociaż wiele z nich nie daje się łatwo uogólnić na sytuację regresji wielorakiej.

Podejścia bayesowskie nie obejmują maksymalizacji funkcji prawdopodobieństwa, ale raczej integrację z późniejszą dystrybucją. Zauważ, że model bazowy może być dokładnie identyczny (tj. Regresja liniowa, uogólniona regresja liniowa), ale musimy również podać wcześniejszy rozkład, który uchwyci naszą niepewność parametrów przed zobaczeniem danych. Dystrybucja a posteriori to po prostu znormalizowany rozkład wcześniejszych czasów prawdopodobieństwa.

Uważam, że większość współczesnych statystyków ogólnie zgadza się, że podejście bayesowskie jest generalnie lepsze od podejścia MLE do oceny parametrów. Jednakże, gdy mamy dużo danych, może nie być tak dużo lepiej, że są to zarówno dodatkowe koszty obliczeniowe (integracja jest trudniejsza niż optymalizacja!) i dodatkowy wysiłek wymyślanie wcześniejszej dystrybucji. W rzeczywistości można wykazać, że asymptotycznie przybliżenie normalne MLE + zbliża się do późniejszego rozkładu w określonych warunkach.

Wszystkie MLE to minimaksy, ale nie wszystkie minimaksy to MLE.Niektóre przykłady estymatorów minimaksów, które nie maksymalizują prawdopodobieństwa, to regresja ROC, warunkowa regresja logistyczna, modele proporcjonalnego hazardu Coxa, najbliższy sąsiad, quasi-prawdopodobieństwo, lista jest długa.Estymator Hodge'a „superefektywny” bije maksymalne prawdopodobieństwo jako bardziej efektywny estymator UMVUE (nieobciążona minimalna wariancja) średniej w normalnej próbce, ale NIE jest minimaksem

$$ Y_i = \ alpha + \ beta x_i + \ varepsilon_i $$

• $ \ alpha, \ beta $ są nieprzypadkowe i nieobserwowalne.
• $ \ varepsilon_i $ są losowe i nie można ich zaobserwować.
• $ x_i $ nie są losowe i można je zaobserwować.
• $ Y_i $ są w konsekwencji losowe i można je zaobserwować.

Załóżmy, że masz założenia Gaussa – Markowa:

• Błędy $ \ varepsilon_i $ mają oczekiwaną wartość zero.
• Wszystkie błędy mają tę samą (skończoną) wariancję, ale niekoniecznie ten sam rozkład (w szczególności nie zakłada się, że są one normalne).
• Błędy są nieskorelowane, ale niekoniecznie są niezależne.

Nie można zrobić MLE, ponieważ nie ma sparametryzowanej rodziny dystrybucji. Ale nadal można robić zwykłe najmniejsze kwadraty.

Wśród wszystkich liniowych kombinacji $ y $ -wartości z nielosowymi obserwowalnymi współczynnikami, które są niezabezpieczonymi estymatorami $ \ alpha $ i $ \ beta, $ estymatory typu najmniejszych kwadratów mają najmniejszą wariancję.

Odpowiedzią na pytanie „Jaka regresja / oszacowanie nie jest MLE?”, prostą i solidną alternatywą dla metody najmniejszych kwadratów (LS), jest podobno najmniejsze odchylenie bezwzględne (LAD).

Cytując źródło:

„Metoda najmniejszych odchyleń bezwzględnych (LAD) jest jedną z głównych alternatyw dla metody najmniejszych kwadratów, gdy dąży się do oszacowania parametrów regresji. Celem regresji LAD jest zapewnienie solidnego estymatora.”

Co ciekawe, zgodnie z odniesieniem, cytując: „Oszacowanie najmniejszych bezwzględnych odchyleń pojawia się również jako oszacowanie maksymalnego prawdopodobieństwa, jeśli błędy mają rozkład Laplace'a”. Oto link, który omawia kilka interesujących zastosowań Laplace'a (jak wcześniej Bayesian i do ekstremalnych wydarzeń).

Historycznie rzecz biorąc, procedura LAD została wprowadzona 50 lat przed metodą najmniejszych kwadratów (1757) przez Rogera Josepha Boscovicha, który zastosował ją do pogodzenia niespójnych miar związanych z kształtem ziemi.

Przykładową różnicą jest bardzo prosty przypadek Y = Constant, gdzie LS zwraca średnią z próbki, podczas gdy LAD wybiera medianę próbki! Tak więc w kontekstach z jedną lub dwiema skrajnymi wartościami, które z jakiegokolwiek powodu (jak heteroskedastyczność), które mogą się pojawić, LS może wykazać duże przesunięcie w prawdziwym oszacowaniu nachylenia, zwłaszcza gdy jest jedna bardzo niska i / lub wysoka obserwacja, jak zauważona słabość. Wikipedia na temat silnej regresji zawiera dodatkowy komentarz:

„W szczególności oszacowania metodą najmniejszych kwadratów dla modeli regresji są bardzo wrażliwe na wartości odstające”.

W odniesieniu do zastosowań może to być szczególnie ważne, na przykład w chemicznej analizie danych w celu przewidzenia tak zwanego prawa szybkości reakcji (które jest oparte na oszacowaniu nachylenia).