TLDR; Gdy nic nie wiadomo o faktycznym koszcie błędu dla użytkownika modelu, MSE jest lepszą opcją domyślną w porównaniu z MAE, ponieważ moim zdaniem łatwiej jest manipulować analitycznie i jest bardziej prawdopodobne, że pasuje do rzeczywisty koszt błędu.

To świetne pytanie. Podoba mi się, że zaczynasz od chęci dostosowania funkcji straty do rzeczywistych kosztów. Tak powinno być według mnie idealnie. Jednak wyprowadzanie funkcji kosztu na podstawie rzeczywistych kosztów za każdym razem, gdy budujesz model, jest niepraktyczne, więc skłaniamy się do korzystania z jednej z funkcji strat dostępnych w oprogramowaniu. Metoda najmniejszych kwadratów jest jedną z najpopularniejszych funkcji, głównie ze względu na wygodę matematyczną. Łatwiej sobie z tym poradzić analitycznie. Ponadto w niektórych przypadkach metoda najmniejszych kwadratów daje obiektywną prognozę punktową, czyli $ E [y] - \ hat y = 0 $ , co jest często uważane za pożądane z powodów sentymentalnych.

Powiedziawszy to, muszę stwierdzić, że nie jest dla mnie oczywiste, że bezwzględna utrata wartości jest bardziej realistyczna. Weź pod uwagę przedawkowanie narkotyków - w niektórych sytuacjach są one znacznie droższe niż niedostateczne dawki: niewystarczająco wysokie lub śmierć. W swoim przykładzie części rozważ to: co by było, gdybyś nie oszacował kosztu części na \ $ 1 i zawarł kontrakt forward na dostawę jednego miesiąca później za \ 1,1 $, wiedząc, że będziesz mieć 1 milion $ za miesiąc od dzisiaj. Zarobisz 10%!

Potem przychodzi dzień i części kosztują tak naprawdę 1,2 dolara za sztukę. Zatem nie tylko poniesiesz stratę w wysokości 100 000 $, ale również zabraknie Ci środków na dostarczenie 1 mln części. Jesteś więc zmuszony do niewypłacalności i bankructwa, co jest bardzo kosztowne. Z drugiej strony, gdybyś przeszacował koszt części, straciłbyś część zysku, ale nie znalazłbyś się w tragicznej sytuacji związanej z niewypłacalnością lub kryzysem płynności.

Jest to bardzo częsta sytuacja w biznesie, w której straty są asymetryczne i wysoce nieliniowe, z szybko rosnącymi kosztami w jednym kierunku błędu prognozy, ale nie w drugim. Stąd argumentowałbym, że strata bezwzględna, która jest symetryczna i wykazuje liniowe straty na błędach prognozowania, nie jest realistyczna w większości sytuacji biznesowych. Ponadto, chociaż symetryczna, kwadratowa strata jest co najmniej nieliniowa.

Jednak różnice między absolutną i kwadratową funkcją straty nie kończą się na tym. Na przykład można wykazać, że optymalną prognozą punktową straty bezwzględnej jest mediana, natomiast w przypadku straty kwadratowej jest to średnia.

Myślę, że następująca funkcja straty jest bardziej odpowiednia do prognozowania biznesowego w wielu przypadkach, w których błąd przekroczenia prognozy $ e = y- \ hat y $ może stać się bardzo kosztowny bardzo szybko: $$ \ mathcal L (e, \ hat y) = | \ ln \ left (1+ \ frac e {\ hat y} \ right) | $$ span> W tym przypadku, jeśli prognozujesz nieujemną ilość $ y $ , przeszacowanie jest potencjalnie katastrofalne. Wyobraź sobie, że bank prognozuje wielkość depozytów, a rzeczywisty wolumen depozytów okazał się znacznie niższy, niż się spodziewałeś. Może to mieć poważne konsekwencje. Ten typ asymetrycznej funkcji strat prowadzi do odchylonej optymalnej prognozy punktowej, tj. $ E [y] - \ hat y \ ne 0 $ , ale właśnie tego chcesz: w tego rodzaju problemach biznesowych chcesz popełnić błąd po stronie niedoszacowania.

Myślę, że powód jest bardziej socjologiczny niż statystyczny.

Krótka wersja: robimy to w ten sposób, ponieważ zawsze tak było.

Dłuższa wersja: Historycznie rzecz biorąc, nie mogliśmy nie robić wielu rzeczy, które obecnie przyjmujemy za pewnik. Wiele rzeczy wymaga intensywnego korzystania z komputera, a Ronald Fisher urodził się przed Alanem Turingiem.

Tak więc ludzie robili regresję OLS - dużo. I ludzie czytają te regresje w różnego rodzaju dziedzinach merytorycznych i na kursach statystycznych w tych dziedzinach, w których nauczano ANOVA / regresji, a nie bardziej nowoczesnych metod.

Dodatkowo redaktorzy czasopism nauczyli się tych, a nie innych metod, i wielu odrzuci artykuły przy użyciu nowoczesnych metod, ponieważ np. „nie zostaną zrozumiani”.

Wielu praktyków odrzuca również nowoczesne metody; Kiedyś byłem typem maniaka analizy danych w szpitalu. Lekarze przychodzili, by pytać o moją radę, a gdyby nie „regresja OLS” lub „regresja logistyczna”, odrzucaliby moją radę.

Zrobiłem doktorat z psychometrii, a wielu moich profesorów z innych dziedzin psychologii nie znało żadnych nowoczesnych metod (jeden powiedział: „podaj tylko wartość p, to się liczy”).

W pierwszych 5 odpowiedziach nie ma rozróżnienia między estimation loss i prediction loss, co jest kluczowe dla odpowiedzi na pytanie.A priori, nie ma powodu, aby te dwa elementy się pokrywały.Omówię oba typy strat w kontekście predykcji punktowej z wykorzystaniem regresji liniowej.Dyskusję można rozszerzyć na modele inne niż regresja liniowa i zadania inne niż przewidywanie punktowe, ale istota pozostaje taka sama.

Konfiguracja

Załóżmy, że masz problem z przewidywaniem w miejscu, w którym znajduje się model $$ y = X \ beta + \ varepsilon $$ gdzie $ \ varepsilon \ sim D (0, \ sigma) $ , $ D $ to jakiś rozkład prawdopodobieństwa z lokalizacją 0 $ i skalą $ \ sigma $ . Zamierzasz przewidzieć $ y_0 $ , biorąc pod uwagę $ x_0 $ , a Twoja prognoza punktów będzie wynosić $ \ hat y_0 $ , funkcja $ x_0 $ , próbka danych, model i kara (minus nagroda) zdefiniowana na podstawie błędu prognozy. Funkcja kary, przed którą stoisz, to $ L_P (y- \ hat y) $ . Ma minimum na zero (wartość $ L_P (0) $ można ustawić na zero bez utraty ogólności) i nie zmniejsza się po obu stronach zera; jest to typowa charakterystyka rozsądnej funkcji prediction loss. Możesz dowolnie wybrać funkcję estimation loss $ L_E (\ cdot) $ i funkcję przewidywania punktowego $ y_hat_0 $ span >. Jakie są dla Ciebie optymalne wybory? Będzie to zależeć od rozkładu błędów $ D $ i funkcji przewidywania utraty $ L_P (\ cdot) $ .

Szacunkowa strata

Utrata oszacowania określa, w jaki sposób oszacowania parametrów modelu są uzyskiwane z przykładowych danych. W naszym przykładzie regresji liniowej dotyczy ona oszacowania $ \ beta $ i $ \ sigma $ . Możesz je oszacować, minimalizując sumę kwadratów reszt (OLS) między rzeczywistą wartością $ y $ a odpowiednimi dopasowanymi wartościami, sumą reszt bezwzględnych (regresja kwantylowa przy medianie ) lub inną funkcją. O wyborze straty oszacowania można decydować rozkład błędów modelu. Najdokładniejszy estymator w pewnym sensie technicznym * zostanie osiągnięty przez stratę oszacowania, która sprawia, że ​​estymator parametrów jest estymatorem największej wiarygodności (ML). Jeśli błędy modelu są dystrybuowane normalnie ( $ D $ jest normalne), będzie to OLS; jeśli są rozłożone zgodnie z rozkładem Laplace'a ( $ D $ to Laplace), będzie to regresja kwantylowa przy średniej; itp.
* Aby uprościć, biorąc pod uwagę estymator ML, możesz oczekiwać dokładniejszych oszacowań parametrów od swojego modelu niż te zapewniane przez alternatywne estymatory.

Przewidywanie utraty

Utrata prognozy określa, w jaki sposób błędy prognoz są karane. Nie wybierasz tego, to jest dane. (Zazwyczaj określa to klient. Jeśli klient nie jest w stanie tego zrobić matematycznie, analityk powinien starać się to zrobić, uważnie słuchając argumentów klienta). Jeśli błąd prognozy powoduje stratę klienta (np. Stratę finansową) ), aby rosnąć kwadratowo i symetrycznie wokół zera, grozi nam kwadratowa utrata prognoz. Jeśli strata klienta rośnie liniowo i symetrycznie około zera, masz do czynienia ze stratą wynikającą z prognoz bezwzględnych. Istnieje wiele innych możliwości typów strat wynikających z prognoz, z którymi możesz się również zmierzyć.

Prognoza

Biorąc pod uwagę oszacowania parametrów modelu i wartości regresorów interesującego punktu, $ x_0 $ , należy wybrać prognozę punktową $ \ hat y_0 $ na podstawie przewidywanej straty. W przypadku straty kwadratowej wybierzesz szacunkową średnią $ y_0 $ , ponieważ prawdziwa średnia minimalizuje średnią stratę kwadratową (gdzie średnia jest brana z losowych próbek $ y_0 $ z zastrzeżeniem $ x = x_0 $ ). W przypadku straty bezwzględnej wybierzesz szacunkową medianę. W przypadku innej funkcji straty wybierzesz inne cechy rozkładu $ y_0 $ , które wymodelowałeś.

Wróć do pytania

Dlaczego ludzie często wybierają błąd kwadratowy zamiast błędu bezwzględnego lub odpowiednio kwadratową stratę zamiast straty bezwzględnej, jako estimation loss? Ponieważ zwykłe błędy ( $ D $ to normalne) są częste w aplikacjach, prawdopodobnie częściej niż błędy Laplace'a ( $ D $ to Laplace). Dzięki nim estymatory regresji są również wykonalne analitycznie. Jednak nie są one dużo łatwiejsze do obliczenia. Złożoność obliczeniowa OLS (odpowiadająca estymacji ML przy normalnych błędach) w porównaniu z regresją kwantylową przy medianie (odpowiadająca estymacji ML przy błędach Laplace'a) nie różni się znacząco. Dlatego istnieją pewne rozsądne argumenty przemawiające za wyborem OLS zamiast regresji kwantylowej przy medianie lub błędu kwadratowego względem błędu bezwzględnego.

Dlaczego ludzie wybierają błąd kwadratowy lub odpowiednio kwadratową stratę jako prediction loss?Może dla prostoty.Jak mogły wspomnieć niektóre z poprzednich odpowiedzi, musisz wybrać jakiś punkt odniesienia dla prezentacji podręcznika;nie można szczegółowo omówić wszystkich możliwych przypadków.Jednak argument za preferowaniem straty kwadratowej nad stratą bezwzględną, ponieważ strata wynikająca z prognozowania jest mniej przekonująca niż w przypadku straty oszacowanej.Rzeczywista strata prognozy prawdopodobnie będzie asymetryczna (jak omówiono w niektórych poprzednich odpowiedziach) i nie będzie bardziej prawdopodobne, że wzrośnie kwadratowo niż liniowo z błędem przewidywania.Oczywiście w praktyce należy kierować się specyfikacją klienta dotyczącą przewidywanej straty.Tymczasem w przypadkowych przykładach i dyskusjach, w których nie ma w pobliżu konkretnego klienta, nie widzę mocnego argumentu przemawiającego za przedawnieniem błędu kwadratowego nad bezwzględnym.

Myślę, że warto cofnąć się o krok i zastanowić się, co oznaczają te dwie straty.

Patrząc na to z probabilistycznego punktu widzenia, funkcja straty jest równoważna założonej funkcji logarytmicznej wiarygodności, a zatem powinna odpowiadać temu, jak uważamy, że nasze pomiary są rozmieszczone wokół ich nieznanych „prawdziwych” wartości.

Jak powiedziałeś, w przypadku OLS jest to równoważne z założeniem prawdopodobieństwa Gaussa, gdzie jako bezwzględna funkcja utraty błędu jest równoważna prawdopodobieństwu Laplaca.Prawdopodobieństwa Gaussa znacznie częściej są dobrze dopasowane do rzeczywistego życia w wyniku centralnego twierdzenia granicznego.

Ogólnie rzecz biorąc, nasze przewidywania są ulepszane dzięki temu, że nasz zakładany (i niejawnie generujący) model jest możliwie najbliższy rzeczywistości.W wielu (większości?) Przypadkach poprawi to dokładność przewidywania za pomocą dowolnego rozsądnego wskaźnika (w tym np. Średniego błędu bezwzględnego).O wiele częściej jest tak przy założeniu, że prawdopodobieństwo Gaussa to osiągnie.

Jeśli błędy są niezależne i mają rozkład normalny (o dowolnej wariancji, ale spójny), to suma kwadratów błędów odpowiada ich łącznemu prawdopodobieństwu / prawdopodobieństwu.

$ \ Pi e ^ {- x_i ^ 2} = e ^ {- \ Sigma x_i ^ 2} $

Zatem w tych warunkach minimalizowanie sumy błędów kwadratowych jest tym samym, co maksymalizowanie prawdopodobieństwa.

Jeśli potrzebna jest prognoza minimalizująca koszty (gdzie miernik kosztu różni się od MSE), ogólne / dokładne podejście polegałoby na wyraźnym zminimalizowaniu oczekiwanego kosztu w całym rozkładzie modeli ważonych według ich prawdopodobieństw (lub prawdopodobieństw, jeśli masz wcześniejsza wiedza). To całkowicie oddziela problem minimalizacji oczekiwanych kosztów od problemu szacowania w obecności hałasu.

Załóżmy, że mierzysz stałą wielkość w obecności szumu Gaussa. Nawet jeśli miernikiem kosztów przyszłych wyników jest MAE, wolałbyś raczej przewidywać na podstawie średniej (minimalizując poprzednie MSE) niż mediany (minimalizując przeszłe MAE), jeśli rzeczywiście wiesz, że ilość jest stała, a szum pomiaru jest Gaussa.

Przykład

Rozważ następujący rozkład trafień zadawanych przez działo, które było mechanicznie unieruchomione. Na tarczy umieszczasz okrąg o podanej wielkości. Jeśli następny strzał wyląduje całkowicie w Twoim kręgu, wygrywasz, w przeciwnym razie przegrywasz. Funkcja kosztu ma postać $ f_C (x, y) = znak ((x-x_C) ^ 2 + (y-y_C) ^ 2-R ^ 2) $ span>.

Jeśli zminimalizujesz $ \ sum_i f_C (x_i, y_i) $ , umieścisz okrąg na niebieskiej pozycji, zawierającej w całości maksymalną liczbę poprzednich strzałów. Ale gdybyś wiedział, że broń jest zamocowana na miejscu, a błąd jest gaussowski, umieściłbyś okrąg w zielonej pozycji, pośrodku średniej / centroidu danych (minimalizując MSE), ponieważ optymalizujesz przyszłe oczekiwane wypłaty, a nie średnią przeszłość wypłata.

Załóżmy, że ktoś rzuca jedną kością (ponumerowaną od 1 do 6) i chce obliczyć jej średnie odchylenie od średniej wartości 3,5. Dwie rolki różniłyby się o 0,5, dwa o 1,5 i dwa o 2,5, przy średnim odchyleniu 1,5. Jeśli weźmiemy średnią kwadratów wartości, otrzymamy jedno odchylenie 0,25, jedno 2,25 i jedno 6,25, co daje średnią 2,916 (35/12).

Teraz załóżmy, że zamiast rzucać jedną kostką, jeden rzuca dwoma. Średnie odchylenie wyniosłoby 1,94 (35/18), a średni kwadrat odchylenia wyniósłby 5,833 (70/12).

Jeśli zamiast rzucić dwiema kośćmi, ktoś chciałby oszacować oczekiwane odchylenie na podstawie tego, jakie było przy jednej kostce, podwojenie liniowego średniego odchylenia na pojedynczej kostce (tj. 1,5) dałoby wartość 3, czyli znacznie większą niż rzeczywiste średnie odchylenie liniowe 1,94. Z drugiej strony podwojenie średniego kwadratu odchylenia przy użyciu jednej kostki (2,916) dałoby dokładnie średni kwadrat odchylenia przy użyciu dwóch kości.

Ogólnie rzecz biorąc, pierwiastek kwadratowy średniej z kwadratów jest bardziej użyteczną liczbą niż średnia samych kwadratów, ale jeśli chce się obliczyć pierwiastek kwadratowy średniej z kilku kwadratów, łatwiej jest zachować wartości, które mają zostać dodane jako kwadraty, niż wziąć pierwiastki kwadratowe za każdym razem, gdy je zgłaszasz, a następnie przed ich dodaniem lub uśrednieniem należy je podnieść do kwadratu.

Moim zdaniem sprowadza się to do tego, że kwadratowy błąd gwarantuje unikalne rozwiązanie, łatwiejsze w obsłudze, a co za tym idzie dużo większą intuicję. Tylko przy dwóch głównych założeniach (i liniowości składnika błędu), kwadratowa funkcja straty gwarantuje, że oszacowany współczynnik jest unikalny zminimalizowany. Odchyłki najmniej bezwzględne nie mają tej właściwości. Zawsze istnieje nieskończona liczba rozwiązań. Zakładając, że $ \ istnieje \ theta_o \ in \ Theta $ takie, że $ E (y | x) = m (x, \ theta_o) $ i $ E ((m (x, \ theta) -m (x, \ theta_o) ^ 2) >0 $ dla wszystkich $ \ theta \ neq \ theta_o $ , a następnie $ \ theta_o $ jest unikalnym minimalizatorem dla najmniej liniowych kwadraty.

Dowód: niech $ y = m (x, \ theta_o) + u $ i $ E (u | x ) = 0 $ . Następnie $$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = E _ {\ theta_o} ((ym (x, \ theta_o) + m (x , \ theta_0) -m (x, \ theta)) ^ 2) $$

$$ = E _ {\ theta_o} (u ^ 2) + E _ {\ theta_o} ((m (x, \ theta_o) -m (x, \ theta)) ^ 2) + 2E _ {\ theta_o} (u (m (x, \ theta_o) -m (x, \ theta))). $$

Zgodnie z prawem iteracyjnych oczekiwań trzeci człon wynosi zero. Dlatego

$$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = u ^ 2 + E _ {\ theta_o} ((m (x, \ theta_o) -m (x, \ theta)) ^ 2) $$ jest unikalnie zminimalizowany w $ \ theta_o $ .

Kolejną fajną właściwością jest całkowite prawo wariancji

$$ Var (Y) = Var_X (E_Y (Y | X)) + E_X (Var_Y (Y | X)), $$

, którą można odczytać jako wariancję zmiennej zależnej, to wariancja dopasowanej wartości plus wariancja reszty.

Z bardziej technicznego punktu widzenia, asymptotyczne wzory są znacznie łatwiejsze w przypadku kwadratowej funkcji straty.Co ważne, wzory nie zależą od gęstości prawdopodobieństwa składnika błędu.Niestety nie dotyczy to odchyleń najmniej bezwzględnych.Dlatego większość praktyków w końcu musi założyć niezależność składnika błędu (formuła ma warunkową gęstość składnika błędu równą 0 w zależności od $ x $ , co jest niemożliwe dooszacowanie ( $ f_ {u | x} (0) $ )) do oszacowania $ f_u (0) $ span>.

A najmniej rygorystyczną kwestią jest to, że ludzie mają łatwy czas na zrozumienie, czym jest średnia lub oczekiwana wartość, a kwadratowa strata rozwiązuje warunkowe oczekiwanie.Najmniej bezwzględne odchylenia podeszwy mediany, które są po prostu trudniejsze do zinterpretowania.Kolejny powód, dla którego regresje kwantylowe nie są zbyt popularne.