Suma reszt zawsze będzie wynosić 0, więc to nie zadziała.

Bardziej interesującym pytaniem jest, dlaczego należy używać sumy kwadratów reszt a sumy bezwzględnej wartości reszt. To kala duże pozostałości bardziej niż małe. Uważam, że powodem tego jest to, że matematyka działa łatwiej, a przed komputerami znacznie łatwiej było oszacować regresję za pomocą kwadratów reszt. Obecnie ten powód nie ma już zastosowania średnia regresja odchylenia bezwzględnego jest rzeczywiście możliwa. Jest to jedna z form silnej regresji.

Innym sposobem na motywowanie kwadratowych reszt jest przyjmowanie często rozsądnego założenia, że ​​reszty mają rozkład Gaussa. Innymi słowy, zakładamy, że $$ y = ax + b + \ varepsilon $$ dla szumu gaussowskiego $ \ varepsilon $. W tym przypadku prawdopodobieństwo logiczne parametrów $ a, b $ jest podane przez $$ \ log p (y \ mid x, a, b) = \ log \ mathcal {N} (y; ax + b, 1 ) = - \ frac {1} {2} (y - [a + bx]) ^ 2 + \ text {const}, $$ tak, że maksymalizacja prawdopodobieństwa sprowadza się do minimalizacji kwadratów reszt.

Gdyby szum $ \ varepsilon $ był rozkładem Laplace'a, bardziej odpowiednia byłaby wartość bezwzględna reszt. Ale ze względu na centralne twierdzenie graniczne, szum Gaussa jest znacznie bardziej powszechny.

Dobre odpowiedzi, ale może mogę dać bardziej intuicyjną odpowiedź. Załóżmy, że dopasowujesz model liniowy, reprezentowany tutaj przez linię prostą sparametryzowaną przez nachylenie i punkt przecięcia.

Każda reszta jest sprężyną między każdy punkt danych i linię, i próbuje przyciągnąć linię do siebie.
Rozsądną rzeczą do zrobienia jest znalezienie nachylenia i punktu przecięcia, które minimalizują energię systemu. Energia każdej sprężyny (tj. Szczątkowa) jest proporcjonalna do kwadratu jej długości, więc system minimalizuje sumę kwadratów reszt, czyli minimalizuje sumę energii w sprężynach.

Oprócz punktów przedstawionych przez Petera Floma i Lucasa, powodem minimalizowania sumy kwadratów reszt jest Twierdzenie Gaussa-Markowa. To mówi, że jeśli założenia klasycznej regresji liniowej są spełnione, to zwykły estymator najmniejszych kwadratów jest bardziej wydajny niż jakikolwiek inny liniowy estymator nieobciążony. „Bardziej wydajne” oznacza, że ​​wariancje oszacowanych współczynników są niższe; innymi słowy, oszacowane współczynniki są dokładniejsze. Twierdzenie jest prawdziwe, nawet jeśli reszty nie mają rozkładu normalnego lub Gaussa.

Jednak twierdzenie to nie ma zastosowania do konkretnego porównania między minimalizacją sumy wartości bezwzględnych a minimalizacją sumy kwadratów od poprzedniego nie jest estymatorem liniowym . Zobacz tę tabelę porównującą ich właściwości, pokazującą zalety metody najmniejszych kwadratów jako stabilność w odpowiedzi na niewielkie zmiany w danych i zawsze mając jedno rozwiązanie.

To jest bardziej odpowiedź na komentarz @ PeterFlom dotyczący mojego komentarza, ale jest zbyt duży, aby zmieścić się w komentarzu (i odnosi się do pierwotnego pytania).

Oto kod R do pokazania przypadek, w którym istnieje wiele wierszy, z których wszystkie podają te same minimalne wartości MAD / SAD.

Pierwsza część przykładu to wyraźnie wymyślone dane do zademonstrowania, ale koniec zawiera więcej losowego elementu, aby to wykazać ogólna koncepcja będzie nadal obowiązywać w bardziej realistycznych przypadkach.

  x <- rep (1:10, each = 2) y <- x / 10 + 0: 1plot (x, y) sad <- function (x, y, coef) {# mad is sad / n yhat <- coef [1] + coef [2] * x reszta <- y - yhat sum (abs (RES))} biblioteka (quantreg) fit0 <- rq (y ~ x) abline (fit0) fit1 <- lm (y ~ x, podzbiór = c (1,20)) fit2 <- lm (y ~ x, podzbiór = c (2,19)) fit3 <- lm (y ~ x, podzbiór = c (2,20)) fit4 <- lm (y ~ x, podzbiór = c (1,19)) fit5.coef <- c (0,5, 1/10) abline ( fit1) ablin e (fit2) abline (fit3) abline (fit4) abline (fit5.coef) for (i in seq (-0,5, 0,5, by = 0,1)) {abline (fit5.coef + c (i, 0))} tmp1 <- seq (coef (fit1) [1], coef (fit2) [1], len = 10) tmp2 <- seq (coef (fit1) [2], coef (fit2) [2], len = 10) dla (i in seq_along (tmp1)) {abline (tmp1 [i], tmp2 [i])} sad (x, y, coef (fit0)) sad (x, y, coef (fit1)) sad (x, y, coef (fit2)) sad (x, y, coef (fit3)) sad (x, y, coef (fit4)) sad (x, y, fit5.coef) for (i in seq (-0,5, 0,5, by = 0.1)) {print (sad (x, y, fit5.coef + c (i, 0)))} for (i in seq_along (tmp1)) {print (sad (x, y, c (tmp1 [i], tmp2 [i])))} set.seed (1) y2 <- y + rnorm (20,0,0.25) plot (x, y2) fitnew <- rq (y2 ~ x) # zwróć uwagę na wciąż nieunikalną linię ostrzegawczą (fitnew) abline (coef (fitnew) + c (.1,0)) abline (coef (fitnew) + c (0, 0,01)) sad (x, y2, coef (fitnew)) sad (x, y2, coef (fitnew) + c (.1,0)) sad (x, y2, coef (fitnew) + c (0,0.01))