Musisz myśleć o tym geometrycznie w kategoriach wektorów i odległości między nimi!
Aby zrozumieć ideę, zapoznaj się z następnym slajdem: 
W tym przykładzie masz dwa wektory cech $ \ mathbf {x} _1 $ i $ \ mathbf {x} _2 $ (więc $ p = 2 $). Te wektory są w przestrzeni 3D (więc $ N = 3 $).
Wektor $ \ mathbf {y} $ jest wektorem w tej przestrzeni 3D i jest podany!
celem jest znalezienie kombinacji liniowej $ \ hat {\ mathbf {y}} $ (tj. znalezienie współczynników $ \ beta_j $, odniesienie do poprzednich slajdów) $ \ mathbf {x} _1 $ i $ \ mathbf {x} _2 $, która pozwala zbliżyć się tak blisko, jak to możliwe do $ \ mathbf {y} $.
Wróć do przykładu, ponieważ masz tylko 2 wektory cech $ \ mathbf {x } _1 $ i $ \ mathbf {x} _2 $, wszystkie ich możliwe kombinacje liniowe (z których wybierzemy taką, która stanie się $ \ hat {\ mathbf {y}} $) utworzą samolot. Nazywamy to rozpiętością dwóch wektorów. Oznacza to, że $ \ hat {\ mathbf {y}} $ może mieszkać tylko w tym samolocie.
Trikiem, który należy teraz zrozumieć, jest myślenie o $ \ hat {\ mathbf {y}} $ i $ \ mathbf {y} $ jako wektory geometryczne nie tylko wektory algebraiczne .
Zwróćmy uwagę na $ \ mathbf {e} = \ mathbf {y} - \ hat {\ mathbf {y}} $ co jest równoznaczne z zapisaniem $ \ mathbf {y} = \ hat {\ mathbf {y}} + \ mathbf {e} $, co geometrycznie oznacza, że otrzymamy $ \ mathbf {y} $ musisz dodać $ \ mathbf {e} $ do $ \ hat {\ mathbf {y}} $, a $ \ mathbf {e} $ oznacza to, co oddziela $ \ hat {\ mathbf {y}} $ od $ \ mathbf {y} $. Jego moduł reprezentuje odległość między dwoma wektorami $ \ hat {\ mathbf {y}} $ i $ \ mathbf {y} $. Cierpliwości, prawie na miejscu ... :-)
Celem jest zminimalizowanie tej odległości. Jeśli odniesiesz się do powyższego rysunku i wyobrazisz sobie poruszanie się wokół twojego wektora $ \ hat {\ mathbf {y}} $ wewnątrz podprzestrzeni rozpiętej przez $ \ mathbf {x} _1 $ i $ \ mathbf {x} _2 $ (tj. ) (musisz też sobie wyobrazić, że $ \ mathbf {e} $ porusza się wraz z nim idąc od głowy wektora $ \ hat {\ mathbf {y}} $ do głowy wektora $ \ mathbf {y} $), w takim razie, jak myślisz, gdzie odległość będzie minimalna?
Dzieje się tak, gdy $ \ hat {\ mathbf {y}} $ jest tuż poniżej $ \ mathbf {y} $ tak, że $ \ mathbf {e} $ staje się prostopadłe do podprzestrzeni.
Wniosek :
Minimalizacja odległości (technicznie kwadratowej) między $ \ hat {\ mathbf {y}} $ a $ \ mathbf {y} $ jest równoznaczna z posiadaniem wektorareprezentujące tę odległość prostopadłą do podprzestrzeni rozpiętej przez wektory cech!