Mam zestaw ponad 500 obserwacji (ponad 200 wymiarów wektora cech) składający się z 7 klas i chcę poprawić mój współczynnik klasyfikacji (z SVM lub KNN).
Aby zmniejszyć wymiar i przekształcić macierz cech do niższego wymiaru (z powodu przekleństwa wymiarowości), używam LDA. Mapuje moje dane wysokowymiarowe do niższych 6 wymiarów. Jednak zastosowanie krzyżowo walidowanej LDA nie pomaga i dramatycznie pogarsza wyniki.
Kiedy nawet używam leave out (LOOCV) do obliczenia macierzy projekcji LDA, oblicza się ją, obejmując tylko jedną obserwację. Moje pytanie brzmi: dlaczego nawet w tym przypadku macierz projekcji ($ W $) jest tak nadmiernie dopasowana i wrażliwa na walidację krzyżową? Intuicyjnie podałem tylko jedną próbkę, ale wydaje się, że macierz projekcji nie może poprawnie odwzorować wstrzymanej obserwacji.
Interesują mnie dwie części:
- Matematyka stojąca za takim eksperymentem.
- Rozważania lub rozwiązania dotyczące lepszej weryfikacji funkcji w ramach weryfikacji krzyżowej zamiast LDA.
Aktualizacja
- w oparciu o @Andrew M, pierwsza odpowiedź, mam różną liczbę obserwacji na klasę. Na przykład jedna klasa ma przykładowe 120 obserwacji, a druga tylko 40.