Wygląda na to, że rozmiar próbki nie jest dużo większy niż wymiarowość danych (rozmiar zestawu funkcji). To może być problem dla LDA i może być przesadzone. Ponieważ opiera się na obliczaniu wewnątrzklasowej macierzy rozproszenia, która wymaga scenariusza N >> p (# próbek >> # funkcji).

Jednym z szybkich sposobów sprawdzenia, czy osiągasz nadmierne dopasowanie do LDA, jest przyjrzenie się prognozom. W wyniku LDA masz wektory projekcji C-1. Próbowałbym rzutować dane na te wektory jeden po drugim i wizualizować je. Jeśli LDA rzeczywiście jest nadmiernie wyposażony - zobaczysz, że klasy rozdzielają się prawie idealnie i są skupione wokół oddzielnych punktów na rzutowanej osi. (W przypadku p> N wszystkie próbki byłyby rzutowane na różne punkty C z idealnie oddzielonymi klasami).

Efekt ten został nazwany „gromadzeniem danych” przez J. S. Marrona w jego artykule Distance Weighted Discrimination . Aby dowiedzieć się, jak to może wyglądać, sprawdź dane zawarte w tym artykule.

Zakładając, że tak się stanie, zrobiłbym jedną z następujących rzeczy:

1) Użyj uregulowanej wersji LDA. Najprostszym pomysłem jest prawdopodobnie po prostu dodanie jakiejś stałej do przekątnej wewnątrzklasowej macierzy rozproszenia w celu zwiększenia wariancji we wszystkich kierunkach. Ale jest wiele różnych sposobów uregulowania LDA.

2) Użyj innej metody redukcji wymiarowości, która jest dostosowana do twojego scenariusza małej wielkości próby. Dobrym wyborem może być tutaj dyskryminacja ważona na odległość (DWD).

3) Pobierz więcej próbek (zawsze zalecane)

[1] Dyskryminacja ważona odległością . J. S. Marron, Michael J. Todd i Jeongyoun Ahn. Journal of the American Statistical Association, tom. 102, nr 480 (grudzień 2007), str. 1267-1271

Kiedy nawet używam pominięcia jednego (LOOCV) do obliczenia macierzy projekcji LDA, jest ona obliczana przez uwzględnienie tylko jednej obserwacji. Moje pytanie brzmi: dlaczego nawet w tym przypadku macierz projekcji ($ W $) jest tak nadmiernie dopasowana i wrażliwa na walidację krzyżową? Intuicyjnie przedstawiłem tylko jedną próbkę, ale wydaje się, że macierz projekcji nie może poprawnie odwzorować wstrzymanej obserwacji.

Cóż, walidacja krzyżowa prawdopodobnie robi to, co powinna: przy prawie tych samych danych szkoleniowych mierzona jest wydajność. Zauważasz, że modele są niestabilne (co jest jednym z symptomów nadmiernego dopasowania). biorąc pod uwagę sytuację z danymi, wydaje mi się całkowicie prawdopodobne, że pełny model równie źle pasuje.

Walidacja krzyżowa sama w sobie nie chroni przed nadmiernym dopasowaniem (ani nie poprawia sytuacji) - po prostu informuje Cię, że jesteś nadmiernie dopasowany i od Ciebie zależy, czy zrobisz coś przeciwko temu.

Pamiętaj, że zalecana liczba przypadków szkoleniowych, w których możesz być dość pewny, że masz stabilne dopasowanie dla (nieregularnych) klasyfikatorów liniowych, takich jak LDA, wynosi n> 3 do 5 p w każdej klasie . W twoim przypadku byłoby to, powiedzmy, 200 * 7 * 5 = 7000 przypadków, więc przy 500 przypadkach jesteś więcej niż o rząd wielkości poniżej tego zalecenia.

Sugestie:

• Patrząc na LDA jako metodę projekcji, możesz również sprawdzić PLS (częściowe najmniejsze kwadraty). Jest to związane z LDA ( Barker & Rayens: Partial najmniejszych kwadratów dla dyskryminacji J Chemom, 2003, 17, 166-173). W przeciwieństwie do PCA, PLS bierze pod uwagę zmienną zależną do swojej projekcji. Ale w przeciwieństwie do LDA (i podobnie jak PCA) oferuje bezpośrednio regularyzację.

• W sytuacjach o małej wielkości próby, gdzie n jest niewiele większe od p, wiele problemów można rozwiązać za pomocą klasyfikacji liniowej. Poleciłbym sprawdzić, czy nieliniowy 2. stopień w Twojej klasyfikacji jest naprawdę potrzebny.

• Niestabilne modele można poprawić, przełączając się na model zagregowany (zespolony). Chociaż najbardziej znaną odmianą jest pakowanie w worki, można również zagregować krzyżową walidację LDA (np. Beleites, C. & Salzer, R .: Ocena i poprawa stabilności modeli chemometrycznych w przypadku małych próbek) Anal Bioanal Chem, 2008, 390 , 1261-1271.
  DOI: 10.1007 / s00216-007-1818-6 )

• Ze względu na łączenie macierzy kowariancji spodziewałbym się, że nierównomierny rozkład przypadków w różnych klasach będzie mniej trudny dla LDA w porównaniu z wieloma innymi klasyfikatorami, takimi jak SVM. Oczywiście odbywa się to kosztem tego, że wspólna macierz kowariancji może nie być dobrym opisem danych. Jednakże, jeśli twoje klasy są bardzo nierówne (lub nawet masz raczej źle zdefiniowane klasy negatywne, takie jak „coś poszło nie tak z procesem”), możesz chcieć przyjrzeć się klasyfikatorom jednoklasowym. Zwykle potrzebują więcej przypadków szkoleniowych niż klasyfikatorów dyskryminacyjnych, ale mają tę zaletę, że rozpoznawanie klas, w których masz wystarczającą liczbę przypadków, nie będzie zagrożone przez klasy z tylko kilkoma instancjami szkoleniowymi, a te źle zdefiniowane klasy można opisać tak, jak należy do żadnej z dobrze zdefiniowanych klas.

LDA jest optymalna, gdy rozkład cech uwarunkowany etykietami jest Gaussa z równymi, ale nieustrukturyzowanymi macierzami kowariancji.Jeśli warunkowy model Gaussa nie mieści się w przybliżeniu, możesz nie chcieć używać LDA.Wyniki sugerowane przez LOO-CV

1. Warunkowy model Gaussa jest słabo dopasowany i / lub
2. Nie masz wystarczającej liczby obserwacji, aby precyzyjnie oszacować wewnątrzklasową macierz kowariancji.