Wspomniałeś w komentarzach, że obliczasz AUC przy użyciu podziału 75–25 testów pociągów i zastanawiasz się, dlaczego AUC jest maksymalizowane podczas trenowania modelu tylko na 8 z 30 regresorów. Z tego odniosłeś wrażenie, że AUC w jakiś sposób penalizuje złożoność w twoim modelu.
W rzeczywistości jest coś penalizującego złożoność w twoim modelu, ale nie jest to metryka AUC. To jest podział pociąg-test. Podział pociąg-test umożliwia użycie praktycznie dowolnej metryki, nawet AUC, do wyboru modelu, nawet jeśli nie mają nieodłączna kara za złożoność modelu.
Jak zapewne wiesz, nie mierzymy wydajności na tych samych danych, na których trenujemy nasze modele, ponieważ współczynnik błędów danych treningowych jest generalnie zbyt optymistyczną miarą wydajności w praktyce (patrz sekcja 7.4 książki ESL). Ale to nie jest najważniejszy powód, aby używać podziałów pociąg-test. Najważniejszym powodem jest uniknięcie nadmiernego dopasowania do nadmiernie złożonych modeli.
Biorąc pod uwagę dwa modele A i B takie, że B „zawiera A” (zestaw parametrów B zawiera parametr A), błąd uczenia jest matematycznie gwarantowany na korzyść modelu B, jeśli dopasowujesz się, optymalizując jakieś kryterium dopasowania i mierząc błąd według tego samego kryterium. Dzieje się tak, ponieważ B może dopasować dane na wszystkie możliwe sposoby, a także dodatkowe sposoby, które mogą powodować mniejszy błąd niż najlepsze dopasowanie A. Właśnie dlatego spodziewałeś się zobaczyć mniejszy błąd po dodaniu większej liczby predyktorów do modelu.
Jednak dzieląc dane na dwa rozsądnie niezależne zbiory do trenowania i testowania, możesz ustrzec się przed tą pułapką. Agresywne dopasowanie danych treningowych z wieloma predyktorami i parametrami niekoniecznie poprawia dopasowanie danych testowych. W rzeczywistości, bez względu na model lub kryterium dopasowania, możemy ogólnie oczekiwać, że model, który przekroczył dane uczące, nie będzie dobrze działał na niezależnym zestawie danych testowych, których nigdy nie widział. Wraz ze wzrostem złożoności modelu do obszaru nadmiernego dopasowania, wydajność zestawu testowego będzie się generalnie pogarszać, gdy model będzie wychwytywał coraz bardziej fałszywe wzorce danych szkoleniowych, oddalając swoje przewidywania coraz bardziej od rzeczywistych trendów w systemie, który próbuje przewidzieć. Zobacz na przykład slajd 4 w tej prezentacji oraz sekcje 7.10 i 7.12 ESL.
Jeśli nadal potrzebujesz przekonywania, prosty eksperyment myślowy może pomóc. Wyobraź sobie, że masz zbiór danych zawierający 100 punktów z prostym trendem liniowym i szumem gaussowskim i chcesz dopasować model wielomianowy do tych danych. Teraz powiedzmy, że dzielisz dane na zbiory uczące i testowe o rozmiarze 50 każdy i dopasowujesz wielomian stopnia 50 do danych uczących. Ten wielomian będzie interpolował dane i dawał zerowy błąd zestawu treningowego, ale będzie wykazywał dzikie zachowanie oscylacyjne, przenosząc go daleko, daleko od prostej liniowej linii trendu. Spowoduje to niezwykle duże błędy w zbiorze testowym, znacznie większe niż w przypadku prostego modelu liniowego. Tak więc model liniowy będzie faworyzowany przez błąd CV. Stanie się tak również, jeśli porównasz model liniowy z bardziej stabilnym modelem, takim jak splajny wygładzające, chociaż efekt będzie mniej dramatyczny.
Podsumowując, używając technik dzielenia testów pociągów, takich jak CV, i mierząc wydajność na danych testowych, otrzymujemy niejawną karę za złożoność modelu, bez względu na to, jakiej metryki używamy, tylko dlatego, że model musi przewidywać dane nie widział. Z tego powodu dzielenie testów na pociąg jest powszechnie stosowane w nowoczesnym podejściu do oceny wyników w regresji i klasyfikacji.