Argument jest prosty: kiedy budujesz model, chcesz, aby ten model działał efektywnie na NOWYCH, NIEWIDZIALNYCH danych, prawda? W przeciwnym razie nie potrzebujesz modelu.

Następnie metryka oceny, powiedzmy precyzja i pamięć, musi dać wyobrażenie o tym, jak dobrze model zachowa się w przypadku niewidocznych danych.

Teraz, jeśli oceniasz te same dane, których użyłeś do treningu, Twoja precyzja i pamięć będą obciążone (prawie na pewno wyższe niż powinny), ponieważ Twój model już widział dane.

Załóżmy, że jesteś nauczycielem przygotowującym egzamin dla niektórych uczniów. Jeśli chcesz ocenić ich umiejętności, czy dasz im ćwiczenia, które już widzieli i które wciąż mają na swoich biurkach, czy też nowe ćwiczenia, inspirowane tym, czego się nauczyli, ale różniące się od nich?

Dlatego zawsze musisz zachować całkowicie niewidoczny zestaw testów do oceny. (Możesz także użyć weryfikacji krzyżowej, ale to inna historia).

@jpl dobrze objaśnił te pomysły. Jeśli chcesz, to tylko odniesienie, użyłbym solidnego, podstawowego podręcznika. Niektóre dobrze znane książki, które omawiają ideę walidacji krzyżowej i dlaczego są ważne, mogą być następujące:

• Harrell, F. (2010). Strategie modelowania regresji: z zastosowaniami do modeli liniowych, regresji logistycznej i analizy przeżycia . Springer.

• Hastie, T., Tibshirani, R., & Friedman, J. (2011). Elementy uczenia się statystycznego: eksploracja danych, wnioskowanie i przewidywanie . Springer.

  i / lub

• James, G., Witten, T., Hastie, T., & Tibshirani, R. (2013). Wprowadzenie do statystycznego uczenia się: z aplikacjami w języku R . Springer.

Jeśli przeprowadzasz walidację na całym zbiorze uczącym, idealnym modelem jest ten, który po prostu zapamiętuje dane. Nic nie może tego przebić.

Mówisz, że „realistycznie nie jest to model, który po prostu zapamiętuje dane”. Ale dlaczego wolisz inne modele? To jest sedno mojej redukcji do absurdu walidacji na wszystkich danych: głównym powodem, dla którego nie podoba ci się model, który zapamiętuje wszystko, co widział, jest to, że w ogóle nie uogólnia. Co powinien zrobić, biorąc pod uwagę dane wejściowe, których nie widziało? Więc chcesz modelu, który działa ogólnie, a nie takiego, który działa tylko na tym, co widział. Sposób, w jaki kodujesz pragnienie dobrej pracy z niewidocznymi danymi, polega na ustawieniu danych walidacyjnych tak, aby były dokładnie tymi niewidocznymi danymi.

Jeśli jednak wiesz, że Twoje przykłady treningowe całkowicie reprezentują prawdziwy rozkład, przejdź do naprzód i potwierdź ich użycie!

Ponadto, wbrew twierdzeniom zawartym w Twoim ostatnim akapicie, cytat, który przytoczyłeś, jest nie „po prostu błędny” i że „konkretna strategia oceny” czy ma do czynienia z „nadmiernym dopasowaniem modeli”. Nadmierne dopasowanie oznacza dopasowanie (szum) dostarczonych przykładów treningowych, a nie zależności statystyczne między danymi ogólnymi. Sprawdzając na podstawie danych widocznych, będziesz preferować modele, które pasują do szumu, zamiast tych, które działają dobrze przy użyciu niewidocznych danych.

Oto moje proste wyjaśnienie.

Kiedy modelujemy rzeczywistość, chcemy, aby nasze modele były w stanie nie tylko wyjaśniać istniejące fakty, ale także przewidywać nowe. Tak więc testowanie poza próbką ma naśladować ten cel. Szacujemy (trenujemy) model na podstawie pewnych danych (zbioru uczącego), a następnie próbujemy przewidywać poza zestawem uczącym i porównujemy prognozy z próbą wstrzymania.

Oczywiście jest to tylko ćwiczenie z prognozowania, a nie prawdziwa prognoza, ponieważ próba wstrzymania była już faktycznie obserwowana. Prawdziwy test w przewidywaniu ma miejsce tylko wtedy, gdy używasz modelu na danych, których jeszcze nie zaobserwowano. Na przykład opracowałeś program do uczenia maszynowego do celów reklamowych. Dopiero gdy zaczniesz go używać w praktyce i obserwujesz jego działanie, będziesz wiedział na pewno, czy działa, czy nie.

Jednak pomimo ograniczeń związanych z treningiem / wstrzymaniem, nadal jest to pouczające. Jeśli Twój model działa tylko w próbce, prawdopodobnie nie jest to dobry model. Tak więc tego rodzaju testowanie pomaga wyeliminować złe modele.

Kolejna rzecz do zapamiętania: powiedzmy, że przeprowadziłeś walidację modelu podczas szkolenia / wstrzymania. Jeśli jednak chcesz użyć modelu, prawdopodobnie oszacujesz model na całym zbiorze danych. W takim przypadku, jak odpowiednie są wyniki walidacji poza próbą modelu, który został oszacowany na próbie uczącej?

Inni odpowiedzieli na twoje wcześniejsze akapity, więc pozwól mi zająć się twoim ostatnim. Trafność twojego punktu zależy od interpretacji „oceny”. Jeśli jest używany w sensie ostatecznego uruchomienia na niewidocznych danych, aby dać wyobrażenie o tym, jak dobrze wybrany model może działać w przyszłości, twój punkt widzenia jest słuszny.

Jeśli używasz „oceny” bardziej w sensie tego, co nazwałbym zestawem „testowym” - to znaczy w celu oceny wyników uczenia wielu modeli w celu wybrania jednego - wtedy ocena danych uczących doprowadzi do nadmiernego dopasowania.

Wszystkie inne odpowiedzi (szczególnie związane z nadmiernym dopasowaniem) są bardzo dobre, ale dodałbym tylko jedną rzecz. Sama natura algorytmów uczenia się polega na tym, że szkolenie ich gwarantuje, że nauczą się „czegoś” wspólnego z danymi, na które są narażeni. Jednak nie możemy być bezpośrednio pewni, jakie dokładnie funkcje danych szkoleniowych faktycznie się uczą. Na przykład, w przypadku rozpoznawania obrazu bardzo trudno jest być pewnym, czy wyszkolona sieć neuronowa nauczyła się, jak wygląda twarz, lub czegoś innego, co jest nieodłączne w obrazach. Sieć SSN mogłaby po prostu zapamiętać, na przykład, jak wyglądają koszule, ramiona lub włosy.

To powiedziawszy, użycie oddzielnego zestawu danych testowych (niewidocznych podczas treningu) jest jednym ze sposobów zwiększenia pewności, że mieć model, na którym można liczyć, że będzie działał zgodnie z oczekiwaniami na rzeczywistych / niewidocznych danych. Pomocne jest również zwiększenie liczby próbek i zmienność cech. Przez zmienność cech rozumie się to, że chcesz trenować z danymi, które mają jak najwięcej odmian, które nadal liczą się w każdej próbce.

Na przykład, ponownie z danymi twarzy, chcesz pokazać każdą twarz na tak wielu różnych tłach, jak to tylko możliwe, z jak największą liczbą odmian odzieży, oświetlenia, koloru włosów, ujęć kamery itp. Pomoże to upewnić się, że kiedy SSN powie „twarz”, będzie to naprawdę twarz, a nie pusta ściana w tle, która wyzwoli odpowiedź.

Hastie i in. mają dobry przykład w kontekście walidacji krzyżowej, który moim zdaniem ma również zastosowanie tutaj. Rozważ przewidywanie z niezwykle dużą liczbą predyktorów na danych, w przypadku których wszystkie predyktory i wyniki są rozmieszczone niezależnie. Dla celów argumentacji załóżmy, że wszystko jest Bernoullim z p = 0,5.

Jeśli masz wystarczająco dużo zmiennych, będziesz mieć kilka predyktorów, które pozwolą Ci doskonale przewidzieć wyniki. Ale w przypadku nowych danych nie ma sposobu, aby uzyskać idealną dokładność.

To nie jest dokładnie to samo, co w przypadku, ale pokazuje przykład, w którym metoda może naprawdę wprowadzić Cię na manowce .