$ p (D) $ jest stałą w odniesieniu do zmiennej $ \ theta $ span> , nie w odniesieniu do zmiennej $ D $ .

Pomyśl o $ D $ jako o danych podanych w problemie, a $ \ theta $ jako parametr, który ma być oszacowany na podstawie danych. W tym przykładzie $ \ theta $ jest zmienną, ponieważ nie znamy wartości parametru do oszacowania, ale dane $ D $ jest naprawione. $ p (D) $ podaje względne prawdopodobieństwo zaobserwowania stałych danych $ D $ , które obserwujemy, która jest stała, gdy $ D $ jest stała i nie zależy w żaden sposób od możliwych wartości parametrów $ \ theta $ .

Addendum: Wizualizacja z pewnością byłaby pomocna. Sformułujmy prosty model: załóżmy, że nasz poprzedni rozkład jest rozkładem normalnym ze średnią 0 i wariancją 1, tj. $ p (\ theta) = N (0, 1) (\ theta) $ . Załóżmy, że zaobserwujemy jeden punkt danych $ D $ , gdzie $ D $ to narysowany z rozkładu normalnego ze średnią $ \ theta $ i wariancją 1, tj. $ p (D | \ theta) = N (\ theta, 1) (D) $ . Poniżej wykreślono nieznormalizowany rozkład późniejszy $ p (D | \ theta) p (\ theta) $ , który jest proporcjonalny do znormalizowanej późniejszej $ p (\ theta | D) = \ frac {p (D | \ theta) p (\ theta)} {p (D)} $ .

Dla dowolnej wartości $ D $ , spójrz na wycinek tego wykresu (pokazałem dwa na czerwono i niebiesko).Tutaj $ p (D) = \ int p (D | \ theta) p (\ theta) d \ theta $ można wizualizować jako obszar pod każdym wycinkiem, któryWykreśliłem też z boku na zielono.Ponieważ niebieski wycinek ma większy obszar niż czerwony, ma wyższą wartość $ p (D) $ .Ale możesz wyraźnie zobaczyć, że nie mogą to być obecnie prawidłowe rozkłady, jeśli mają różne obszary pod sobą, ponieważ ten obszar nie może wynosić 1 dla nich obu.Dlatego każdy wycinek musi zostać znormalizowany, dzieląc go przez jego wartość $ p (D) $ , aby uzyskać właściwą dystrybucję.

Stała normalizująca w części tylnej jest marginalną gęstością próbki w modelu bayesowskim.

Pisząc późniejszą gęstość jako $$ p (\ theta | D) = \ frac {\ overbrace {p (D | \ theta)} ^ \ text {likelihood} \ overbrace {p (\ theta)} ^ \ text {prior}} {\ underbrace {\ int p (D | \ theta) p (\ theta) \, \ text {d} \ theta} _ \ text {marginal}} $$ [który niestety używa tego samego symbolu $ p (\ cdot) $ i ma różne znaczenia], ta gęstość jest uzależniona od $ D $ z $$ \ int p (D | \ theta) p (\ theta) \, \ text {d} \ theta = \ mathfrak e (D) $$ będąca gęstością graniczną próbki $ D $ . Oczywiście pod warunkiem realizacji $ D $ , $ \ mathfrak e (D) $ jest stała, podczas gdy $ D $ jest różne, podobnie jak $ \ mathfrak e (D) $ . W kategoriach probabilistycznych $$ p (\ theta | D) \ mathfrak e (D) = p (D | \ theta) p (\ theta) $$ to łączna gęstość dystrybucji (losowej) pary $ (\ theta, D) $ w modelu bayesowskim [gdzie oba $ D $ i $ \ theta $ to zmienne losowe].

Statystyczne znaczenie $ \ mathfrak e (D) $ jest jednym z „dowodów” (lub „wcześniejszych prognoz” lub „marginalnych prawdopodobieństw”) dotyczących zakładany model $ p (D | \ theta) $ . Jak ładnie wskazał Ilmari Karonen, jest to gęstość próbki przed jej obserwacją i jedyna informacja o parametrze $ \ theta $ dostarczona przez poprzednią dystrybucję . Oznacza to, że próbka $ D $ jest uzyskiwana poprzez najpierw wygenerowanie wartości parametru $ \ theta $ z wcześniej, a następnie wygenerowanie próbki $ D $ w zależności od realizacji $ \ theta $ .

Biorąc średnią $ p (D | \ theta) $ z wartości $ \ theta $ span>, ważony poprzednim $ p (\ theta) $ , daje wartość liczbową, która może być użyta do porównania tego modelu [w statystycznym sensie rodziny sparametryzowanych rozkładów z nieznanym parametrem] z innymi modelami, tj. innymi rodzinami sparametryzowanych rozkładów z nieznanym parametrem. Współczynnik Bayesa to stosunek takich dowodów.

Na przykład, jeśli $ D $ składa się z jednej uwagi, powiedz $ x = 2.13 $ span >, a jeśli ktoś chce porównać Model 1, model normalny (dystrybucyjny), $ X \ sim \ mathcal N (\ theta, 1) $ , z $ \ theta $ nieznany, w Modelu 2, model wykładniczy (rozkład), $ X \ sim \ mathcal E (\ lambda) $ , przy nieznanym $ \ lambda $ , współczynnik Bayesa wyprowadzi oba dowody $$ \ mathfrak e_1 (x) = \ int _ {- \ infty} ^ {+ \ infty} \ frac {\ exp \ {- (x- \ theta) ^ 2/2\}} {\ sqrt {2 \ pi}} \ text {d} \ pi_1 (\ theta) $$ i $$ \ mathfrak e_2 (x) = \ int_ {0} ^ {+ \ infty} \ lambda \ exp \ {- x \ lambda \} \ text {d} \ pi_2(\ lambda) $$ Aby skonstruować takie dowody, należy ustawić oba priorytety $ \ pi_1 (\ cdot) $ i $ \ pi_2 (\ cdot)$ .Dla przykładu, powiedzmy $$ \ pi_1 (\ theta) = \ frac {\ exp \ {- \ theta ^ 2/2 \}} {\ sqrt {2 \ pi}} \ quad \ text {i} \ quad \ pi_2 (\ lambda) = e ^ {- \ lambda} $$ Następnie $$ \ mathfrak e_1 (x) = \ frac {\ exp \ {- (x- \ theta) ^ 2/4 \}} {\ sqrt {4 \ pi}} \quad \ text {and} \ quad \ mathfrak e_2 (x) = \ frac {1} {1 + x} $$ prowadzący $$ \ mathfrak e_1 (2.13) = 0,091 \ quad \ text {and} \ quad \ mathfrak e_2 (x) = 0,32 $$ co daje pewną przewagę Modelowi 2, wykładniczemu modelowi dystrybucji.

Myślę, że najłatwiejszym sposobem zorientowania się, co się dzieje, jest przemyślenie, jak można przybliżyć całkę.

Mamy $ p (\ mathcal {D}) = \ int p (\ mathcal {D} | \ theta) p (\ theta) \ rm d \ theta $ span>.

Zauważ, że jest to tylko średnia prawdopodobieństwa (pierwszy człon w całce) z poprzedniej dystrybucji.

Jeden sposób na obliczenie tej całki w przybliżeniu: próbka z poprzedniej, ocena prawdopodobieństwa, powtarzanie tego wiele razy i uśrednianie wyników.

Ponieważ zarówno poprzedni, jak i zbiór danych są stałe, wynik tej procedury nie zależy od wartości $ \ theta $ . $ p (\ mathcal {D}) $ to tylko oczekiwane prawdopodobieństwo w porównaniu z poprzednim.

Dlaczego stała normalizacji w modelu bayesowskim nie jest rozkładem marginalnym?

Stała normalizacji jest rozkładem marginalnym.

„W jaki sposób $ z $ jest oceniany jako stała, gdy obliczanie całki staje się rozkładem krańcowym $ p (D ) $ ”

Całka rzeczywiście zapewnia gęstość prawdopodobieństwa obserwacji ( $ D $ może mieć dowolną wartość). Tak więc $ z $ lub lepiej $ z (D) $ jest funkcją $ D $ .

Ale kiedy oceniasz $ z (D) $ dla określonej obserwacji $ D $ , wtedy wartość jest stałą (pojedynczą liczbą, a nie rozkładem).

$$ p (\ theta | D) = \ frac {p (D | \ theta) p (\ theta)} {\ int p (D | \ theta) p (\ theta) d \ theta} = \ frac {p (D | \ theta) p (\ theta)} {p (D)} $$

Zwróć uwagę, że późniejsza $ p (\ theta | D) $ jest funkcją $ D $ span >. Dla innego $ D $ otrzymasz inny wynik.