Tak, jest.Ogólnie jest to określane jako base rate Fallacy lub bardziej konkretny false positive paradox.Jest nawet artykuł na ten temat w Wikipedii: patrz tutaj

Niestety nie mam nazwy dla tego błędu. Kiedy muszę to wyjaśnić, uznałem za przydatne odwołanie się do chorób, które są powszechnie znane wśród laików, ale są absurdalnie rzadkie. Mieszkam w Niemczech i chociaż wszyscy czytali o dżumie w swoich książkach historycznych, wszyscy wiedzą, że jako niemiecki lekarz nigdy nie zdiagnozuję prawdziwego przypadku dżumy ani nie zajmę się ugryzieniem rekina.

Kiedy powiesz ludziom, że istnieje test na ukąszenia rekina, który jest pozytywny u jednej ze stu zdrowych osób, wszyscy zgodzą się, że ten test nie ma sensu, bez względu na to, jak dobrze jest pozytywna wartość predykcyjna.

W zależności od tego, gdzie na świecie się znajdujesz i kim są Twoi odbiorcy, możliwymi przykładami mogą być dżuma, choroba szalonych krów (BSE), progeria, porażenie piorunem. Istnieje wiele znanych zagrożeń, z których ludzie zdają sobie sprawę, że ich ryzyko jest znacznie mniejsze niż 1%.

Edycja / dodawanie: jak dotąd przyciągnęło to 3 głosy przeciw i żadnych komentarzy. Obrona przed najbardziej prawdopodobnym zarzutem: oryginalny plakat napisał

Jeśli ktoś ma dobrą, zwięzłą intuicję / przykład bez żargonu, który pomógłby mi wyjaśnić to laikowi

I myślę, że właśnie to zrobiłem. Pan Pi opublikował swoją lepszą odpowiedź później niż ja zamieściłem moje wyjaśnienie dla laika i zagłosowałem za nim, gdy tylko je zobaczyłem.

Błąd podstawowego wskaźnika dotyczy specjalizacji w różnych populacjach, co nie obejmuje szerszego błędnego przekonania, że ​​wysoka dokładność oznacza zarówno niski odsetek wyników fałszywie dodatnich, jak i niski.

W rozwiązywaniu zagadki wysokiej dokładności z wysokim odsetkiem fałszywych trafień nie mogę wyjść poza bardzo powierzchowne, faliste i niedokładne wyjaśnienia bez wprowadzania ludzi w pojęcia precyzji i przypominania.

Mówiąc prościej, można po prostu zapisać dwie wartości zainteresowania zamiast nadmiernie uproszczonego wskaźnika „dokładności”:

1. Jaka część osób ze schorzeniem X wykazała test? To jest współczynnik przypominania. Nieprawidłowe określenia to fałszywie negatywy - osoby, które powinny zostać zdiagnozowane jako chore, ale tak nie jest.
2. Jaka część osób, które według testu mają stan X, faktycznie ma stan X? To jest współczynnik precyzji. Nieprawidłowe określenia tutaj to fałszywe alarmy - ludzie, o których mówiliśmy, mają ten stan, ale nie.

Test diagnostyczny jest przydatny tylko wtedy, gdy dostarcza nowych informacji. Możesz im pokazać, że do diagnozy rzadkich schorzeń (powiedzmy, <1% przypadków), jest trywialnie łatwe skonstruowanie testu, który jest bardzo dokładny (> 99% dokładności!), Jednocześnie mówiąc nam nic, czego jeszcze nie zrobiliśmy wiedzieć, kto go ma, a kto nie: po prostu powiedz wszystkim, że go nie ma. Nieskończona liczba testów ma tę samą dokładność, ale precyzję handluje ich przywołaniem i odwrotnie. Można uzyskać 100% precyzję lub 100% dokładność, nie robiąc nic, ale tylko test rozróżniający zmaksymalizuje oba. W rzeczywistości obliczenia i pokazanie im dokładności i współczynników przypominania mogą ich poinformować i pomóc im w inteligentnym przemyśleniu kompromisów i potrzebie bardziej wnikliwego testu. Łączenie testów, które dostarczają różnych informacji, może prowadzić do dokładniejszej diagnozy, nawet jeśli wynik jednego lub drugiego testu jest sam w sobie niedopuszczalnie niedokładny.

To jest kluczowe: czy test dostarczy nam nowych informacji, czy nie?

Jest jeszcze wymiar niechęci do ryzyka: ile fałszywych trafień warto ponieść, aby znaleźć jeden prawdziwie pozytywny? To znaczy, ile osób jesteś skłonny wprowadzić w błąd, myśląc, że mają coś, czego mogliby nie mieć, aby znaleźć kogoś, kto to ma? Będzie to zależało od niebezpieczeństwa błędnej diagnozy, które zwykle różni się w przypadku fałszywie pozytywnych i fałszywie negatywnych wyników.

Edytuj: Ponadto korzystny byłby test potwierdzający lub testy, które są coraz dokładniejsze, być może odkładane na później, ponieważ są droższe.Diagnozy z tendencją do fałszywie pozytywnych wyników mogą być zatem używane wspólnie w celu skonstruowania sita, które jest opłacalnym dyskryminatorem, eliminującym większość prawdziwych negatywów na wczesnym etapie.Jednak to również wiąże się ze zwiększonym zagrożeniem dla prawdziwych pozytywów: chcesz, aby pacjenci z rakiem otrzymali leczenie tak szybko, jak to możliwe, i aby przeskoczyli przez trzy lub pięć obręczy, z których każda wymaga od dwóch tygodni do miesiąca wcześniejszego planowania, zanim będą mogliuzyskanie dostępu do leczenia może pogorszyć rokowanie o rząd wielkości.Dlatego pomocne jest wspólne branie pod uwagę innych tańszych testów podczas przeprowadzania segregacji na potrzeby obserwacji w celu ustalenia priorytetów tych pacjentów, którzy mają największe prawdopodobieństwo zachorowania na tę chorobę i wykonywania wielu testów jednocześnie, jeśli to możliwe.

Po prostu narysuj proste drzewo decyzyjne, a stanie się to oczywiste.Patrz załączony.Mogę również wysłać bardzo prosty arkusz kalkulacyjny, który dokładnie ilustruje wpływ.

Spóźniony mecz, ale oto kilka rzeczy, o których inni nie wspomnieli

1) Po pierwsze, istnieje statystyka zwana Kappa lub Cohena Kappa, która mierzy, o ile metoda poprawia się w porównaniu z przypadkowym zgadywaniem. W przypadku testu z dwoma wynikami zgadywanie losowe to po prostu odgadywanie klasy większości. Na przykład, jeśli choroba jest przenoszona przez 1% populacji, test, który mówi „nie masz tej choroby” dla wszystkich, daje 99% dokładności. Bezużyteczne, ale w 99% dokładne. Kappa mierzy, o ile test poprawia się w porównaniu z przypadkowym zgadywaniem. Zobacz wikipedię, aby zapoznać się z formułą, ale z grubsza określa, jaki procent poprawy w porównaniu z przypadkowym odgadywaniem obejmuje Twoją metodę. W moim przykładzie test, który był dokładny na poziomie 99,5%, miałby kappa równe 0,5, co stanowi 50% w najlepszym przypadku 1% poprawy.

2) Wszystko to jest również związane z twierdzeniem Bayesa / Bayesa. Załóżmy, że stan występuje rzadko - występuje u 0,01% populacji i że test stanu jest dokładny w 99% (i zawsze go wykrywa). Bayes mówi, że Twoje wcześniejsze prawdopodobieństwo zachorowania wynosi 0,01%. Jednak prawdopodobieństwo wystąpienia choroby przy pozytywnym wyniku testu wynosi tylko (.0001 / .01) = 1%. Formuła to P (War | test = Y) = P (War) / P (test = Y). To jest twierdzenie Bayesa.

3) Wreszcie ten pozorny paradoks sprowadza się, imho, do faktu, że prawdopodobieństwo nie jest intuicyjne. Takie rzeczy mają różne nazwy. Ale przykłady tego zjawiska pod różnymi postaciami nazwano między innymi „Paradoksem prokuratorskim” i „Problemem Monty Hall”. Myślę, że jestem już w tldnr, więc poszukaj ich w Wikipedii, jeśli jeszcze się nie nudziłem.

Jak w przypadku wielu pytań i odpowiedzi, to zależy ...

W przypadku badań przesiewowych w kierunku raka (mammografia, kolonoskopia itp.) i wielu innych badań przesiewowych w kierunku choroby lub stanu, tak jest prawie zawsze. Aby test przesiewowy miał jakąś wartość, musi być wystarczająco „czuły”, aby wykryć stosunkowo rzadkie przypadki (powiedzmy 1% lub czasami znacznie mniej) przesiewanego stanu. Frakcja prawdziwie pozytywna (TPF) jest prawie zawsze mniejsza niż frakcja fałszywie dodatnia (FPF).

Dlatego zawsze przeprowadza się powtórny test (ponowne wykonanie tego samego testu) lub testy uzupełniające (prawdopodobnie droższe, ale o większej „specyficzności”), aby następnie wyeliminować fałszywe trafienia.

Więc w pewnym sensie nazwa, o którą prosisz, to „test przesiewowy”!

Termin „dokładność” ma bardzo szczególne znaczenie techniczne, które niekoniecznie jest powszechnym znaczeniem lub powszechnie rozumianą sytuacją. Większość „zdrowego rozsądku” wiąże się z 50% 50% szansą, że masz raka lub nie.

Ze strony wiki: https://en.wikipedia.org/wiki/Receiver_operating_characteristic

Inaczej mówiąc, test jest dokładny, jeśli większość przypadków daje poprawność. Jaka jest powszechna definicja. Ale jeśli warunek jest rzadki, a test jest „czuły”, może (a właściwie powinien i musi) nadal dawać fałszywie pozytywne wyniki.

Częstość występowania 1%, 1000 testów, 10 prawdziwych trafień, 20 fałszywie pozytywnych

dokładność = (10 + (1000 - 10 - 20)) / 1000 = 98%

Jeszcze innym technicznym sposobem wyrażenia tego jest to, że testy przesiewowe zwykle działają po stronie wysokiej czułości (wysoka fałszywie dodatnia) tak zwana charakterystyka operacyjna odbiornika (ROC). Chce się wyłapać wszystkie prawdziwe pozytywy kosztem fałszywych alarmów, które zostaną ponownie przetestowane iw dużej mierze wyeliminowane.

Spójrz na to błyszczące narzędzie aplikacji https://kennis-research.shinyapps.io/Bayes-App/, które wyjaśnia związek między wrażliwością, swoistością i rozpowszechnieniem.W istocie zdolność testu do wykrycia prawdziwie pozytywnych wyników jest funkcją zarówno skuteczności testu (czułość i swoistość), jak i częstości występowania stanu, w odniesieniu do którego jest testowany.

Użyj metody KISS, aby wyjaśnić to wszystkim ... Keep It Simple Stupid K.I.S.S..

W księgowości prosty audyt rozpoczyna się od 1% próby wszystkich transakcji dla określonych wydatków lub dochodów w porównaniu z faktycznymi depozytami bankowymi wypłatami &.Jeśli się nie zgadzają lub „sumują”.Zwiększasz rozmiar próbki do 5%.Im więcej błędów zostanie znalezionych, tym większy procent próbek będzie szukać błędów lub oszustw.Do 100%.

Jeszcze prostszym przykładem dla statystyków jest prawo wielkich liczb.Im większa liczba pojedynczych próbek, tym dokładniejszy wynik.

Odwrotny efekt nazywam prawem małych liczb.Oznacza to, że próbka jest zbyt mała, aby odzwierciedlić prawdziwą dokładność.

Mam nadzieję, że to pomoże!