Pułapka
Pewny, płynny i błędny
Codziennie spotykasz źródła, które brzmią całkowicie pewnie: błyszczący serwis internetowy, popularny film, przyjaciel, który nigdy nie formułuje zastrzeżeń, aplikacja zakupowa, narzędzie do pomocy w nauce, tracker zdrowia. Dostarczają odpowiedzi szybko, w czystych zdaniach, z zerową widoczną wątpliwością.
Oto niewygodna prawda, na której opiera się ta lekcja: pewność nie jest dowodem. Źródło może stwierdzić coś z całkowitą pewnością i nadal być całkowicie błędne. Wygładzenie odpowiedzi nie mówi nic o tym, czy jest prawdziwa.
Jak więc w rzeczywistości wiesz coś? Nie przez poczucie pewności i nie przez ufać temu, kto brzmi najbardziej pewnie. Wiesz, rozumując starannie i sprawdzając twierdzenia w oparciu o niezależne dowody. Ta umiejętność ma cztery części, a dziś zbudujesz każdą z nich:
1. Bazowe prawdopodobieństwo : dlaczego bardzo dokładny test na rzadkie zjawisko nadal generuje głównie fałszywe alarmy.
2. Korelacja a przyczynowość : dlaczego fakt, że dwie rzeczy zmieniają się jednocześnie, nie oznacza, że jedna jest przyczyną drugiej.
3. Błąd potwierdzenia : dlaczego nadmiernie ufamy odpowiedziom, które pasują do tego, w co już wierzymy.
4. Weryfikacja : jak zweryfikować twierdzenie, porównując je z niezależnymi źródłami, zanim na jego podstawie podejmiemy działanie.
Rozgrzewka
Zanim zaczniemy, krótka refleksja. Bycie w błędzie, jednocześnie czując się pewnym, nie jest rzadkością : to normalny stan ludzki. Nazwanie momentu, w którym tak było, sprawi, że reszta tej lekcji lepiej się utrwali.
Test na rzadką chorobę
Dlaczego dokładne testy nas wciąż mylą
Częstość bazowa to jak powszechne jest coś zanim wykonasz jakikolwiek test. Ignorowanie jej to jeden z najdrożniejszych błędów rozumowania: i niemal każdy go popełnia.
Oto scenariusz. Przeczytaj go uważnie; obliczysz odpowiedź na następnym ekranie.
- Choroba dotyka 1 osoby na 1000 (to jest stopień podstawowy).
- Istnieje test o 99% dokładności: jeśli jesteś chory, daje wynik dodatni w 99% przypadków, a jeśli jesteś zdrowy, daje wynik ujemny w 99% przypadków (czyli myli się w przypadku 1% zdrowych osób).
- Robisz test. Wynik jest dodatni.
Instynktownie większość z nas mówi: 99% dokładności, więc prawdopodobieństwo, że jestem chory, wynosi około 99%. Zatrzymajmy się na tym. Sprawdzimy to w odniesieniu do stopnia podstawowego, zamiast ufać instynktowi.
Metoda: wyobraź sobie 1000 osób i policz.
- Wśród 1000 osób około 1 jest rzeczywiście chory. Test wykrywa tę osobę: nazywamy to 1 prawdziwym dodatnim.
- Pozostałe 999 osób jest zdrowych. Test myli się w przypadku 1% z nich: 999 x 0,01 to około 10 fałszywie dodatnich.
Zatem wśród wszystkich osób z wynikiem dodatnim masz około 1 prawdziwie dodatniego i około 10 fałszywie dodatnich.
Przeprowadź obliczenia
Twoje obliczenia
Wykorzystaj liczby z drzewa: około 1 wynik prawdziwie dodatni, około 10 wyników fałszywie dodatnich.
Czego uczy nas ta liczba
Wniosek
Najważniejszy nawyk z tej sekcji: gdy coś jest rzadkie, nawet bardzo dokładny test generuje głównie fałszywe dodatnie wyniki. Stawka bazowa może przytłoczyć dokładność.
Chodzi tu nie tylko o testy medyczne. Dotyczy to alertów o oszustwach, filtrów spamu, skanerów bezpieczeństwa oraz każdego pewnego systemu, który flaguje zdarzenie rzadkie. „Dodatni” wynik z takiego systemu to powód do dokładniejszego przyjrzenia się, a nie wyrok. Im rzadsze jest zjawisko, tym bardziej pojedyncze alarmy powinny wywoływać weryfikację, a nie wiarę.
Gdy dwie rzeczy zmieniają się razem
Korelacja a przyczynowość
Dwie rzeczy są skorelowane, gdy zmieniają się razem: gdy jedna rośnie, druga również ma tendencję do wzrostu. Łatwo jest wyciągnąć wniosek, że jedna spowodowała drugą. Zazwyczaj taki wniosek jest nieuzasadniony. Istnieją co najmniej trzy niewinne wyjaśnienia dla dowolnej korelacji:
1. Zmienna zakłócająca (ukryta trzecia przyczyna). Sprzedaż lodów i liczba utonięć rosną razem. Lody nie powodują utonięć; to gorąca pogoda napędza oba zjawiska. Zmienna zakłócająca jest prawdziwym motorem.
2. Odwrócona przyczynowość. Ludzie korzystający z aplikacji fitness są zdrowsi, więc to aplikacja musi powodować zdrowie? Być może to już zdrowsi ludzie wybierają tę aplikację. Strzałka może wskazywać w przeciwnym kierunku.
3. Zbieg okoliczności. Przy wystarczającej liczbie mierzonych zmiennych, niektóre z nich mogą się zgadzać z czystego przypadku, bez żadnego rzeczywistego połączenia.
Profesjonalne podejście: przed przyjęciem tezy „X powoduje Y”, zapytaj co jeszcze mogłoby to wyjaśnić? Pewne źródło, które pomija to pytanie, sprzedaje Ci historię, a nie odkrycie.
Znajdź ukrytą przyczynę
Twoja kolej
Badanie raportuje: „Uczniowie, którzy posiadają więcej książek, osiągają wyższe wyniki w testach czytania. Zatem kupowanie większej liczby książek podnosi wyniki w testach.” Aplikacja zakupowa cytuje nawet to badanie, aby sprzedawać rodzicom pakiety książek, z dużą pewnością siebie.
Wierzenie w to, co pasuje
Błąd, który karmi Twoje przekonania
Błąd potwierdzania to tendencja do zauważania, wierzenia i pamiętania dowodów, które pasują do tego, co już myślimy, podczas gdy ignorujemy lub bagatelizujemy dowody, które temu przeczą. Działa cicho w tle niemal każdego osądu.
Współczesne narzędzia pogarszają tę sytuację. Wyniki wyszukiwania, strumienie treści i systemy rekomendacji uczą się, co lubisz, i serwują Ci więcej tego samego. Zadaj pytanie sugerujące odpowiedź, a często otrzymasz pewne odpowiedzi ukształtowane tak, by się z Tobą zgodzić. Efekt ten sprawia wrażenie niezależnego potwierdzenia, ale jest to echa: to samo przekonanie odbite z powrotem, przebrane za dowód.
Antidotum wymaga świadomego wysiłku: aktywnie szukaj najsilniejszych dowodów na to, że mylisz się. Jeśli nie możesz ich znaleźć lub zbyt szybko je odrzucasz, to błąd potwierdzania mówi.
Wyłap błąd
Twoja kolej
Maya jest pewna, że pewien suplement wyleczył ją z przeziębienia. Pamięta te razy, gdy go brała i wyzdrowiała, opowiada te historie i zapomina o tych, gdy nic nie pomógł. Gdy przyjaciel wspomina o badaniu pokazującym, że suplement nie działa, mówi, że badanie „musi być stronnicze” i odchodzi od tematu. Pyta również pewnego pewnego siebie aplikacji zdrowotnej: „Czy ten suplement jest dobry na przeziębienie?” i ta z zapałem się zgadza.
Niezależna weryfikacja
Nawyk, który spina wszystko
Każde dotychczasowe narzędzie wskazuje na jedną umiejętność: nie ufaj pewnemu twierdzeniu; zweryfikuj je. Najbardziej niezawodną metodą jest tryangulacja : sprawdzenie twierdzenia w dwóch lub więcej niezależnych źródłach przed podjęciem działań.
Słowo niezależny wykonuje tu ciężką pracę. Trzy strony, które wszystkie skopiowały ten sam komunikat prasowy, to nie trzy źródła : to jedno źródło, powtórzone trzy razy. Prawdziwa tryangulacja wymaga źródeł, które mogłyby się nie zgadzać, ale się nie zgadzają.
Praktyczna lista kontrolna przed podjęciem działań na podstawie jakiegokolwiek twierdzenia o dużym znaczeniu:
- Niezależność: Czy moje źródła wywodzą się z tego samego źródła, czy też zostały zebrane osobno?
- Współczynnik bazowy: Jak powszechne jest to naprawdę? Czy pewne alarmowanie może być w dużej mierze fałszywym alarmem?
- Przyczyna: Czy sprzedawana jest historia przyczynowa, podczas gdy mamy do czynienia tylko z korelacją?
- Mój własny uprzedzenie: Czy wierzę w to częściowo dlatego, że już chciałem, aby było prawdziwe?
- Stawka: Im większa decyzja (zdrowie, pieniądze, bezpieczeństwo), tym więcej niezależnego potwierdzenia jej wymaga.
Weryfikacja prawdziwego twierdzenia
Twoja kolej
Aplikacja do nauki podaje Ci z dużą pewnością i w płynnym stylu, że data historyczna to 1847, a pewna formuła działa w określony sposób. Masz jutro egzamin, a odpowiedź ma znaczenie.
Co wynosisz z tego
Jedna ostatnia myśl
Masz teraz cztery narzędzia przeciw pewnemu błędowi: sprawdzaj stawkę bazową przed zaufaniem alarmowi o rzadkim zdarzeniu, rozróżniaj korelację od przyczynowości, obserwuj błąd potwierdzenia u siebie i w swoich narzędziach oraz trianguluj (weryfikuj z wielu źródeł) w oparciu o niezależne źródła, zanim zaczniesz działać.
Żadne z nich nie wymaga, byś był geniuszem. Wymagają jednego nawyku: traktowania pewności : twojej własnej lub pewnego błyskotliwego źródła : jako pytania do przetestowania, a nie odpowiedzi do przyjęcia.
Najmniej często dają się oszukać ci, którzy nie czują się najbardziej pewni. To ci, którzy weryfikują.