Fällan
Självförtroende, flytande och felaktig
Varje dag möter du källor som låter helt säkra på sig: en glansig webbplats, en populär video, en vän som aldrig gör undantag, en shoppingapp, ett studieverktyg, en hälsotracker. De levererar svar snabbt, i rena meningar, med noll synligt tvivel.
Här är den obehagliga sanningen som denna lektion bygger på: självförtroende är inte bevis. En källa kan uttrycka något med full säkerhet och ändå vara helt felaktig. Svarets poler talar ingenting om huruvida det är sant eller inte.
Så hur vet du egentligen något? Inte genom att känna dig säker, och inte genom att lita på den som låter mest säker. Du vet genom att resonera noggrant och genom att kontrollera påståenden mot oberoende bevis. Den färdigheten har fyra delar, och du kommer att bygga upp varje del idag:
1. Baschanser: Varför ett mycket exakt test för en sällsynt händelse ändå främst ger falska larm.
2. Korrelation kontra kausalitet: Varför att två saker rör sig tillsammans inte betyder att den ena orsakar den andra.
3. Bekräftelsebias: Varför vi överlitar oss för mycket på svar som stämmer med vad vi redan tror.
4. Verifiering: Hur man triangulerar ett påstående mot oberoende källor innan man agerar på det.
Uppvärmning
Innan vi börjar, en kort reflektion. Att vara felaktig samtidigt som man känner sig säker är inte ovanligt: det är den mänskliga tillståndet. Att namnge en gång då det hände dig gör att resten av denna lektion sitter bättre.
Testet för sällsynt sjukdom
Varför noggranna tester fortfarande lurar oss
En basfrekvens är hur vanligt något är innan du gör något test. Att ignorera det är ett av de dyraste resonemangsfelen som finns : och nästan alla gör det.
Här är scenariot. Läs det noggrant; du kommer att beräkna svaret på nästa skärm.
- En sjukdom drabbar 1 person av 1000 (det är grundfrekvensen).
- Det finns ett test som är 99 % korrekt: om du är sjuk säger det positivt 99 % av tiden, och om du är frisk säger det negativt 99 % av tiden (så det felar på 1 % av de friska).
- Du gör testet. Det blir positivt.
Människors instinkt säger nästan alltid: 99 % korrekt, så det är ca 99 % sannolikhet att jag är sjuk. Håll tanken. Vi ska kontrollera den mot grundfrekvensen istället för att lita på magkänslan.
Metoden: tänk dig 1000 personer och räkna.
- Av 1000 personer är ungefär 1 faktiskt sjuk. Testet fångar den personen: kalla det 1 sann positiv.
- De andra 999 är friska. Testet felar på 1 % av dem: 999 x 0,01 är ungefär 10 falska positiva.
Så bland alla som testar positivt har du ungefär 1 sann positiv och ungefär 10 falska positiva.
Räkna ut det
Din beräkning
Använd antalen från trädet: ungefär 1 sann positiv och ungefär 10 falska positiva.
Vad talet lär oss
Sammanfattning
Den enskilt viktigaste vana från detta avsnitt: när något är ovanligt, ger även ett mycket exakt test i huvudsak falska positiva. Grundfrekvensen kan överväldiga noggrannheten.
Det handlar inte bara om medicinska tester. Det gäller bedrägerialarm, skräddfilter, säkerhetsskannrar och alla självförsäkrade system som flaggar ett ovanligt händelse. Ett "positivt" svar från ett sådant system är ett skäl att titta närmare, inte ett dom. Ju ovanligare saken är, desto mer bör en enskild larm signalera verifiering istället för tro.
När två saker rör sig tillsammans
Korrelation kontra kausalitet
Två saker är korrelerade när de rör sig tillsammans: när den ena ökar, tenderar den andra att göra detsamma. Det är frestande att dra slutsatsen att den ena orsakar den andra. Ofta är den slutsatsen ogrundad. Det finns minst tre oskyldiga förklaringar för en korrelation:
1. Konfundator (en döljd tredje orsak). Försäljningen av glass och antalet drunkningsdödsfall ökar tillsammans. Glass orsakar inte drunkning; varmt väder driver båda. Konfundatorn är den verkliga motorn.
2. Omvänd kausalitet. Människor som använder en träningsapp är friskare, så appen måste orsaka hälsa? Kanske är det redan friska människor som väljer appen. Pilens riktning kan vara omvänd.
3. Tillfällighet. Med tillräckligt många mätade variabler kommer vissa att linjas upp av ren slump utan att ha någon koppling till varandra.
Den professionella inställningen: innan du accepterar att "X orsakar Y", fråga dig vad annat som kan förklara detta? En självklar källa som hoppar över den frågan säljer dig en berättelse, inte ett fynd.
Hitta den dolda orsaken
Din tur
En studie rapporterar: "Elever som äger fler böcker får högre betyg på lästester. Därför ökar köpet av fler böcker testpoängen." En shoppingapp citerar till och med studien för att sälja bokpaket till föräldrar, mycket självklart.
Att tro det som passar
BIAS SOM NÄRER DIN Övertygelse
Bekräftelsesbias är tendensen att märka, tro på och komma ihåg bevis som stämmer med vad vi redan tror, medan vi ignorerar eller förklarar bort bevis som inte gör det. Den verkar tyst i bakgrunden i nästan alla omdömen.
Det blir sämre med moderna verktyg. Sökresultat, flöden och rekommendationssystem lär sig vad du gillar och ger dig mer av det. Ställ en ledande fråga och du får ofta ett självsäkert svar som är format för att hålla med dig. Resultatet känns som oberoende bekräftelse, men det är ett eko: samma övertygelse studsar tillbaka, klädd upp som bevis.
Motsmoken är medveten: sök aktivt efter det starkaste beviset för att du har fel. Om du inte kan hitta något, eller om du avfärdar det för snabbt, då är det biasen som pratar.
Fånga Biasen
Din tur
Maya är säker på att ett visst kosttillskott botade hennes förkylning. Hon kommer ihåg tillfället när hon tog det och tillfrisknade, berättar om dessa historier och glömmer tillfällena när det inte gjorde något. När en vän nämner en studie som visar att det inte fungerar, säger hon att studien "måste vara partisk" och går vidare. Hon frågar också en självsäker hälsapp "är detta tillskott bra mot förkylning?" och den håller med glatt.
Oberoende verifiering
Vanan som knyter ihop allt
Alla verktyg hittills pekar på en och samma färdighet: lita inte på ett självsäkert påstående; verifiera det. Den mest tillförlitliga metoden är triangulering: kontrollera ett påstående mot två eller flera oberoende källor innan du agerar.
Ordet oberoende gör det tunga lyftet. Tre webbplatser som alla har kopierat samma pressmeddelande är inte tre källor: de är en enda källa, upprepad tre gånger. Riktig triangulering kräver källor som skulle kunna vara oense men inte är det.
En praktisk kontrolllista innan du agerar på något högriskpåstående:
- Oberoende: Spåra mina källor tillbaka till samma ursprung, eller samlades de separat?
- Basfrekvens: Hur vanligt är detta egentligen? Kan ett självsäkert larm mestadels vara ett falskt alarm?
- Orsak: Försäljs en orsakssammanhangshistoria från vad som bara är en korrelation?
- Min egen bias: Litar jag på detta delvis för att jag redan ville att det skulle vara sant?
- Insatser: Ju större beslutet är (hälsa, pengar, säkerhet), desto mer oberoende bekräftelse förtjänar det.
Verifiera ett påstående i praktiken
Din tur
En studieapp berättar för dig, med stor självförtroende och i flytande prosa, att ett historiskt datum är 1847 och att en formel fungerar på ett visst sätt. Du har en tentan imorgon och svaret är viktigt.
Vad du tar med dig
En sista tanke
Du har nu fyra verktyg mot självbelägenhet: kontrollera basfrekvensen innan du litar på en larm om ett sällsynt händelse, skilj korrelation från kausalitet, håll utkik efter bekräftelsebias hos dig själv och dina verktyg, och triangulera mot oberoende källor innan du agerar.
Inget av detta kräver att du är en genius. De kräver en vana: att behandla självförtroende : ditt eget eller ett glansigt källas : som en fråga att testa, inte ett svar att acceptera.
De som lurats minst är inte de som känner sig mest säkra. De är de som verifierar.