Tes Penyakit Langka

Mengapa Tes yang Akurat Masih Menipu Kita

Laju dasar adalah seberapa umum sesuatu sebelum Anda menjalankan tes apa pun. Mengabaikannya adalah salah satu kesalahan penalaran termahal yang ada: dan hampir semua orang melakukannya.

Berikut adalah skenarionya. Bacalah dengan saksama; Anda akan menghitung jawabannya di layar berikutnya.

- Penyakit ini memengaruhi 1 orang dari 1000 (inilah angka dasar/base rate).

- Ada tes yang akurat 99%: jika Anda sakit, hasilnya positif 99% dari waktu ke waktu, dan jika Anda sehat, hasilnya negatif 99% dari waktu ke waktu (artinya salah pada 1% orang sehat).

- Anda melakukan tes. Hasilnya positif.

Intuisi hampir semua orang berkata: akurat 99%, jadi kemungkinan saya sakit sekitar 99%. Tahan dulu pikiran itu. Kita akan memverifikasinya terhadap angka dasar (base rate) alih-alih hanya mengandalkan intuisi.

Metodenya: bayangkan 1000 orang dan hitung.

- Dari 1000 orang, sekitar 1 orang benar-benar sakit. Tes tersebut mendeteksi orang itu: sebut saja 1 positif sejati (true positive).

- 999 orang lainnya sehat. Tes tersebut salah pada 1% dari mereka: 999 x 0,01 adalah sekitar 10 positif palsu (false positive).

Jadi, di antara semua orang yang hasilnya positif, Anda memiliki sekitar 1 positif sejati dan sekitar 10 positif palsu.

Lakukan Perhitungan

Perhitungan Anda

Gunakan jumlah dari pohon: sekitar 1 positif sejati, sekitar 10 positif palsu.

Apa yang Diajarkan oleh Angka

Inti Pembelajaran

Kebiasaan paling penting dari bagian ini: ketika sesuatu itu langka, bahkan tes yang sangat akurat akan menghasilkan sebagian besar hasil positif palsu. Laju dasar dapat mengalahkan akurasi.

Ini bukan hanya tentang tes medis. Ini berlaku untuk peringatan penipuan, filter spam, pemindai keamanan, dan sistem percaya diri mana pun yang menandai kejadian langka. "Positif" dari sistem semacam itu adalah alasan untuk melihat lebih dekat, bukan vonis. Semakin langka hal tersebut, semakin satu alarm seharusnya memicu verifikasi, bukan keyakinan.

Ketika Dua Hal Bergerak Bersama

Korelasi vs Kausalitas

Dua hal disebut terkorelasi ketika mereka bergerak bersama: ketika satu naik, yang lain cenderung ikut naik. Menggoda untuk menyimpulkan bahwa satu menyebabkan yang lain. Biasanya, kesimpulan itu tidak berdasar. Ada setidaknya tiga penjelasan yang tidak bersalah untuk setiap korelasi:

1. Pemicu tersembunyi (penyebab ketiga yang tersembunyi). Penjualan es krim dan angka kematian akibat tenggelam naik bersama. Es krim tidak menyebabkan tenggelam; cuaca panas yang mendorong keduanya. Pemicu tersembunyi adalah mesin sebenarnya.

2. Kausalitas terbalik. Orang yang menggunakan aplikasi kebugaran lebih sehat, jadi apakah aplikasi itu menyebabkan kesehatan? Mungkin orang yang sudah sehat adalah yang memilih aplikasi tersebut. Panahnya mungkin mengarah ke arah sebaliknya.

3. Kejadian kebetulan. Dengan cukup banyak variabel yang diukur, beberapa akan sejajar murni karena kebetulan tanpa ada hubungan sama sekali.

Langkah profesional: sebelum menerima "X menyebabkan Y," tanyakan apa lagi yang bisa menjelaskan ini? Sumber yang percaya diri namun melewatkan pertanyaan itu sedang menjual cerita, bukan temuan.

Temukan Penyebab Tersembunyi

Giliran Anda

Sebuah studi melaporkan: "Siswa yang memiliki lebih banyak buku mendapat skor lebih tinggi dalam tes membaca. Oleh karena itu, membeli lebih banyak buku meningkatkan skor tes." Sebuah aplikasi belanja bahkan mengutipnya untuk menjual paket buku kepada orang tua, dengan sangat percaya diri.

Meyakini Apa yang Sesuai

Bias yang Mengokohkan Keyakinan Anda

Bias konfirmasi adalah kecenderungan untuk memperhatikan, mempercayai, dan mengingat bukti yang sesuai dengan apa yang sudah kita yakini, sambil mengabaikan atau merasionalisasi bukti yang tidak sesuai. Bias ini berjalan secara halus di latar belakang hampir setiap penilaian.

Hal ini menjadi lebih buruk dengan alat modern. Hasil pencarian, feed, dan sistem rekomendasi mempelajari apa yang Anda sukai dan menyajikannya lebih banyak lagi. Ajukan pertanyaan yang mengarahkan dan Anda sering kali mendapatkan jawaban yang percaya diri, yang dibentuk untuk setuju dengan Anda. Hasilnya terasa seperti konfirmasi independen, tetapi itu adalah gema: keyakinan yang sama dipantulkan kembali, dibungkus sebagai bukti.

Antidotnya adalah disengaja: pergilah mencari bukti terkuat bahwa Anda salah. Jika Anda tidak menemukannya, atau Anda menolaknya terlalu cepat, itu adalah bias yang berbicara.

Tangkap Biasnya

Giliran Anda

Maya yakin bahwa suplemen tertentu menyembuhkan pileknya. Ia mengingat saat-saat ia memakannya dan sembuh, mengulang cerita-cerita tersebut, dan melupakan saat-saat saat itu tidak ada efeknya. Ketika seorang teman menyebutkan studi yang menunjukkan bahwa suplemen itu tidak bekerja, ia mengatakan bahwa studi itu "pasti bias" dan melanjutkan. Ia juga bertanya kepada aplikasi kesehatan yang percaya diri, "apakah suplemen ini baik untuk pilek?" dan aplikasi itu dengan gembira setuju.

Verifikasi Independen

Kebiasaan yang Mengikat Semua

Setiap alat sejauh ini menunjuk pada satu keterampilan: jangan percaya klaim yang penuh keyakinan; verifikasi terlebih dahulu. Metode yang paling andal adalah triangulasi : periksa klaim terhadap dua atau lebih sumber independen sebelum bertindak berdasarkan klaim tersebut.

Kata independen memegang peran penting. Tiga situs yang semuanya menyalin siaran pers yang sama bukanlah tiga sumber : mereka adalah satu sumber, yang diulang tiga kali. Triangulasi yang sesungguhnya membutuhkan sumber-sumber yang bisa berbeda pendapat tetapi tidak melakukannya.

Daftar periksa praktis sebelum bertindak berdasarkan klaim berisiko tinggi apa pun:

- Kemandirian: Apakah sumber-sumber saya dapat ditelusuri kembali ke asal yang sama, atau apakah mereka dikumpulkan secara terpisah?

- Laju dasar: Seberapa umum hal ini sebenarnya? Bisakah alarm yang penuh keyakinan sebagian besar merupakan positif palsu?

- Penyebab: Apakah cerita kausal sedang dijual dari apa yang sebenarnya hanya korelasi?

- Bias saya sendiri: Apakah saya percaya ini sebagian karena saya memang sudah ingin hal itu menjadi kenyataan?

- Pentingnya: Semakin besar keputusan (kesehatan, uang, keselamatan), semakin banyak konfirmasi independen yang seharusnya diterimanya.

Verifikasi Klaim Nyata

Giliranmu

Sebuah aplikasi bantuan belajar memberitahumu, dengan sangat percaya diri dan dalam prosa yang lancar, bahwa sebuah tanggal sejarah adalah 1847 dan bahwa sebuah rumus bekerja dengan cara tertentu. Kamu memiliki ujian besok dan jawabannya sangat penting.

Apa yang Anda Bawa Pulang

Satu Pemikiran Terakhir

Anda sekarang memiliki empat alat melawan kesalahan yang penuh keyakinan: periksa laju dasar sebelum mempercayai alarm peristiwa langka, pisahkan korelasi dari kausalitas, waspadalah terhadap bias konfirmasi pada diri Anda sendiri dan alat-alat Anda, serta triangulasi terhadap sumber-sumber independen sebelum Anda bertindak.

Tidak satu pun dari ini mengharuskan Anda menjadi jenius. Mereka membutuhkan satu kebiasaan: memperlakukan keyakinan : milik Anda sendiri atau sumber yang meyakinkan : sebagai pertanyaan untuk diuji, bukan jawaban untuk diterima.

Orang-orang yang paling jarang tertipu bukanlah mereka yang merasa paling yakin. Mereka adalah orang-orang yang memverifikasi.