Kiểm tra bệnh hiếm gặp

Tại sao các xét nghiệm chính xác vẫn đánh lừa chúng ta

Một tỷ lệ cơ bản là mức độ phổ biến của một điều gì đó trước khi bạn thực hiện bất kỳ xét nghiệm nào. Bỏ qua nó là một trong những lỗi suy luận đắt đỏ nhất: và gần như mọi người đều mắc phải.

Dưới đây là kịch bản. Hãy đọc kỹ; bạn sẽ tính toán câu trả lời trên màn hình tiếp theo.

- Một căn bệnh ảnh hưởng đến 1 người trong 1000 (đó là tỷ lệ nền).

- Có một xét nghiệm chính xác 99%: nếu bạn bị bệnh, nó cho kết quả dương tính 99% thời gian, và nếu bạn khỏe mạnh, nó cho kết quả âm tính 99% thời gian (tức là nó sai ở 1% người khỏe mạnh).

- Bạn thực hiện xét nghiệm. Kết quả trở lại dương tính.

Bản năng của hầu hết mọi người sẽ nói: Chính xác 99%, vậy khả năng tôi bị bệnh là khoảng 99%. Hãy giữ lại suy nghĩ đó. Chúng ta sẽ kiểm chứng nó bằng tỷ lệ nền thay vì tin vào bản năng.

Phương pháp: hãy tưởng tượng 1000 người và đếm.

- Trong 1000 người, khoảng 1 người thực sự bị bệnh. Xét nghiệm phát hiện ra người đó: gọi đó là 1 dương tính thật.

- 999 người còn lại khỏe mạnh. Xét nghiệm sai ở 1% trong số họ: 999 x 0,01 là khoảng 10 dương tính giả.

Vậy trong số tất cả những người có kết quả xét nghiệm dương tính, bạn có khoảng 1 dương tính thật và khoảng 10 dương tính giả.

Đếm số lượng

Phép tính của bạn

Sử dụng các số lượng từ cây: khoảng 1 dương tính thật, khoảng 10 dương tính giả.

Điều Con Số Dạy Bạn

Bài học rút ra

Thói quen quan trọng nhất từ phần này: khi một sự kiện hiếm xảy ra, ngay cả một xét nghiệm rất chính xác cũng tạo ra phần lớn là dương tính giả. Tỷ lệ nền có thể áp đảo độ chính xác.

Điều này không chỉ liên quan đến xét nghiệm y khoa. Nó bao gồm cảnh báo gian lận, bộ lọc thư rác, trình quét bảo mật và bất kỳ hệ thống tự tin nào phát hiện một sự kiện hiếm. Một kết quả "dương tính" từ hệ thống như vậy là lý do để xem xét kỹ hơn, không phải là phán quyết. Sự kiện càng hiếm, một cảnh báo đơn lẻ càng nên kích hoạt việc xác minh thay vì niềm tin.

Khi Hai Thứ Cùng Biến Động

Tương Quan So Với Nhân Quả

Hai yếu tố được coi là tương quan khi chúng biến động cùng nhau: khi một yếu tố tăng, yếu tố kia cũng có xu hướng tăng theo. Điều này dễ khiến ta kết luận rằng yếu tố này gây ra yếu tố kia. Tuy nhiên, kết luận đó thường là vội vàng. Có ít nhất ba lời giải thích vô can cho bất kỳ mối tương quan nào:

1. Yếu tố gây nhiễu (nguyên nhân thứ ba ẩn giấu). Doanh số bán kem và số ca tử vong do đuối nước tăng cùng lúc. Kem không gây ra đuối nước; thời tiết nóng mới là động lực thúc đẩy cả hai. Yếu tố gây nhiễu chính là nguyên nhân thực sự.

2. Nguyên nhân ngược chiều. Những người sử dụng ứng dụng thể dục có sức khỏe tốt hơn, vậy ứng dụng đó có gây ra sức khỏe tốt không? Có thể những người vốn đã khỏe mạnh mới là những người chọn sử dụng ứng dụng đó. Mũi tên chỉ nguyên nhân có thể đang hướng theo chiều ngược lại.

3. Trùng hợp ngẫu nhiên. Khi đo lường đủ nhiều biến số, một số biến sẽ trùng khớp với nhau hoàn toàn do may mắn, không có bất kỳ mối liên hệ nào.

Cách tiếp cận chuyên nghiệp: trước khi chấp nhận "X gây ra Y", hãy tự hỏi còn điều gì khác có thể giải thích điều này? Một nguồn thông tin tự tin nhưng bỏ qua câu hỏi đó đang bán cho bạn một câu chuyện, chứ không phải một phát hiện.

Tìm ra Nguyên nhân Ẩn

Đến lượt bạn

Một nghiên cứu báo cáo: "Học sinh sở hữu nhiều sách hơn có điểm kiểm tra đọc cao hơn. Do đó, việc mua thêm sách sẽ nâng cao điểm kiểm tra." Một ứng dụng mua sắm thậm chí còn trích dẫn điều này để bán các gói sách cho phụ huynh, với sự tự tin rất lớn.

Tin vào những gì phù hợp

Thiên kiến nuôi dưỡng niềm tin của bạn

Thiên kiến xác nhận là xu hướng chú ý, tin tưởng và ghi nhớ những bằng chứng phù hợp với những gì chúng ta đã nghĩ, trong khi bỏ qua hoặc giải thích đi những bằng chứng trái ngược. Nó hoạt động thầm lặng trong nền của hầu hết mọi phán đoán.

Tình trạng này trở nên tồi tệ hơn với các công cụ hiện đại. Kết quả tìm kiếm, các dòng tin tức và hệ thống đề xuất học được những gì bạn thích và đưa cho bạn nhiều hơn thế. Đặt một câu hỏi mang tính dẫn dắt và bạn thường nhận được một câu trả lời tự tin được định hình để đồng ý với bạn. Kết quả cảm giác như một sự xác nhận độc lập, nhưng thực chất đó là tiếng vang: cùng một niềm tin được bật lại, được bao bọc trong lớp vỏ của bằng chứng.

Liều thuốc giải là sự chủ động có chủ đích: đi tìm bằng chứng mạnh mẽ nhất cho thấy bạn sai. Nếu bạn không tìm thấy bất kỳ bằng chứng nào, hoặc bạn bác bỏ chúng quá nhanh, đó là thiên kiến đang lên tiếng.

Nhận diện Thiên kiến

Đến lượt bạn

Maya chắc chắn rằng một loại thực phẩm chức năng nhất định đã chữa khỏi bệnh cảm lạnh của cô. Cô nhớ những lần cô dùng nó và hồi phục, kể lại những câu chuyện đó, và quên đi những lần nó không có tác dụng gì. Khi một người bạn đề cập đến một nghiên cứu cho thấy nó không hiệu quả, cô nói rằng nghiên cứu đó "chắc chắn có thiên kiến" và chuyển sang chuyện khác. Cô cũng hỏi một ứng dụng sức khỏe đầy tự tin "liệu thực phẩm chức năng này có tốt cho bệnh cảm lạnh không?" và nó vui vẻ đồng ý.

Xác minh độc lập

Thói quen kết nối tất cả

Mọi công cụ cho đến nay đều hướng đến một kỹ năng duy nhất: đừng tin một tuyên bố đầy tự tin; hãy kiểm chứng nó. Phương pháp đáng tin cậy nhất là tam giác hóa : kiểm tra một tuyên bố đối chiếu với hai hoặc nhiều nguồn độc lập trước khi hành động dựa trên đó.

Từ độc lập đang gánh vác phần quan trọng nhất. Ba trang web đều sao chép cùng một bản tin báo chí không phải là ba nguồn : chúng chỉ là một nguồn, được lặp lại ba lần. Tam giác hóa thực sự đòi hỏi các nguồn có khả năng bất đồng nhưng thực tế lại không.

Một danh sách kiểm tra thực tế trước khi hành động dựa trên bất kỳ tuyên bố nào có rủi ro cao:

- Tính độc lập: Các nguồn của tôi có truy vết ngược về cùng một nguồn gốc, hay chúng được thu thập riêng biệt?

- Tỷ lệ nền: Điều này thực sự phổ biến đến mức nào? Một cảnh báo đầy tự tin có thể chủ yếu là một dương tính giả không?

- Nguyên nhân: Một câu chuyện nhân quả có đang được rao bán từ những gì chỉ là tương quan không?

- Định kiến của chính tôi: Tôi có tin điều này một phần vì tôi đã muốn nó là sự thật từ trước không?

- Mức độ rủi ro: Quyết định càng lớn (sức khỏe, tiền bạc, an toàn), nó càng xứng đáng có nhiều xác nhận độc lập hơn.

Xác minh một tuyên bố thực tế

Đến lượt bạn

Một ứng dụng hỗ trợ học tập cho bạn biết, với sự tự tin rất cao và bằng văn bản trôi chảy, rằng một ngày tháng lịch sử là năm 1847 và rằng một công thức hoạt động theo một cách nhất định. Bạn có bài kiểm tra vào ngày mai và câu trả lời này rất quan trọng.

Những gì bạn mang về

Một suy nghĩ cuối cùng

Bây giờ bạn đã có bốn công cụ chống lại sai lầm đầy tự tin: kiểm tra tỷ lệ nền trước khi tin vào một cảnh báo về sự kiện hiếm gặp, tách biệt tương quan khỏi nhân quả, cảnh giác với thiên kiến xác nhận ở chính bạn và các công cụ của bạn, và tam giác hóa (xác minh chéo) với các nguồn độc lập trước khi bạn hành động.

Không có công cụ nào trong số này đòi hỏi bạn phải là một thiên tài. Chúng đòi hỏi một thói quen: coi sự tự tin : của chính bạn hoặc của một nguồn thông tin bóng bẩy : là một câu hỏi cần kiểm tra, chứ không phải là một câu trả lời để chấp nhận.

Những người ít bị lừa nhất không phải là những người cảm thấy chắc chắn nhất. Họ là những người xác minh.