희귀 질환 검사

왜 정확한 검사도 우리를 속이는가

기저율(base rate)은 어떤 검사를 수행하기 이전에 어떤 현상이 얼마나 흔한지를 나타냅니다. 이를 무시하는 것은 가장 비용이 큰 추론 오류 중 하나이며: 거의 모든 사람이 이를 범합니다.

다음은 시나리오입니다. 주의 깊게 읽어 주십시오; 다음 화면에서 답을 계산하게 됩니다.

- 어떤 질병이 1000명 중 1명에게 발병합니다(이것이 기저율입니다).

- 99% 정확도를 가진 검사가 있습니다: 병에 걸린 경우 99%의 확률로 양성 판정을, 건강한 경우 99%의 확률로 음성 판정을 내립니다(즉, 건강한 사람 중 1%에게서 오진합니다).

- 검사를 받았습니다. 결과는 양성입니다.

거의 모든 사람의 직관은 이렇게 말합니다: 99% 정확도이므로, 내가 병에 걸렸을 확률은 약 99%일 것이다. 이 생각을 잠시 기억해 두세요. 우리는 직관을 믿는 대신 기저율과 대조하여 이를 검증해 보겠습니다.

방법: 1000명을 상상하고 세어 보세요.

- 1000명 중 약 1명이 실제로 병에 걸려 있습니다. 검사는 그 사람을 찾아냅니다: 이를 진성 양성 1건이라고 합시다.

- 나머지 999명은 건강합니다. 검사는 이 중 1%에게서 오류를 냅니다: 999 x 0.01은 약 거짓 양성 10건입니다.

따라서 양성 판정을 받은 모든 사람 중에는 약 1건의 진성 양성과 약 10건의 거짓 양성이 있습니다.

개수 세기

당신의 계산

나무(트리)의 개수를 사용하세요: 약 1개의 참 양성(true positive), 약 10개의 거짓 양성(false positive).

숫자가 가르쳐 주는 것

핵심 요약

이 섹션에서 가장 중요한 습관 하나: 어떤 현상이 드물수록, 매우 정확한 검사일지라도 대부분이 거짓 양성(false positive)이 됩니다. 베이스 레이트(기저 비율)가 정확도를 압도할 수 있습니다.

이것은 의료 검사만의 문제가 아닙니다. 사기 경보, 스팸 필터, 보안 스캐너, 그리고 드문 사건을 감지하는 모든 자신감 있는 시스템에 해당합니다. 이러한 시스템의 "양성" 결과는 더 자세히 살펴볼 이유이지, 최종 판결이 아닙니다. 대상이 드물수록, 단일 경보는 믿음보다는 검증의 트리거가 되어야 합니다.

두 가지가 함께 움직일 때

상관과 인과

두 가지가 상관관계(correlation)가 있을 때, 그것들은 함께 움직입니다: 하나가 올라가면 다른 것도 올라가는 경향이 있습니다. 이때 하나가 다른 것을 원인(causes)한다고 결론 내리고 싶을 수 있습니다. 하지만 대개 그런 결론은 근거가 부족합니다. 어떤 상관관계에 대해선 적어도 세 가지 무해한 설명이 가능합니다:

1. 교란 변수(숨겨진 제3의 원인). 아이스크림 판매량과 익사 사망률이 함께 증가합니다. 아이스크림이 익사의 원인은 아닙니다; 더운 날씨가 두 가지를 모두 유발합니다. 교란 변수가 진정한 엔진입니다.

2. 역방향 인과관계. 피트니스 앱을 사용하는 사람들이 더 건강하므로, 앱이 건강을 유발한다고? 어쩌면 이미 건강한 사람들이 앱을 선택하는 것일 수 있습니다. 화살표가 반대 방향으로 가리킬 수 있습니다.

3. 우연. 충분히 많은 변수를 측정하면, 어떤 것들은 아무런 연결 없이도 순수한 우연으로 일치할 수 있습니다.

전문가의 접근법: "X가 Y를 유발한다"고 받아들이기 전에 이것을 설명할 다른 것은 무엇인가?라고 물어보세요. 그 질문을 건너뛰는 자신감 있는 출처는 발견이 아니라 이야기를 팔고 있는 것입니다.

숨겨진 원인 찾기

당신의 차례

한 연구가 보고합니다: "더 많은 책을 가진 학생들은 독서 시험에서 더 높은 점수를 받습니다. 따라서 더 많은 책을 사는 것이 시험 점수를 올립니다." 한 쇼핑 앱은 이를 인용하여 부모들에게 매우 자신감 있게 책 번들을 판매합니다.

맞는 것을 믿는 것

당신의 믿음을 강화하는 편향

확증 편향은 이미 가지고 있는 생각과 일치하는 증거를 발견하고, 믿으며, 기억하는 경향으로, 일치하지 않는 증거는 무시하거나 변명해버리는 것을 말합니다. 이 편향은 거의 모든 판단의 배경에서 조용히 작동합니다.

현대 도구를 사용하면 이 현상은 더 심해집니다. 검색 결과, 피드, 추천 시스템은 사용자가 무엇을 좋아하는지 학습하여 더 많은 것을 제공합니다. 유도 질문을 던지면 사용자의 의견에 동의하도록 형성된 자신감 있는 답변을 얻는 경우가 많습니다. 그 결과는 독립적인 확인처럼 느껴지지만, 실제로는 에코입니다: 같은 믿음이 증거인 것처럼 포장되어 되돌아오는 것입니다.

해독제는 의도적인 것입니다: 자신이 틀렸다는 가장 강력한 증거를 찾아보세요. 만약 그런 증거를 찾지 못하거나 너무 빨리 무시한다면, 그것은 편향이 말하는 것입니다.

편향을 잡아라

당신의 차례

마야는 특정 보충제가 그녀의 감기를 고쳤다고 확신합니다. 그녀는 보충제를 먹고 회복했던 때를 기억하고 그 이야기를 반복하며, 아무런 효과가 없었던 때는 잊어버립니다. 친구가 그것이 효과가 없다는 연구 결과를 언급하면, 그녀는 그 연구가 "반드시 편향되어 있을 것"이라고 말하고 넘어갑니다. 또한 그녀는 자신감 있는 건강 앱에 "이 보충제는 감기에 좋은가요?"라고 물었고, 앱은 기꺼이 동의했습니다.

독립적 검증

모든 것을 하나로 묶는 습관

지금까지 살펴본 모든 도구는 하나의 기술을 가리킨다: 자신감 넘치는 주장에 맹신하지 말고, 검증하라. 가장 신뢰할 수 있는 방법은 삼각측정법(triangulation)이다: 어떤 주장에 행동하기 전에 두 개 이상의 독립적인 출처와 대조하여 확인하는 것이다.

독립적인이라는 단어가 핵심적인 역할을 한다. 동일한 보도자료에서 복사해 온 세 개의 사이트는 세 개의 출처가 아니다: 그것은 세 번 반복된 하나의 출처일 뿐이다. 진정한 삼각측정법은 서로 의견이 다를 수도 있지만 실제로는 그렇지 않은 출처들이 필요하다.

고위험(high-stakes) 주장에 대해 행동하기 전에 사용할 수 있는 실용적인 체크리스트:

- 독립성: 내 출처들이 동일한 기원으로 거슬러 올라가는가, 아니면 별도로 수집되었는가?

- 기저율(Base rate): 이것이 실제로 얼마나 흔한가? 자신감 넘치는 경고가 대부분 오탐(false positive)일 가능성은 있는가?

- 인과관계: 상관관계만 있는 것에서 인과관계가 있는 이야기로 포장되어 있는가?

- 나의 편향: 이것이 사실이었으면 해서 믿고 있는 부분은 있는가?

- 위험도: 결정의 규모(건강, 돈, 안전)가 클수록 더 많은 독립적인 확인이 필요하다.

실제 주장 검증하기

당신의 차례

학습 보조 앱이 매우 자신감 있고 유창한 문체로 특정 역사적 날짜가 1847년이며, 어떤 공식이 특정한 방식으로 작동한다고 알려줍니다. 내일 시험이 있고 그 답이 중요합니다.

당신이 가져가는 것

마지막 한 가지 생각

이제 당신은 확신에 찬 오류에 맞서 싸울 네 가지 도구를 갖추게 되었습니다: 희귀 사건 경보를 신뢰하기 전에 기저율(base rate)을 확인하고, 상관관계를 인과관계와 분리하며, 자신과 도구에서 확증 편향을 경계하고, 행동하기 전에 독립적인 출처와 교차 검증(triangulate)하십시오.

이것들은 당신이 천재일 것을 요구하지 않습니다. 필요한 것은 하나의 습관뿐입니다: 자신이나 세련된 출처의 확신을 받아들이는 답이 아니라, 테스트해야 할 질문으로 취급하는 것입니다.

가장 덜 속아 넘어가는 사람들은 가장 확신하는 사람들이 아닙니다. 그들은 검증하는 사람들입니다.