اختبار المرض النادر

لماذا تخدعنا الاختبارات الدقيقة

معدل الأساس هو مدى شيوع شيء ما قبل إجراء أي اختبار. تجاهله هو أحد أغلى أخطاء الاستدلال الموجودة : ويكاد الجميع يرتكبونه.

إليك السيناريو. اقرأه بعناية؛ ستحسب الإجابة في الشاشة التالية.

- تؤثر حالة مرضية على شخص واحد من كل 1000 (وهذا هو المعدل الأساسي).

- يوجد اختبار دقيق بنسبة 99%: إذا كنت مريضاً، يعطي نتيجة إيجابية بنسبة 99% من الوقت، وإذا كنت سليمًا، يعطي نتيجة سلبية بنسبة 99% من الوقت (لذا فهو يخطئ في 1% من الأشخاص الأصحاء).

- أجريت الاختبار. جاءت النتيجة إيجابية.

يُرجّح حدس معظم الناس: دقة 99%، لذا احتمالية إصابتي بالمرض حوالي 99%. اترك هذا الفكرة جانبًا. سنقوم بالتحقق منها مقابل المعدل الأساسي بدلاً من الاعتماد على الحدس.

الطريقة: تخيّل 1000 شخص وقم بالإحصاء.

- من بين 1000 شخص، يوجد حوالي 1 مريض فعليًا. يلتقط الاختبار ذلك الشخص: نسميه إيجابية صحيحة واحدة.

- الآخرون 999 أصحاء. يخطئ الاختبار في 1% منهم: 999 × 0.01 يساوي حوالي 10 إيجابيات خاطئة.

لذا، بين جميع من تعطي نتائجهم إيجابية، يوجد حوالي 1 إيجابية صحيحة وحوالي 10 إيجابيات خاطئة.

أجرِ العدّ

حسابك

استخدم الأعداد من الشجرة: حوالي 1 حالة إيجابية صحيحة، وحوالي 10 حالات إيجابية خاطئة.

ما تعلّمه العدد

الخلاصة

العُادة الأكثر أهمية على الإطلاق من هذا القسم: عندما يكون شيء ما نادرًا، فإن حتى الاختبار الدقيق للغاية ينتج عنه في الغالب إيجابيات كاذبة. يمكن أن تتغلب المعدّلات الأساسية على الدقة.

هذا لا يتعلق فقط بالاختبارات الطبية. إنه يتعلق بتنبيهات الاحتيال، وفلاتر الرسائل غير المرغوب فيها، وماسحات الأمان، وأي نظام واثق يعلّم حدثًا نادرًا. "إيجابي" من مثل هذا النظام هو سبب للنظر عن كثب، وليس حكمًا. وكلما كان الشيء أكثر ندرة، كان من الواجب أن يُطلق إنذار واحد التحقق بدلاً من الإيمان.

عندما يتحرك شيآن معًا

الارتباط مقابل السببية

يكون أمران متلازمين عندما يتحركان معًا: عندما يرتفع أحدهما، يميل الآخر إلى الارتفاع أيضًا. من المغري الاستنتاج أن أحدهما يسبب الآخر. عادةً ما يكون هذا الاستنتاج غير مبرر. هناك على الأقل ثلاثة تفسيرات بريئة لأي علاقة ارتباطية:

1. العامل المُربك (سبب ثالث خفي). ترتفع مبيعات الآيس كريم وحالات الغرق معًا. الآيس كريم لا يسبب الغرق؛ بل الطقس الحار هو الذي يدفع كلاهما. العامل المُربك هو المحرك الحقيقي.

2. السببية العكسية. الأشخاص الذين يستخدمون تطبيق اللياقة البدنية أكثر صحة، لذا يجب أن يكون التطبيق هو السبب في الصحة؟ ربما الأشخاص الأصحاء مسبقًا هم من يختارون التطبيق. قد يشير السهم إلى الاتجاه المعاكس.

3. المصادفة. مع وجود عدد كافٍ من المتغيرات المقاسة، ستتناسق بعض المتغيرات بالصدفة البحتة دون أي صلة على الإطلاق.

الخطوة الاحترافية: قبل قبول "سبب X هو Y"، اسأل ما الذي يمكن أن يفسر هذا أيضًا؟ المصدر الواثق الذي يتخطى هذا السؤال يبيعك قصة، وليس اكتشافًا.

اكتشف السبب الخفي

دورك

تقرير دراسة: "الطلاب الذين يملكون كتبًا أكثر يحصلون على درجات أعلى في اختبارات القراءة. وبالتالي، فإن شراء المزيد من الكتب يرفع درجات الاختبار." حتى أن تطبيقًا للتسوق يستشهد بذلك لبيع حزم الكتب للآباء، بثقة كبيرة.

الإيمان بما يناسب

التحيز الذي يغذي معتقداتك

التحيز التأكيدية هو الميل إلى ملاحظة الأدلة التي تتوافق مع ما نعتقده بالفعل، والمصادقة عليها، وتذكرها، بينما نتجاهل الأدلة التي لا تتوافق مع ذلك أو نلتمس لها العذر. وهو يعمل بصمت في الخلفية تقريباً في كل حكم نصدره.

يصبح الأمر أسوأ مع الأدوات الحديثة. فتنتائج البحث، والتغذية (الفيديوهات/المحتوى)، وأنظمة التوصية تتعلم ما يعجبك وتقدم لك المزيد منه. اطرح سؤالاً موجهاً وستحصل غالباً على إجابة واثقة مصممة لتتفق معك. يبدو الأمر كتأكيد مستقل، لكنه في الحقيقة صدى: نفس المعتقد يُعاد إليك، مُغلَّفاً على أنه دليل.

الترياق هو مقصود: اذهب للبحث عن أقوى دليل على أنك مخطئ. إذا لم تجد أي دليل، أو إذا استهنت به بسرعة، فهذا يعني أن التحيز هو من يتحدث.

التقاط التحيز

دورك

تعتقد مايا على يقين أن مكملًا غذائيًا معينًا شفاها من نزلات البرد. فهي تتذكر المرات التي تناولت فيه وتعافت، وتعيد سرد تلك القصص، وتنسى المرات التي لم يكن له أي تأثير. وعندما يذكر صديق لها دراسة تُظهر أنه لا يعمل، تقول إن الدراسة "لا بد أنها متحيزة" ثم تنتقل إلى ما يلي. كما أنها تسأل تطبيق صحة واثقًا: "هل هذا المكمل جيد لنزلات البرد؟" فيوافقها بحماس.

التحقق المستقل

العادة التي تربط كل شيء معاً

كل أداة حتى الآن تشير إلى مهارة واحدة: لا تثق بادعاء واثق؛ تحقق منه. الطريقة الأكثر موثوقية هي التثليث : تحقق من الادعاء مقابل مصدرين مستقلين أو أكثر قبل اتخاذ إجراء بناءً عليه.

كلمة مستقل هي التي تقوم بالعمل الشاق. ثلاثة مواقع نسخت جميعها نفس البيان الصحفي ليست ثلاثة مصادر : بل هي مصدر واحد، صدى ثلاث مرات. التثليث الحقيقي يتطلب مصادر يمكن أن تختلف في رأيها لكنها لا تختلف.

قائمة تحقق عملية قبل اتخاذ أي إجراء بناءً على أي ادعاء عالي المخاطر:

- الاستقلالية: هل تتتبع مصادرني إلى نفس الأصل، أم تم جمعها بشكل منفصل؟

- المعدل الأساسي: ما مدى شيوع هذا الأمر حقاً؟ هل يمكن أن يكون الإنذار الواثق في الغالب إيجابياً خاطئاً؟

- السبب: هل يُباع سرد سببي من مجرد ارتباط؟

- تحيزي الخاص: هل أؤمن بهذا جزئياً لأنني كنت أريد أن يكون صحيحاً بالفعل؟

- المخاطر: كلما كان القرار أكبر (الصحة، المال، السلامة)، زاد التأكيد المستقل الذي يستحقه.

تحقق من ادعاء حقيقي

دورك الآن

يخبرك تطبيق للمساعدة في الدراسة، بثقة كبيرة وبأسلوب سلس، أن تاريخًا تاريخيًا هو عام 1847 وأن معادلة معينة تعمل بطريقة محددة. لديك اختبار غدًا والإجابة مهمة.

ما الذي ستأخذه معك

فكرة أخيرة

لديك الآن أربعة أدوات ضد الخطأ الواثق: تحقق من المعدل الأساسي قبل تصديق إنذار حدث نادر، افصل الارتباط عن السببية، راقب التحيز التأكيدي في نفسك وفي أدواتك، وتحقق من ثلاث زوايا مقابل مصادر مستقلة قبل أن تتصرف.

لا يتطلب أيٌّ من هذه أن تكون عبقرية. إنها تتطلب عادةً واحدة: التعامل مع الثقة : سواء كانت ثقتك أنت أو ثقة مصدر بليد : كسؤال يجب اختباره، وليس كإجابة يجب قبولها.

الأشخاص الذين يُخدعون أقل ليسوا أولئك الذين يشعرون بأكثر يقين. بل هم أولئك الذين يتحققون.