दुर्लभ रोग परीक्षण

सटीक परीक्षण हमें फिर भी क्यों भटकाते हैं

बेस रेट यह है कि कोई चीज़ परीक्षण करने से पहले कितनी आम है। इसे नजरअंदाज करना सबसे महंगे तर्क त्रुटियों में से एक है : और लगभग हर कोई यह गलती करता है।

यहाँ परिदृश्य है। इसे ध्यान से पढ़ें; आप अगली स्क्रीन पर उत्तर की गणना करेंगे।

- एक बीमारी 1000 में से 1 व्यक्ति को प्रभावित करती है (यह ही बेस रेट है)।

- एक परीक्षण है जो 99% सटीक है: यदि आप बीमार हैं, तो 99% बार यह पॉज़िटिव बताता है, और यदि आप स्वस्थ हैं, तो 99% बार यह नेगेटिव बताता है (अर्थात यह 1% स्वस्थ लोगों के मामले में गलत होता है)।

- आपने परीक्षण कराया। परिणाम पॉज़िटिव आया।

लगभग हर किसी की पहली प्रतिक्रिया यह होती है: 99% सटीक है, इसलिए बीमार होने की मेरी संभावना लगभग 99% है। इस विचार को थोड़ी देर के लिए रखें। हम इसे बेस रेट के आधार पर जांचने वाले हैं, बजाय इसके कि हम अपनी पहली प्रतिक्रिया पर भरोसा करें।

पद्धति: 1000 लोगों का कल्पना करें और गिनती करें।

- 1000 लोगों में से, लगभग 1 व्यक्ति वास्तव में बीमार है। परीक्षण उस व्यक्ति को पकड़ लेता है: इसे 1 सही पॉज़िटिव कहें।

- अन्य 999 लोग स्वस्थ हैं। परीक्षण उनमें से 1% के मामले में गलत होता है: 999 x 0.01 लगभग 10 गलत पॉज़िटिव आते हैं।

तो, उन सभी लोगों में जिनका परीक्षण पॉज़िटिव आया है, लगभग 1 सही पॉज़िटिव और लगभग 10 गलत पॉज़िटिव हैं।

गिनती करें

आपकी गणना

पेड़ (tree) से मिली गिनती का उपयोग करें: लगभग 1 सही पॉज़िटिव (true positive), लगभग 10 गलत पॉज़िटिव (false positives)।

संख्या क्या सिखाती है

मुख्य निष्कर्ष

इस खंड से सबसे महत्वपूर्ण आदत यह है: जब कोई घटना दुर्लभ होती है, तो एक बहुत ही सटीक परीक्षण भी मुख्य रूप से गलत सकारात्मक (false positives) उत्पन्न करता है। बेस रेट (base rate) सटीकता को दबा सकता है।

यह केवल चिकित्सा परीक्षणों के बारे में नहीं है। यह धोखाधड़ी अलर्ट, स्पैम फिल्टर, सुरक्षा स्कैनर और किसी भी विश्वसनीय प्रणाली के बारे में है जो एक दुर्लभ घटना को चिह्नित करती है। ऐसी प्रणाली से मिलने वाला "सकारात्मक" परिणाम गहरी जांच करने का कारण है, न कि कोई अंतिम फैसला। जितनी दुर्लभ चीज़ है, उतना ही एक अलार्म को विश्वास के बजाय सत्यापन (verification) के लिए ट्रिगर करना चाहिए।

जब दो चीज़ें साथ में बदलती हैं

सहसंबंध बनाम कारण-प्रभाव

जब दो चीज़ें एक साथ चलती हैं, तो वे सहसंबंधित (correlated) होती हैं: जब एक बढ़ती है, तो दूसरी भी आमतौर पर बढ़ती है। यह निष्कर्ष निकालने का 유혹 होता है कि एक चीज़ दूसरी का कारण है। आमतौर पर, यह निष्कर्ष अर्जित नहीं होता है। किसी भी सहसंबंध के लिए कम से कम तीन निर्दोष व्याख्याएँ हो सकती हैं:

1. सहसंबंधक (Confounder) (एक छिपा हुआ तीसरा कारण)। आइस्क्रिम की बिक्री और डूबने से होने वाली मौतें एक साथ बढ़ती हैं। आइस्क्रिम डूबने का कारण नहीं है; गर्मी दोनों का कारण है। सहसंबंधक ही असली इंजन है।

2. उल्टा कारण (Reverse causation)। जो लोग फिटनेस ऐप का उपयोग करते हैं, वे स्वस्थ होते हैं, इसलिए क्या ऐप का ही कारण स्वास्थ्य है? हो सकता है कि पहले से स्वस्थ लोग ही ऐप चुनते हों। तीर दूसरी दिशा में भी हो सकता है।

3. सामान्य संयोग (Coincidence)। यदि पर्याप्त चर (variables) मापे जाएं, तो कुछ केवल शुद्ध संयोग से बिना किसी संबंध के एक साथ आ जाते हैं।

व्यावसायिक दृष्टिकोण: "X, Y का कारण है" को स्वीकार करने से पहले, पूछें कि इसकी क्या अन्य व्याख्या हो सकती है? एक आत्मविश्वासी स्रोत जो उस सवाल को छोड़ देता है, वह आपको एक खोज नहीं, बल्कि एक कहानी बेच रहा है।

छिपा हुआ कारण खोजें

आपकी बारी

एक अध्ययन रिपोर्ट करता है: "जो छात्र अधिक किताबें रखते हैं, वे पठन परीक्षाओं में बेहतर अंक प्राप्त करते हैं। इसलिए, अधिक किताबें खरीदने से परीक्षा के अंक बढ़ते हैं।" एक शॉपिंग ऐप भी इसका हवाला देकर माता-पिता को किताबों के बंडल बेचने के लिए बहुत आत्मविश्वास से प्रचार कर रहा है।

उस पर विश्वास करना जो मेल खाता है

वह पूर्वाग्रह जो आपके विश्वासों को पोषण देता है

पुष्टि पूर्वाग्रह (Confirmation bias) वह प्रवृत्ति है जिसमें हम उन सब प्रमाणों को ध्यान में रखते हैं, मानते हैं और याद रखते हैं जो हमारे पहले से मौजूद विचारों के अनुरूप हैं, जबकि उन प्रमाणों को नजरअंदाज कर देते हैं या उन्हें गलत ठहरा देते हैं जो हमारे विचारों के विपरीत होते हैं। यह लगभग हर निर्णय के पृष्ठभूमि में चुपचाप काम करता रहता है।

आधुनिक उपकरणों के साथ यह स्थिति और भी खराब हो जाती है। खोज परिणाम, फीड्स और अनुशंसा प्रणालियां सीखती हैं कि आपको क्या पसंद है और आपको उसी की और भी अधिक मात्रा में उपलब्ध कराती हैं। एक प्रेरक प्रश्न (leading question) पूछने पर आपको अक्सर एक आत्मविश्वास भरा उत्तर मिलता है जो आपसे सहमत होने के लिए ढाला गया होता है। परिणाम स्वतंत्र पुष्टि जैसा लगता है, लेकिन यह एक गूंज है: वही विश्वास वापस आया है, जिसे प्रमाण के रूप में सजाया गया है।

इसका विषाणु (antidote) जानबूझकर ढूंढना है: इस सबसे मजबूत प्रमाण को ढूंढने के लिए जाएं कि आप गलत हैं। यदि आपको कुछ नहीं मिलता है, या आप इसे बहुत जल्दी अस्वीकार कर देते हैं, तो यह पूर्वाग्रह बोल रहा है।

पूर्वाग्रह को पकड़ें

आपकी बारी

मया को यकीन है कि एक विशेष सप्लीमेंट ने उसकी सर्दी ठीक कर दी थी। वह उन बारों को याद रखती है जब उसने उसे लिया और ठीक हो गई, उन कहानियों को दोहराती है, और उन बारों को भूल जाती है जब इससे कोई असर नहीं हुआ। जब एक दोस्त एक अध्ययन का जिक्र करता है जो दिखाता है कि यह काम नहीं करता है, तो वह कहती है कि वह अध्ययन "पक्का पूर्वाग्रहित (biased) है" और आगे बढ़ जाती है। वह एक आत्मविश्वास भरे हेल्थ ऐप से भी पूछती है "क्या यह सप्लीमेंट सर्दी के लिए अच्छा है?" और यह खुशी-खुशी सहमत हो जाता है।

स्वतंत्र सत्यापन

वह आदत जो सब कुछ जोड़ती है

अब तक हर टूल एक ही कौशल की ओर इशारा करता है: आत्मविश्वास से की गई किसी भी बात पर भरोसा न करें; उसकी सत्यापन करें। सबसे विश्वसनीय विधि त्रिकोण मापन (triangulation) है: किसी भी कदम उठाने से पहले किसी दावे को दो या अधिक स्वतंत्र स्रोतों के साथ जांचें।

स्वतंत्र शब्द यहाँ भारी काम कर रहा है। तीन वेबसाइटें जो सभी ने एक ही प्रेस रिलीज़ की नकल की है, वे तीन स्रोत नहीं हैं: वे एक ही स्रोत हैं, जो तीन बार गूंजा गया है। वास्तविक त्रिकोण मापन के लिए ऐसे स्रोत चाहिए जो असहमत हो सकते हैं, लेकिन असहमत नहीं होते।

किसी भी उच्च-जोखिम वाले दावे पर कार्रवाई करने से पहले एक व्यावहारिक चेकलिस्ट:

- स्वतंत्रता: क्या मेरे स्रोत एक ही मूल स्रोत तक लौटते हैं, या क्या वे अलग-अलग इकट्ठे किए गए थे?

- बेस रेट (आधार दर): यह वास्तव में कितना आम है? क्या एक आत्मविश्वास भरी चेतावनी मुख्य रूप से एक गलत सकारात्मक (false positive) हो सकती है?

- कारण: क्या केवल सहसंबंध (correlation) से एक कारण-प्रभाव (causal) की कहानी बेची जा रही है?

- मेरा अपना पूर्वाग्रह: क्या मैं इस पर आंशिक रूप से इसलिए विश्वास कर रहा हूँ क्योंकि मैं पहले से ही चाहता था कि यह सच हो?

- जोखिम: निर्णय जितना बड़ा हो (स्वास्थ्य, पैसा, सुरक्षा), उतना ही स्वतंत्र पुष्टि का हकदार हो।

एक वास्तविक दावे की सत्यापित करें

आपकी बारी

एक स्टडी-हेल्प ऐप आपको बहुत आत्मविश्वास के साथ और प्रवाहशील भाषा में बताता है कि एक ऐतिहासिक तिथि 1847 है और एक सूत्र एक निश्चित तरीके से काम करता है। कल आपका परीक्षा है और उत्तर का महत्व है।

आप क्या साथ ले रहे हैं

एक अंतिम विचार

अब आपके पास आत्मविश्वासपूर्ण त्रुटियों के विरुद्ध चार उपकरण हैं: दुर्लभ-घटना की अलार्म पर विश्वास करने से पहले बेस रेट की जांच करें, सहसंबंध और कारणता को अलग करें, अपने आप और अपने उपकरणों में पुष्टि पूर्वाग्रह (confirmation bias) की निगरानी रखें, और कार्रवाई करने से पहले स्वतंत्र स्रोतों के विरुद्ध त्रिकोणमिति (triangulate) करें।

इनमें से किसी के लिए भी आपको एक जीनियस होने की आवश्यकता नहीं है। इनके लिए एक आदत की आवश्यकता है: आत्मविश्वास को : चाहे वह आपका हो या किसी चतुर स्रोत का : एक उत्तर के रूप में स्वीकार करने के बजाय, एक प्रश्न के रूप में परखने की आदत।

जिन लोगों को सबसे कम धोखा दिया जाता है, वे वे नहीं हैं जो सबसे अधिक निश्चित महसूस करते हैं। वे वे हैं जो सत्यापन करते हैं।