छवि: शटरस्टॉक
अकादमिक शोध के आधार पर अक्सर खबरें लिखी जाती हैं। ऐसे शोध में ‘सांख्यिकीय महत्व’ (statistical significance) शब्द का विशेष स्थान है। लेकिन यह ऐसा शब्द है जिसका अक्सर गलत अर्थ समझ लिया जाता है। गलत समझ के कारण इस शब्द का दुरुपयोग भी होता है। इसलिए अकादमिक शोध पर आधारित खबरें लिखने वाले पत्रकारों को इस शब्द का सही अर्थ समझना जरूरी है।
हमने पत्रकारों को ऐसी सामान्य त्रुटियों से बचाने के लिए यह टिपशीट तैयार की है। कई बार प्रशिक्षित शोधकर्ता भी ऐसी गलतियां करते हैं। यह आलेख उनके लिए भी उपयोगी है।
जब विद्वान किसी डेटा का विश्लेषण करते हैं, तो वे उन चरों (वेरियबल्स) के बीच के पैटर्न और आपसी संबंधों की तलाश करते हैं। जैसे, यह पता लगाने के लिए खेल के मैदान में होने वाली दुर्घटनाओं के आंकड़ों को देख सकते हैं कि क्या कुछ विशेषताओं वाले बच्चों के गंभीर रूप से घायल होने की संभावना दूसरों की तुलना में अधिक है। किसी उच्च गुणवत्ता वाले सांख्यिकीय विश्लेषण में अलग-अलग गणनाएं शामिल होंगी। सांख्यिकीय महत्व को निर्धारित करने के लिए शोधकर्ता इसका उपयोग करते हैं। यह साक्ष्य का एक रूप है जो बताता है कि डेटा किसी शोध परिकल्पना के अनुरूप है।
‘सांख्यिकीय महत्व’ एक तकनीकी और सूक्ष्म अवधारणा है। शोध संबंधी मामलों को कवर करने वाले पत्रकारों को इसकी बुनियादी समझ होनी चाहिए। स्वास्थ्य शोधकर्ता स्टीवन टेनी और इब्राहिम अब्देलगवाड ने ‘सांख्यिकीय महत्व’ को स्पष्ट किया। उनके अनुसार- “विज्ञान में, शोधकर्ता किसी भी कथन को साबित नहीं कर सकते। किसी चीज का कोई परिणाम क्यों हुआ, इसके अनगिनत विकल्प हो सकते हैं। इसलिए वे केवल एक विशिष्ट परिकल्पना का खंडन करने का प्रयास कर सकते हैं।”
इन दोनों विद्वानों ने लिखा है कि शोधकर्ताओं ने ‘शून्य परिकल्पना’ (नल हाइपोथीसिस) को खारिज करने की कोशिश की, जो आमतौर पर परिकल्पना का उलटा बयान है। लेकिन ‘सांख्यिकीय महत्व’ से पता चलता है कि जांचा जा रहा डेटा किसी ‘शून्य परिकल्पना’ के साथ कितना असंगत है।
एक उदाहरण देखें। खेल के मैदान की दुर्घटनाओं का अध्ययन करने वाले शोधकर्ता यह परिकल्पना करते हैं कि पांच साल से कम उम्र के बच्चों को बड़े बच्चों की तुलना में अधिक गंभीर चोटें आती हैं। इसमें एक कमजोर परिकल्पना यह हो सकती है कि बच्चे की उम्र और खेल के मैदान की चोटों के बीच कोई संबंध नहीं है। लेकिन एक सांख्यिकीय विश्लेषण दो चर के बीच संबंध को उजागर करता है। शोधकर्ता यह निर्धारित करते हैं कि इनका संबंध सांख्यिकीय रूप से महत्वपूर्ण है। इसलिए डेटा ‘कमजोर परिकल्पना’ के अनुरूप नहीं है।
इस तरह, ‘सांख्यिकीय महत्व’ एक ऐसा प्रमाण है, जिसका उपयोग करके हम किसी ‘कमजोर परिकल्पना’ को अस्वीकार या स्वीकार कर सकते हैं। सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करना कुछ भी साबित नहीं करता है।
पत्रकारों को अकादमिक शोध पर रिपोर्ट करने से पहले ‘सांख्यिकीय महत्व’ के बारे में ये पाँच बातें अवश्य जाननी चाहिए:
1. अकादमिक शोध में अर्थपूर्ण/महत्वपूर्ण
कई बार पत्रकार गलती से यह मान लेते हैं कि “महत्वपूर्ण” के रूप में वर्णित शोध निष्कर्ष उल्लेखनीय हैं। यह आमतौर पर सही नहीं है। जब शोधकर्ता किसी परिणाम को “सांख्यिकीय रूप से महत्वपूर्ण” या बस “महत्वपूर्ण” कहते हैं, तो वे सिर्फ यह संकेत दे रहे हैं कि डेटा उनकी शोध परिकल्पना के अनुरूप है।
संभव है कि कोई खोज सांख्यिकीय रूप से महत्वपूर्ण हो, लेकिन इसका कोई नैदानिक या व्यावहारिक महत्व नहीं हो। या बेहद मामूली महत्व हो। जैसे, शोधकर्ताओं ने निष्कर्ष निकाला है कि एक नई दवा से दांतों का दर्द काफी कम हो जाता है, लेकिन केवल कुछ मिनटों के लिए। किसी अन्य शोध से पता चले कि जो छात्र कोई महंगा शिक्षण कार्यक्रम पूरा करते हैं, वे कॉलेज की प्रवेश परीक्षा में उच्च अंक अर्जित करते हैं – लेकिन औसतन केवल दो अंक ही अधिक मिलते हैं।
ऐसे निष्कर्ष गणितीय अर्थ में महत्वपूर्ण हो सकते हैं। लेकिन वास्तविक दुनिया में बहुत सार्थक नहीं हैं।
2. सांख्यिकीय महत्व मापने के लिए शोधकर्ता हेरफेर कर सकते हैं
डेटा का विश्लेषण करने के लिए शोधकर्ता परिष्कृत सॉफ्टवेयर का उपयोग करते हैं। डेटा में पाए गए प्रत्येक पैटर्न या संबंध के लिए ऐसा किया जाता है। जैसे, एक चर (वेरियबल) बढ़ता है क्योंकि दूसरा घटता है। सॉफ़्टवेयर गणना करता है जिसे ‘प्रोबेबिलिटी वैल्यू’ या ‘पी-वैल्यू’ कहा जाता है।
‘पी-वैल्यू’ 0 से 1 के बीच होती है। यदि कोई ‘पी-वैल्यू’ एक निश्चित सीमा के अंतर्गत आती है, तो शोधकर्ता उस पैटर्न या संबंध को सांख्यिकीय रूप से महत्वपूर्ण मानते हैं। यदि ‘पी-वैल्यू’ कटऑफ से अधिक है, तो वह पैटर्न या संबंध सांख्यिकीय रूप से महत्वपूर्ण नहीं है। इसलिए शोधकर्ताओं को कम पी-वैल्यू की उम्मीद है।
सामान्यतया, 0.05 से छोटी ‘पी-वैल्यू’ सांख्यिकीय रूप से महत्वपूर्ण मानी जाते हैं।
“पी-वैल्यू सांख्यिकीय महत्व के द्वारपाल हैं।” विज्ञान लेखिका रेजिना नुज़ो ने अपनी टिपशीट, टिप्स फॉर कम्युनिकेटिंग स्टैटिस्टिकल सिग्निफिकेन्स में ऐसा लिखा है। वह वाशिंगटन डीसी स्थित गैलाउडेट विश्वविद्यालय में सांख्यिकी विषय की प्रोफेसर हैं।
वह लिखती हैं- “हम आश्चर्यजनक डेटा परिणामों के प्रति सचेत करने के लिए पी-वैल्यू का उपयोग करते हैं, न कि किसी भी चीज़ पर अंतिम उत्तर देने के लिए।”
पत्रकारों को यह समझना चाहिए कि पी-वैल्यू इस बात की प्रमाण नहीं है कि परिकल्पना सत्य है। पी-वैल्यू भी इस संभावना को नहीं दर्शाते हैं कि अध्ययन किए जा रहे डेटा में संबंध संयोग का परिणाम है। अमेरिकन स्टैटिस्टिकल एसोसिएशन ने सांख्यिकीय महत्व और पी-वैल्यू पर अपने वक्तव्य में ऐसी त्रुटियों से बचने की सलाह दी है।
पी-वैल्यू में हेरफेर किया जा सकता है। हेरफेर का एक रूप पी-हैकिंग है। मनोचिकित्सक चितरंजन एंड्रेड के अनुसार – “कोई शोधकर्ता डेटा का लगातार अलग-अलग तरीकों से विश्लेषण करता है, जब तक कि सांख्यिकीय महत्व का परिणाम नहीं मिल जाए। यह पी-हैकिंग है।”
वे ‘नेशनल इंस्टीट्यूट ऑफ मेंटल हेल्थ एंड न्यूरो साइंसेज इन इंडिया’ के वरिष्ठ प्रोफेसर हैं। उन्होंने ‘द जर्नल ऑफ़ क्लिनिकल साइकियाट्री’ में वर्ष 2021 में प्रकाशित एक पेपर में यह बात लिखी।
उन्होंने लिखा- “ऐसा विश्लेषण या तो तब रुक जाता है जब कोई महत्वपूर्ण परिणाम प्राप्त हो जाए, या जब शोधकर्ता के पास कोई विकल्प नहीं बच जाता हो।”
पी-हैकिंग के तरीके:
- किसी अध्ययन या प्रयोग को बीच में ही रोककर डेटा की जांच करना और फिर यह तय करना कि इससे अधिक डेटा इकट्ठा करना है अथवा नहीं।
- अध्ययन या प्रयोग समाप्त होने के बाद किसी परिणाम को बदलने के उद्देश्य से डेटा एकत्र करना।
- किसी गणना को प्रभावित करने वाले निर्णयों को टालना। जैसे, जब तक कि डेटा का विश्लेषण नहीं किया गया हो, तब तक किसी खास तथ्य को शामिल करना है या नहीं।
इसका एक चर्चित उदाहरण है। कॉर्नेल विश्वविद्यालय के शोधकर्ता ब्रायन वानसिंक के रिसर्च पर कई सवाल उठे। इसके बाद उन्होंने अमेरिकन मेडिसिन एसोसिएशन की प्रमुख पत्रिका जामा से अपनी सेवानिवृत्ति की घोषणा की। दो संबद्ध पत्रिकाओं ने वर्ष 2018 में उनके छह पेपर्स को वापस ले लिया।
बज़फीड न्यूज की विज्ञान रिपोर्टर स्टेफ़नी ली ने वानसिंक और उनके सहयोगियों के बीच ईमेल का वर्णन किया। इसमें दिखाया गया कि उन्होंने “प्रभावशाली दिखने वाले परिणामों के लिए संपूर्ण डेटासेट को खंगालने के बारे में चर्चा की। यहां तक कि इसे मजाक का विषय भी बनाया।”
3. ‘सांख्यिकीय महत्व’ वाले परिणाम के लिए शोधकर्ताओं पर दबाव
शोधकर्ता का करियर इस बात पर निर्भर है कि उसके कितने पेपर प्रकाशित हुए। किन प्रतिष्ठित शोध पत्रिकाओं में उनका प्रकाशन हुआ, यह बात भी काफी मायने रखती है।
वाशिंगटन विश्वविद्यालय में मनोविज्ञान के प्रोफेसर इयोन फाइन और वहां डॉक्टरेट की छात्रा एलिसिया शेन ने ‘द कन्वर्सेशन’ में मार्च 2018 के एक संयुक्त आलेख में लिखा- “‘अपने रिसर्च पेपर को प्रकाशित कराओ, नहीं तो बर्बाद हो जाओगे। यह बात हर अकादमिक के दिमाग में बैठ गई है। इसे आप पसंद करें या नफरत करें, लेकिन प्रतिष्ठित विश्वविद्यालयों जगह पाने के लिए हाई-प्रोफाइल पत्रिकाओं में प्रकाशन जरूरी है। प्रतिष्ठित सहयोगियों और व्यापक संसाधनों, प्रसिद्ध पुरस्कारों और भरपूर अनुदान के जरिये सफलता के रास्ते खुलते हैं।”
अकादमिक पत्रिकाएं अक्सर ‘सांख्यिकीय महत्व’ वाले परिणामों के साथ अनुसंधान को प्राथमिकता देती हैं। इसलिए शोधकर्ता अक्सर उस दिशा में अपने प्रयास केंद्रित करते हैं। कई अध्ययनों से पता चलता है कि सांख्यिकीय रूप से महत्वपूर्ण निष्कर्षों वाले रिसर्च पेपर्स के प्रकाशित होने की अधिक संभावना रहती है।
वर्ष 2014 में साइंस में प्रकाशित एक पेपर में पाया गया कि “एक स्टडी के परिणामों और क्या इससे संबंधित पेपर प्रकाशित हुआ, इसके बीच काफी गहरा संबंध है।”
कुल 221 पेपर्स का अध्ययन करने पर पता चला कि जिन स्टडीज के परिणाम में सांख्यिकीय महत्व नहीं था, ऐसे केवल 20% पेपर प्रकाशित हुए।
यहां तक कि ‘सांख्यिकीय महत्व’ के निष्कर्ष नहीं निकलने वाले अधिकांश अध्ययन लिखे तक नहीं गए। शोधकर्ता को लगता है कि उनके पेपर प्रकाशित नहीं होंगे। इसलिए उन्होंने अपना काम बीच में ही छोड़ दिया।
“जब शोधकर्ता सांख्यिकीय रूप से महत्वपूर्ण परिणाम खोजने में विफल होते हैं, तो इसे अक्सर विफलता माना जाता है।” विज्ञान लेखक जॉन ब्रॉक ने नेचर इंडेक्स के लिए 2019 के एक लेख में लिखा है। “वैज्ञानिक पत्रिकाओं में गैर-महत्वपूर्ण परिणाम पर आधारित पेपर्स को प्रकाशित कराना मुश्किल है। इसलिये शोधकर्ता अक्सर उन्हें प्रकाशन के लिए भेजते ही नहीं।”
4. गैर-वैज्ञानिक लोगों को ‘सांख्यिकीय महत्व’ समझाने में त्रुटियां
कनाडा स्थित गुएल्फ विश्वविद्यालय में मनोविज्ञान के एसोसिएट प्रोफेसर्स जेफरी स्पेंस और डेविड स्टेनली ने ‘जर्नल फ्रंटियर्स इन साइकोलॉजी’ में लिखा है- “सांख्यिकीय महत्व वाले निष्कर्ष में कई तकनीकी पहलू शामिल होते हैं। इसलिए इसके परिणाम सार्वजनिक उपयोग के लायक नहीं है।”
“परिभाषाओं को तकनीकी रूप से ठीक से समझना प्रशिक्षित शोधकर्ताओं के लिए भी चुनौतीपूर्ण है। सांख्यिकीय महत्व को अक्सर गलत समझा जाता है। इस पर भरोसा करने वाले शोधकर्ताओं द्वारा भी गलत व्याख्या की जाती है।”
स्पेंस और स्टेनली ने तीन सामान्य गलत व्याख्याओं से पत्रकारों को बचने की सलाह दी। उन्होंने कहा कि सांख्यिकीय महत्व का मतलब यह नहीं है कि:
- “इसकी संभावना कम है कि परिणाम संयोग के कारण था।”
- “5% से भी कम संभावना है कि शून्य परिकल्पना सच है।”
- “दोहराव में समान परिणाम खोजने की 95% संभावना है।”
स्पेंस और स्टेनली ने सांख्यिकीय महत्व को समझने के लिए दो सुझाव दिए। हालांकि कई पत्रकार समाचारों में उपयोग करने के लिए इसे बहुत अस्पष्ट मान सकते हैं।
स्पेंस और स्टेनली ने सुझाव दिया कि यदि सभी अध्ययन परिणाम महत्वपूर्ण हैं, तो
- “सभी परिणाम सांख्यिकीय रूप से महत्वपूर्ण थे (इससे पता चलता है कि वास्तविक प्रभाव शून्य नहीं हो सकता है)।”
- “सभी परिणाम सांख्यिकीय रूप से महत्वपूर्ण थे (इससे वास्तविक प्रभाव शून्य होने पर संदेह उत्पन्न होता है।)।”
5. सांख्यिकीय महत्व के प्रभाव पर पुनर्विचार कैसे करें?
दशकों से विद्वानों ने सांख्यिकीय महत्व के निर्धारण और रिपोर्टिंग से जुड़ी समस्याओं के बारे में लिखा है। वर्ष 2019 में अकादमिक पत्रिका ‘नेचर’ ने एक लेटर प्रकाशित किया था। इस लेटर पर सांख्यिकीय मॉडल में भरोसा करने वाले 800 से अधिक शोधकर्ताओं ने हस्ताक्षर किए था। इसमें सांख्यिकीय महत्व की संपूर्ण अवधारणा को त्याग देने का सुझाव दिया गया था।
उसी वर्ष अमेरिकन स्टैटिस्टिकल एसोसिएशन की एक पत्रिका, ‘द अमेरिकन स्टैटिस्टिकियन’ ने ’21 वीं सदी में सांख्यिकीय निष्कर्ष : ए वर्ल्ड बियॉन्ड पी <0.05′ प्रकाशित किया। इस विशेष संस्करण में इस विषय पर 43 पेपर शामिल किए गए। कई पेपर में सांख्यिकीय महत्व के परीक्षण के लिए पी-वैल्यू और निर्दिष्ट थ्रेसहोल्ड का उपयोग करने के विकल्पों का सुझाव दिया।
तीन शोधकर्ताओं ने एक संपादकीय में लिखा- “अगर हम इस रास्ते से आगे बढ़ेंगे, तो कम झूठे अलार्म, कम अनदेखी खोजों और अधिक अनुकूलित सांख्यिकीय रणनीति का विकास होगा। शोधकर्ता अपनी सभी शानदार अनिश्चितताओं में अपने सभी निष्कर्षों को संप्रेषित करने के लिए स्वतंत्र होंगे। यह जानते हुए कि उनके काम को उनके विज्ञान की गुणवत्ता और प्रभावी संचार से आंका जाना है, न कि उनकी पी-वैल्यू से।
स्टैनफोर्ड मेडिसिन के प्रोफेसर और ‘एसोसिएशन ऑफ अमेरिकन फिजिशियन’ के उपाध्यक्ष जॉन इयोनिडिस ने इस प्रक्रिया को खत्म करने के खिलाफ तर्क दिया है। उन्होंने जामा में प्रकाशित 2019 के एक पत्र में लिखा है कि पी-वैल्यू और सांख्यिकीय महत्व मूल्यवान जानकारी प्रदान कर सकते हैं, बशर्ते इनका सही ढंग से उपयोग और सही व्याख्या की जाए। वह इसमें सुधार की आवश्यकता महसूस करते हैं। जैसे, महत्व का आकलन करने के लिए बेहतर और कम छेड़छाड़ करने योग्य फिल्टर का उपयोग करना। उन्होंने वैज्ञानिक कार्यबल की सांख्यिकीय संख्या में सुधार की आवश्यकता पर भी जोर दिया।
वर्जीनिया टेक के प्रोफेसर डेबोरा मेयो और इंपीरियल कॉलेज लंदन के डेविड हैंड ने जोर देकर कहा कि “सांख्यिकीय महत्व को बदलने या छोड़ने की सिफारिशें विज्ञान में आंकड़ों के केंद्रीय कार्य को कमजोर करती हैं।” इसके बजाय, शोधकर्ताओं को दुरुपयोग से बचने की आवश्यकता है। उन्होंने अपने मई 2022 के पेपर Statistical Significance and Its Critics: Practicing Damaging Science, or Damaging Scientific Practice? में सांख्यिकीय महत्व से जुड़े वैज्ञानिक पहलुओं पर विस्तार से लिखा है।
उन्होंने लिखा- “किसी उपकरण को गलत समझा जा सकता है या उसका दुरुपयोग किया जा सकता है। लेकिन सिर्फ इस आधार पर उस उपकरण को त्यागने का कोई औचित्य नहीं है।”
यह पोस्ट मूल रूप से ‘द जर्नलिस्ट्स रिसोर्स’ द्वारा प्रकाशित की गई। इसके ‘क्रिएटिव कॉमन्स लाइसेंस’ के माध्यम से यहां पुनर्मुद्रित किया गया है।
अतिरिक्त संसाधन
Interpreting Data: Tips to Make Sure You Know How to Read the Numbers
GIJN’s Top 10 Data Journalism Projects of 2021
GIJN’s Guide to Data Journalism Resources
डेनिस-मैरी ऑर्डवे वर्ष 2015 से ‘द जर्नलिस्ट्स रिसोर्स’ की प्रबंध संपादक हैं। इससे पहले उन्होंने अमेरिका और मध्य अमेरिका के अखबारों और रेडियो स्टेशनों के लिए बतौर रिपोर्टर काम किया। उनकी खबरें यूएसए टुडे, द न्यूयॉर्क टाइम्स और द वाशिंगटन पोस्ट में छप चुकी हैं। वह 2013 में पुलित्जर पुरस्कार की फाइनलिस्ट और 2014-15 की हार्वर्ड नीमन फैलो हैं।