मशीन-लर्निंग मॉडल तब विफल हो सकते हैं जब वे उन व्यक्तियों के लिए भविष्यवाणियां करने की कोशिश करते हैं, जिन्हें उन डेटासेट में अंडरप्रिटेड किया गया था जिस पर उन्हें प्रशिक्षित किया गया था।
उदाहरण के लिए, एक मॉडल जो पुरानी बीमारी वाले किसी व्यक्ति के लिए सबसे अच्छा उपचार विकल्प की भविष्यवाणी करता है, उसे डेटासेट का उपयोग करके प्रशिक्षित किया जा सकता है जिसमें ज्यादातर पुरुष रोगी होते हैं। अस्पताल में तैनात होने पर यह मॉडल महिला रोगियों के लिए गलत भविष्यवाणियां कर सकता है।
परिणामों को बेहतर बनाने के लिए, इंजीनियर डेटा बिंदुओं को हटाकर प्रशिक्षण डेटासेट को संतुलित करने का प्रयास कर सकते हैं जब तक कि सभी उपसमूहों को समान रूप से प्रतिनिधित्व नहीं किया जाता है। जबकि डेटासेट संतुलन आशाजनक है, इसे अक्सर बड़ी मात्रा में डेटा को हटाने की आवश्यकता होती है, मॉडल के समग्र प्रदर्शन को नुकसान पहुंचाती है।
MIT शोधकर्ताओं ने एक नई तकनीक विकसित की है जो एक प्रशिक्षण डेटासेट में विशिष्ट बिंदुओं की पहचान और हटाता है जो अल्पसंख्यक उपसमूहों पर एक मॉडल की विफलताओं में सबसे अधिक योगदान देता है। अन्य दृष्टिकोणों की तुलना में बहुत कम डेटापॉइंट को हटाकर, यह तकनीक अंडरप्रिटेड समूहों के बारे में अपने प्रदर्शन में सुधार करते हुए मॉडल की समग्र सटीकता को बनाए रखती है।
इसके अलावा, तकनीक एक प्रशिक्षण डेटासेट में पूर्वाग्रह के छिपे हुए स्रोतों की पहचान कर सकती है जिसमें लेबल का अभाव है। कई अनुप्रयोगों के लिए लेबल किए गए डेटा की तुलना में अनबेल्ड डेटा कहीं अधिक प्रचलित हैं।
इस विधि को उच्च-दांव स्थितियों में तैनात मशीन-लर्निंग मॉडल की निष्पक्षता में सुधार करने के लिए अन्य दृष्टिकोणों के साथ भी जोड़ा जा सकता है। उदाहरण के लिए, यह किसी दिन यह सुनिश्चित करने में मदद कर सकता है कि एक पक्षपाती एआई मॉडल के कारण कम मरीजों को गलत तरीके से गलत नहीं किया गया है।
“कई अन्य एल्गोरिदम जो इस मुद्दे को संबोधित करने की कोशिश करते हैं, प्रत्येक डेटापॉइंट के रूप में प्रत्येक दूसरे डेटापॉइंट के रूप में अधिक से अधिक मामलों को मानते हैं। इस पेपर में, हम दिखा रहे हैं कि धारणा सच नहीं है। हमारे डेटासेट में विशिष्ट बिंदु हैं जो इस पूर्वाग्रह में योगदान दे रहे हैं, और हम उन डेटा बिंदुओं को पा सकते हैं, उन्हें हटा सकते हैं, और बेहतर प्रदर्शन प्राप्त कर सकते हैं,” एक बिजली और कंप्यूटर के लिए।
उन्होंने सह-लीड लेखकों SAAACHI JAIN PHD ’24 और साथी EECs स्नातक छात्र क्रिस्टियन जॉर्जिव के साथ पेपर लिखा; एंड्रयू इलियास मेंग ’18, पीएचडी ’23, स्टैनफोर्ड विश्वविद्यालय में एक स्टीन फेलो; और वरिष्ठ लेखक मार्ज़ेह गासेमी, ईईसीएस में एक एसोसिएट प्रोफेसर और इंस्टीट्यूट ऑफ मेडिकल इंजीनियरिंग साइंसेज के सदस्य और सूचना और निर्णय प्रणालियों के लिए प्रयोगशाला, और एमआईटी में कैडेंस डिज़ाइन सिस्टम प्रोफेसर अलेक्जेंडर मैड्री। अनुसंधान को तंत्रिका सूचना प्रसंस्करण प्रणालियों पर सम्मेलन में प्रस्तुत किया जाएगा।
बुरे उदाहरणों को हटाना
अक्सर, मशीन-लर्निंग मॉडल को इंटरनेट पर कई स्रोतों से एकत्र किए गए विशाल डेटासेट का उपयोग करके प्रशिक्षित किया जाता है। ये डेटासेट बहुत बड़े हैं जो सावधानी से हाथ से क्यूरेट किए जाने के लिए हैं, इसलिए उनमें बुरे उदाहरण हो सकते हैं जो मॉडल प्रदर्शन को चोट पहुंचाते हैं।
वैज्ञानिकों को यह भी पता है कि कुछ डेटा बिंदु दूसरों की तुलना में कुछ डाउनस्ट्रीम कार्यों पर एक मॉडल के प्रदर्शन को प्रभावित करते हैं।
एमआईटी शोधकर्ताओं ने इन दो विचारों को एक दृष्टिकोण में जोड़ा जो इन समस्याग्रस्त डेटापॉइंट्स की पहचान और हटाता है। वे सबसे खराब समूह त्रुटि के रूप में जानी जाने वाली समस्या को हल करना चाहते हैं, जो तब होता है जब एक मॉडल एक प्रशिक्षण डेटासेट में अल्पसंख्यक उपसमूहों पर अंडरपरफॉर्म करता है।
शोधकर्ताओं की नई तकनीक पूर्व कार्य द्वारा संचालित की जाती है जिसमें उन्होंने एक विधि पेश की, जिसे TRAK कहा जाता है, जो एक विशिष्ट मॉडल आउटपुट के लिए सबसे महत्वपूर्ण प्रशिक्षण उदाहरणों की पहचान करता है।
इस नई तकनीक के लिए, वे गलत भविष्यवाणियां करते हैं, जो अल्पसंख्यक उपसमूहों के बारे में बनाए गए मॉडल को लेते हैं और TRAK का उपयोग करते हैं, यह पहचानने के लिए कि किस प्रशिक्षण के उदाहरणों ने उस गलत भविष्यवाणी में सबसे अधिक योगदान दिया।
“इस जानकारी को सही तरीके से खराब परीक्षण भविष्यवाणियों में एकत्रित करके, हम प्रशिक्षण के विशिष्ट भागों को खोजने में सक्षम हैं जो समग्र रूप से सबसे खराब समूह सटीकता को चला रहे हैं,” Ilyas बताते हैं।
फिर वे उन विशिष्ट नमूनों को हटाते हैं और शेष डेटा पर मॉडल को वापस लेते हैं।
चूंकि अधिक डेटा होने से आमतौर पर बेहतर समग्र प्रदर्शन होता है, इसलिए केवल उन नमूनों को हटाना जो सबसे खराब समूह की विफलताओं को चलाते हैं, अल्पसंख्यक उपसमूहों पर अपने प्रदर्शन को बढ़ावा देते हुए मॉडल की समग्र सटीकता को बनाए रखते हैं।
एक अधिक सुलभ दृष्टिकोण
तीन मशीन-लर्निंग डेटासेट के पार, उनकी विधि ने कई तकनीकों को बेहतर बनाया। एक उदाहरण में, इसने पारंपरिक डेटा बैलेंसिंग विधि की तुलना में लगभग 20,000 कम प्रशिक्षण नमूनों को हटाते हुए सबसे खराब समूह की सटीकता को बढ़ावा दिया। उनकी तकनीक ने उन तरीकों की तुलना में उच्च सटीकता भी हासिल की, जिन्हें एक मॉडल के आंतरिक कामकाज में परिवर्तन करने की आवश्यकता होती है।
क्योंकि MIT विधि में डेटासेट को बदलना शामिल है, इसके बजाय एक व्यवसायी के लिए उपयोग करना आसान होगा और कई प्रकार के मॉडल पर लागू किया जा सकता है।
इसका उपयोग तब भी किया जा सकता है जब पूर्वाग्रह अज्ञात है क्योंकि एक प्रशिक्षण डेटासेट में उपसमूहों को लेबल नहीं किया जाता है। Datapoints की पहचान करके जो मॉडल सीखने वाले एक सुविधा में सबसे अधिक योगदान करते हैं, वे एक भविष्यवाणी करने के लिए उपयोग किए जाने वाले चर को समझ सकते हैं।
“यह एक ऐसा उपकरण है जब कोई भी मशीन-लर्निंग मॉडल को प्रशिक्षित कर रहा होता है। वे उन डेटापॉइंट्स को देख सकते हैं और देख सकते हैं कि क्या वे उस क्षमता के साथ गठबंधन कर रहे हैं जो वे मॉडल को पढ़ाने की कोशिश कर रहे हैं,” हामिदिह कहते हैं।
अज्ञात उपसमूह पूर्वाग्रह का पता लगाने के लिए तकनीक का उपयोग करने के लिए इस बारे में अंतर्ज्ञान की आवश्यकता होगी कि किस समूह को देखना है, इसलिए शोधकर्ताओं को उम्मीद है कि इसे मान्य करने और भविष्य के मानव अध्ययन के माध्यम से इसे और अधिक पूरी तरह से पता लगाने की उम्मीद है।
वे अपनी तकनीक के प्रदर्शन और विश्वसनीयता में भी सुधार करना चाहते हैं और यह सुनिश्चित करना चाहते हैं कि विधि उन चिकित्सकों के लिए सुलभ और आसान है जो किसी दिन इसे वास्तविक दुनिया के वातावरण में तैनात कर सकते हैं।
“जब आपके पास ऐसे उपकरण होते हैं जो आपको गंभीर रूप से डेटा को देखने देते हैं और यह पता लगाते हैं कि कौन से डेटापॉइंट पूर्वाग्रह या अन्य अवांछनीय व्यवहार के लिए जा रहे हैं, तो यह आपको उन मॉडल के निर्माण की दिशा में पहला कदम देता है जो अधिक निष्पक्ष और अधिक विश्वसनीय होने जा रहे हैं,” इलियास कहते हैं।
यह काम, नेशनल साइंस फाउंडेशन और यूएस डिफेंस एडवांस्ड रिसर्च प्रोजेक्ट्स एजेंसी द्वारा, भाग में, भाग में है।
।
