मशीन-लर्निंग मॉडल गलतियाँ कर सकते हैं और उपयोग करना मुश्किल हो सकता है, इसलिए वैज्ञानिकों ने उपयोगकर्ताओं को यह समझने में मदद करने के लिए स्पष्टीकरण के तरीके विकसित किए हैं कि उन्हें कब और कैसे एक मॉडल की भविष्यवाणियों पर भरोसा करना चाहिए।
ये स्पष्टीकरण अक्सर जटिल होते हैं, हालांकि, शायद सैकड़ों मॉडल सुविधाओं के बारे में जानकारी होती है। और उन्हें कभी-कभी बहुमुखी विज़ुअलाइज़ेशन के रूप में प्रस्तुत किया जाता है जो उन उपयोगकर्ताओं के लिए मुश्किल हो सकता है जिनके पास पूरी तरह से समझने के लिए मशीन-लर्निंग विशेषज्ञता की कमी है।
लोगों को एआई स्पष्टीकरण की समझ बनाने में मदद करने के लिए, एमआईटी शोधकर्ताओं ने प्लॉट-आधारित स्पष्टीकरण को सादे भाषा में बदलने के लिए बड़े भाषा मॉडल (एलएलएम) का उपयोग किया।
उन्होंने एक दो-भाग प्रणाली विकसित की जो एक मशीन-लर्निंग स्पष्टीकरण को मानव-पठनीय पाठ के एक पैराग्राफ में परिवर्तित करती है और फिर स्वचालित रूप से कथा की गुणवत्ता का मूल्यांकन करती है, इसलिए एक एंड-यूज़र जानता है कि इस पर भरोसा करना है या नहीं।
कुछ उदाहरण स्पष्टीकरण के साथ सिस्टम को संकेत देकर, शोधकर्ता उपयोगकर्ताओं की वरीयताओं या विशिष्ट अनुप्रयोगों की आवश्यकताओं को पूरा करने के लिए इसके कथात्मक विवरणों को अनुकूलित कर सकते हैं।
लंबे समय में, शोधकर्ताओं ने उपयोगकर्ताओं को इस तकनीक पर निर्माण करने की उम्मीद की, जिससे उपयोगकर्ताओं को एक मॉडल अनुवर्ती प्रश्न पूछने में सक्षम बनाया जा सके कि यह वास्तविक दुनिया की सेटिंग्स में भविष्यवाणियों के साथ कैसे आया।
इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस (ईईसीएस) स्नातक छात्र और इस तकनीक पर एक पेपर के लीड लेखक एलेक्जेंड्रा ज़िटेक का कहना है, “इस शोध के साथ हमारा लक्ष्य उपयोगकर्ताओं को कुछ भविष्यवाणियों के कारणों के बारे में मशीन-लर्निंग मॉडल के साथ पूर्ण-विकसित बातचीत करने की अनुमति देने की दिशा में पहला कदम उठाना था, इसलिए वे मॉडल को सुनने के बारे में बेहतर निर्णय ले सकते हैं।”
वह एक एमआईटी पोस्टडॉक सारा पिडो द्वारा कागज पर शामिल है; सारा अलनेघिमिश, एक ईईसीएस स्नातक छात्र; लॉर बर्ट-पर, फ्रांसीसी नेशनल रिसर्च इंस्टीट्यूट फॉर सस्टेनेबल डेवलपमेंट में एक शोध निदेशक; और वरिष्ठ लेखक कल्याण वीरमाचननी, सूचना और निर्णय प्रणालियों के लिए प्रयोगशाला में एक प्रमुख अनुसंधान वैज्ञानिक। अनुसंधान IEEE बिग डेटा सम्मेलन में प्रस्तुत किया जाएगा।
स्पष्टीकरण स्पष्टीकरण
शोधकर्ताओं ने एक लोकप्रिय प्रकार के मशीन-लर्निंग स्पष्टीकरण पर ध्यान केंद्रित किया जिसे शाप कहा जाता है। एक आकार की व्याख्या में, एक मूल्य प्रत्येक सुविधा को सौंपा जाता है जिसे मॉडल एक भविष्यवाणी करने के लिए उपयोग करता है। उदाहरण के लिए, यदि कोई मॉडल घर की कीमतों की भविष्यवाणी करता है, तो एक सुविधा घर का स्थान हो सकता है। स्थान को एक सकारात्मक या नकारात्मक मूल्य सौंपा जाएगा जो यह दर्शाता है कि उस सुविधा ने मॉडल की समग्र भविष्यवाणी को कितना संशोधित किया है।
अक्सर, आकार स्पष्टीकरण को बार भूखंडों के रूप में प्रस्तुत किया जाता है जो दिखाते हैं कि कौन सी विशेषताएं सबसे कम या कम से कम महत्वपूर्ण हैं। लेकिन 100 से अधिक सुविधाओं वाले एक मॉडल के लिए, उस बार प्लॉट जल्दी से अनियंत्रित हो जाता है।
“शोधकर्ताओं के रूप में, हमें इस बारे में बहुत सारे विकल्प बनाना होगा कि हम नेत्रहीन रूप से क्या पेश करने जा रहे हैं। यदि हम केवल शीर्ष 10 को दिखाने के लिए चुनते हैं, तो लोग आश्चर्यचकित हो सकते हैं कि एक और सुविधा के साथ क्या हुआ जो कि कथानक में नहीं है। प्राकृतिक भाषा का उपयोग करके हमें उन विकल्पों को बनाने से असंतुलित हो जाता है,” वीरमाचनी कहते हैं।
हालांकि, प्राकृतिक भाषा में स्पष्टीकरण उत्पन्न करने के लिए एक बड़े भाषा मॉडल का उपयोग करने के बजाय, शोधकर्ता एक मौजूदा आकृतियों के स्पष्टीकरण को एक पठनीय कथा में बदलने के लिए एलएलएम का उपयोग करते हैं।
केवल एलएलएम प्रक्रिया के प्राकृतिक भाषा के हिस्से को संभालने से, यह स्पष्टीकरण में अशुद्धियों को पेश करने के अवसर को सीमित करता है, ज़िटेक बताते हैं।
उनकी प्रणाली, जिसे एक्सप्लिंगो कहा जाता है, को दो टुकड़ों में विभाजित किया जाता है जो एक साथ काम करते हैं।
पहला घटक, जिसे कथाकार कहा जाता है, उपयोगकर्ता वरीयताओं को पूरा करने वाले आकार के स्पष्टीकरण के कथा विवरण बनाने के लिए एक एलएलएम का उपयोग करता है। शुरू में कथाकारों को कथा स्पष्टीकरण के तीन से पांच लिखित उदाहरणों को खिलाकर, एलएलएम पाठ उत्पन्न करते समय उस शैली की नकल करेगा।
“उपयोगकर्ता को यह परिभाषित करने की कोशिश करने के बजाय कि वे किस प्रकार के स्पष्टीकरण की तलाश कर रहे हैं, यह आसान है कि वे उन्हें लिखना चाहते हैं जो वे देखना चाहते हैं,” ज़िटेक कहते हैं।
यह कथाकार को नए उपयोग के मामलों के लिए आसानी से अनुकूलित करने की अनुमति देता है, इसे मैन्युअल रूप से लिखित उदाहरणों का एक अलग सेट दिखा रहा है।
कथावाचक के बाद एक सादे भाषा की व्याख्या बनाता है, दूसरा घटक, ग्रेडर, चार मेट्रिक्स पर कथा को रेट करने के लिए एक एलएलएम का उपयोग करता है: संक्षिप्तता, सटीकता, पूर्णता और प्रवाह। ग्रेडर स्वचालित रूप से कथाकार से पाठ के साथ एलएलएम को संकेत देता है और यह बताता है कि आकार स्पष्टीकरण।
“हम पाते हैं कि, यहां तक कि जब कोई एलएलएम एक कार्य करने की गलती करता है, तो यह अक्सर उस कार्य की जाँच या मान्य करते समय गलती नहीं करेगा,” वह कहती हैं।
उपयोगकर्ता प्रत्येक मीट्रिक को अलग -अलग वजन देने के लिए ग्रेडर को भी अनुकूलित कर सकते हैं।
“आप कल्पना कर सकते हैं, एक उच्च-दांव के मामले में, सटीकता और पूर्णता को प्रवाहित करने की तुलना में बहुत अधिक, उदाहरण के लिए,” वह कहती हैं।
आख्यानों का विश्लेषण करना
ज़िटेक और उसके सहयोगियों के लिए, सबसे बड़ी चुनौतियों में से एक एलएलएम को समायोजित कर रहा था, इसलिए इसने प्राकृतिक-ध्वनि वाले आख्यानों को उत्पन्न किया। जितना अधिक दिशानिर्देश उन्होंने शैली को नियंत्रित करने के लिए जोड़े, उतनी ही अधिक संभावना है कि एलएलएम स्पष्टीकरण में त्रुटियों को पेश करेगा।
वह कहती हैं, “बहुत सारी त्वरित ट्यूनिंग एक बार में प्रत्येक गलती को खोजने और ठीक करने में चली गई।”
अपने सिस्टम का परीक्षण करने के लिए, शोधकर्ताओं ने स्पष्टीकरण के साथ नौ मशीन-लर्निंग डेटासेट लिए और अलग-अलग उपयोगकर्ता प्रत्येक डेटासेट के लिए कथा लिखते थे। इसने उन्हें अद्वितीय शैलियों की नकल करने के लिए कथाकार की क्षमता का मूल्यांकन करने की अनुमति दी। उन्होंने सभी चार मेट्रिक्स पर प्रत्येक कथा स्पष्टीकरण को स्कोर करने के लिए ग्रेडर का उपयोग किया।
अंत में, शोधकर्ताओं ने पाया कि उनकी प्रणाली उच्च गुणवत्ता वाले कथा स्पष्टीकरण उत्पन्न कर सकती है और विभिन्न लेखन शैलियों की प्रभावी रूप से नकल कर सकती है।
उनके परिणाम बताते हैं कि कुछ मैन्युअल रूप से लिखित उदाहरण स्पष्टीकरण प्रदान करने से कथा शैली में बहुत सुधार होता है। हालांकि, उन उदाहरणों को ध्यान से लिखा जाना चाहिए – जिसमें तुलनात्मक शब्दों सहित, जैसे “बड़े”, ग्रेडर को सटीक स्पष्टीकरण को गलत के रूप में चिह्नित करने का कारण बन सकता है।
इन परिणामों पर निर्माण, शोधकर्ता उन तकनीकों का पता लगाना चाहते हैं जो उनके सिस्टम को तुलनात्मक शब्दों को बेहतर ढंग से संभालने में मदद कर सकें। वे स्पष्टीकरण में युक्तिकरण जोड़कर भी एक्सप्लिंगो का विस्तार करना चाहते हैं।
लंबे समय में, वे इस काम को एक इंटरैक्टिव सिस्टम की ओर एक कदम के रूप में उपयोग करने की उम्मीद करते हैं, जहां उपयोगकर्ता एक स्पष्टीकरण के बारे में एक मॉडल अनुवर्ती प्रश्न पूछ सकता है।
“यह निर्णय लेने में बहुत मदद करेगा। बहुत सारे तरीकों से। यदि लोग एक मॉडल की भविष्यवाणी से असहमत हैं, तो हम चाहते हैं कि वे जल्दी से यह पता लगाने में सक्षम हों कि क्या उनका अंतर्ज्ञान सही है, या यदि मॉडल का अंतर्ज्ञान सही है, और यह अंतर कहां से आ रहा है,” ज़िटेक कहते हैं।
।
