जटिल इंटरैक्टिव सिस्टम का समन्वय करना, चाहे वह किसी शहर में परिवहन के विभिन्न तरीके हो या विभिन्न घटकों को एक प्रभावी और कुशल रोबोट बनाने के लिए एक साथ काम करना चाहिए, सॉफ्टवेयर डिजाइनरों से निपटने के लिए एक तेजी से महत्वपूर्ण विषय है। अब, MIT के शोधकर्ताओं ने इन जटिल समस्याओं के करीब पहुंचने का एक पूरी तरह से नया तरीका विकसित किया है, सरल आरेखों का उपयोग करते हुए एक उपकरण के रूप में एक उपकरण के रूप में गहन-लर्निंग मॉडल में सॉफ्टवेयर अनुकूलन के लिए बेहतर दृष्टिकोण प्रकट करने के लिए।
वे कहते हैं कि नई विधि इन जटिल कार्यों को इतना सरल बनाती है कि इसे एक ड्राइंग में कम किया जा सकता है जो एक नैपकिन के पीछे फिट होगा।
जर्नल में नया दृष्टिकोण वर्णित है मशीन लर्निंग रिसर्च का लेनदेनइनकमिंग डॉक्टरेट स्टूडेंट विंसेंट एबॉट और एमआईटी की प्रयोगशाला के प्रोफेसर गिओले जार्डिनी द्वारा सूचना और निर्णय प्रणालियों (LIDS) के लिए एक पेपर में।
“हमने इन नई प्रणालियों के बारे में बात करने के लिए एक नई भाषा तैयार की,” जरदीनी कहते हैं। यह नया आरेख-आधारित “भाषा” श्रेणी सिद्धांत नामक किसी चीज़ पर आधारित है, वह बताते हैं।
यह सब कंप्यूटर एल्गोरिदम की अंतर्निहित वास्तुकला को डिजाइन करने के साथ करना है – वे कार्यक्रम जो वास्तव में सेंसिंग और सिस्टम के विभिन्न विभिन्न हिस्सों को नियंत्रित करेंगे जो अनुकूलित किए जा रहे हैं। “घटक एक एल्गोरिथ्म के अलग -अलग टुकड़े हैं, और उन्हें एक -दूसरे से बात करनी है, जानकारी का आदान -प्रदान करना है, लेकिन ऊर्जा उपयोग, स्मृति की खपत, और इसी तरह के लिए भी जिम्मेदार है।” इस तरह के अनुकूलन कुख्यात हैं क्योंकि सिस्टम के एक हिस्से में प्रत्येक परिवर्तन बदले में अन्य भागों में परिवर्तन का कारण बन सकता है, जो आगे अन्य भागों को प्रभावित कर सकता है, और इसी तरह।
शोधकर्ताओं ने गहरे-लर्निंग एल्गोरिदम के विशेष वर्ग पर ध्यान केंद्रित करने का निर्णय लिया, जो वर्तमान में अनुसंधान का एक गर्म विषय है। डीप लर्निंग बड़े कृत्रिम बुद्धिमत्ता मॉडल का आधार है, जिसमें बड़े भाषा मॉडल जैसे कि चैट और छवि-जनरेशन मॉडल जैसे कि मिडजॉर्नी शामिल हैं। ये मॉडल मैट्रिक्स गुणाओं की “गहरी” श्रृंखला द्वारा डेटा में हेरफेर करते हैं जो अन्य कार्यों के साथ प्रतिच्छेदित होते हैं। मैट्रिसेस के भीतर की संख्या पैरामीटर हैं, और लंबे प्रशिक्षण रन के दौरान अपडेट किए जाते हैं, जिससे जटिल पैटर्न मिलते हैं। मॉडल में अरबों के पैरामीटर होते हैं, जो गणना महंगी बनाते हैं, और इसलिए संसाधन उपयोग और अनुकूलन अमूल्य में सुधार करते हैं।
आरेख उन समानांतर संचालन के विवरण का प्रतिनिधित्व कर सकते हैं, जिनमें गहरे-लर्निंग मॉडल शामिल हैं, जो एल्गोरिदम और समानांतर ग्राफिक्स प्रोसेसिंग यूनिट (GPU) हार्डवेयर के बीच संबंधों को प्रकट करते हैं, जो वे चलाते हैं, जो NVIDIA जैसी कंपनियों द्वारा आपूर्ति की जाती है। “मैं इस बारे में बहुत उत्साहित हूं,” जार्डिनी कहती है, क्योंकि “हमें लगता है कि एक ऐसी भाषा मिली है जो बहुत अच्छी तरह से गहरी सीखने के एल्गोरिदम का वर्णन करती है, स्पष्ट रूप से सभी महत्वपूर्ण चीजों का प्रतिनिधित्व करती है, जो आपके द्वारा उपयोग किए जाने वाले ऑपरेटर हैं,” उदाहरण के लिए ऊर्जा की खपत, मेमोरी आवंटन, और कोई अन्य पैरामीटर जिसे आप अनुकूलित करने की कोशिश कर रहे हैं।
डीप लर्निंग के भीतर की अधिकांश प्रगति संसाधन दक्षता अनुकूलन से उपजी है। नवीनतम दीपसेक मॉडल ने दिखाया कि एक छोटी टीम संसाधन दक्षता और सॉफ्टवेयर और हार्डवेयर के बीच संबंध पर ध्यान केंद्रित करके ओपनई और अन्य प्रमुख प्रयोगशालाओं से शीर्ष मॉडल के साथ प्रतिस्पर्धा कर सकती है। आमतौर पर, इन अनुकूलन को प्राप्त करने में, वे कहते हैं, “लोगों को नए आर्किटेक्चर की खोज के लिए बहुत अधिक परीक्षण और त्रुटि की आवश्यकता होती है।” उदाहरण के लिए, फ्लैशटेंशन नामक एक व्यापक रूप से इस्तेमाल किया जाने वाला अनुकूलन कार्यक्रम विकसित होने में चार साल से अधिक समय लगा, वे कहते हैं। लेकिन नए ढांचे के साथ उन्होंने विकसित किया, “हम वास्तव में इस समस्या को अधिक औपचारिक तरीके से देख सकते हैं।” और यह सब एक सटीक रूप से परिभाषित चित्रमय भाषा में नेत्रहीन रूप से दर्शाया गया है।
लेकिन इन सुधारों को खोजने के लिए जिन तरीकों का उपयोग किया गया है, “वे बहुत सीमित हैं,” वे कहते हैं। “मुझे लगता है कि यह दर्शाता है कि एक प्रमुख अंतर है, इसमें हमारे पास एक एल्गोरिथ्म से संबंधित एक औपचारिक व्यवस्थित विधि नहीं है या तो इसके इष्टतम निष्पादन से संबंधित है, या वास्तव में यह भी समझना है कि कितने संसाधनों को चलाने में लगेगा।” लेकिन अब, नए आरेख-आधारित विधि के साथ वे तैयार किए गए, इस तरह की प्रणाली मौजूद है।
श्रेणी सिद्धांत, जो इस दृष्टिकोण को रेखांकित करता है, गणितीय रूप से एक प्रणाली के विभिन्न घटकों का वर्णन करने का एक तरीका है और वे एक सामान्यीकृत, अमूर्त तरीके से कैसे बातचीत करते हैं। अलग -अलग दृष्टिकोण संबंधित हो सकते हैं। उदाहरण के लिए, गणितीय सूत्र एल्गोरिदम से संबंधित हो सकते हैं जो उन्हें लागू करते हैं और संसाधनों का उपयोग करते हैं, या सिस्टम के विवरण “मोनोइडल स्ट्रिंग आरेख” से संबंधित हो सकते हैं। ये विज़ुअलाइज़ेशन आपको सीधे खेलने और प्रयोग करने की अनुमति देते हैं कि विभिन्न भागों को कैसे कनेक्ट किया जाता है और बातचीत करते हैं। वे जो विकसित करते हैं, वह कहता है, “स्टेरॉयड पर स्ट्रिंग आरेख” की मात्रा है, जिसमें कई और ग्राफिकल सम्मेलनों और कई अधिक गुण शामिल हैं।
“श्रेणी सिद्धांत को अमूर्तता और रचना के गणित के रूप में माना जा सकता है,” एबट कहते हैं। “किसी भी रचना प्रणाली को श्रेणी सिद्धांत का उपयोग करके वर्णित किया जा सकता है, और फिर रचना प्रणालियों के बीच संबंध का भी अध्ययन किया जा सकता है।” वे कहते हैं कि बीजीय नियम जो आमतौर पर कार्यों से जुड़े होते हैं, उन्हें आरेख के रूप में भी दर्शाया जा सकता है। “फिर, बहुत सारे दृश्य ट्रिक्स हम आरेखों के साथ कर सकते हैं, हम बीजगणितीय ट्रिक्स और कार्यों से संबंधित हो सकते हैं। इसलिए, यह इन विभिन्न प्रणालियों के बीच यह पत्राचार बनाता है।”
नतीजतन, वे कहते हैं, “यह एक बहुत ही महत्वपूर्ण समस्या को हल करता है, जो यह है कि हमारे पास ये गहरे-सीखने वाले एल्गोरिदम हैं, लेकिन वे स्पष्ट रूप से गणितीय मॉडल के रूप में नहीं समझे गए हैं।” लेकिन उन्हें आरेख के रूप में प्रतिनिधित्व करके, उन्हें औपचारिक और व्यवस्थित रूप से संपर्क करना संभव हो जाता है, वे कहते हैं।
एक बात यह सक्षम करती है कि समानांतर वास्तविक दुनिया की प्रक्रियाओं को मल्टीकोर कंप्यूटर जीपीयू में समानांतर प्रसंस्करण द्वारा प्रतिनिधित्व करने के तरीके की एक स्पष्ट दृश्य समझ है। “इस तरह से,” एबट कहते हैं, “आरेख दोनों एक फ़ंक्शन का प्रतिनिधित्व कर सकते हैं, और फिर यह बता सकते हैं कि इसे GPU पर इसे कैसे निष्पादित किया जाए।”
“ध्यान” एल्गोरिथ्म का उपयोग डीप-लर्निंग एल्गोरिदम द्वारा किया जाता है, जिन्हें सामान्य, प्रासंगिक जानकारी की आवश्यकता होती है, और यह सीरियलाइज्ड ब्लॉक का एक प्रमुख चरण है जो बड़े भाषा मॉडल जैसे कि CHATGPT का गठन करता है। Flashattention एक अनुकूलन है जिसे विकसित होने में वर्षों लग गए, लेकिन ध्यान एल्गोरिदम की गति में छह गुना सुधार हुआ।
अच्छी तरह से स्थापित फ़्लैशटेंशन एल्गोरिथ्म के लिए अपनी विधि को लागू करते हुए, ज़ार्डिनी का कहना है कि “यहां हम इसे प्राप्त करने में सक्षम हैं, शाब्दिक रूप से, एक नैपकिन पर।” वह फिर कहते हैं, “ठीक है, शायद यह एक बड़ा नैपकिन है।” लेकिन इस बात के बारे में घर चलाने के लिए कि उनका नया दृष्टिकोण इन जटिल एल्गोरिदम से निपटने के लिए कितना सरल हो सकता है, उन्होंने अपने औपचारिक शोध पत्र को काम पर “एक नैपकिन पर फ्लैशटेंशन” शीर्षक दिया।
यह विधि, एबॉट कहते हैं, “अनुकूलन के लिए वास्तव में जल्दी से प्राप्त होने की अनुमति देता है, प्रचलित तरीकों के विपरीत।” हालांकि, उन्होंने शुरू में इस दृष्टिकोण को पहले से मौजूद फ्लैशटेंशन एल्गोरिथ्म को लागू किया, इस प्रकार इसकी प्रभावशीलता को सत्यापित करते हुए, “हम अब इस भाषा का उपयोग सुधार की पहचान करने के लिए स्वचालित करने के लिए करते हैं,” जार्डिनी कहते हैं, जो लिड्स में एक प्रमुख अन्वेषक होने के अलावा, सिविल और एनवायरनमेंटल इंजीनियरिंग के रूड और नैन्सी एलन असिस्टेंट प्रोफेसर हैं, और डेटा के लिए इंस्टीट्यूट, सिस्टम, सिस्टम के साथ एक एफिलिएट फैकल्टी।
योजना यह है कि अंततः, वे कहते हैं, वे सॉफ़्टवेयर को इस बिंदु पर विकसित करेंगे कि “शोधकर्ता अपने कोड को अपलोड करता है, और नए एल्गोरिथ्म के साथ आप स्वचालित रूप से पता लगाते हैं कि क्या सुधार किया जा सकता है, क्या अनुकूलित किया जा सकता है, और आप उपयोगकर्ता को एल्गोरिथ्म का एक अनुकूलित संस्करण वापस करते हैं।”
एल्गोरिथ्म अनुकूलन को स्वचालित करने के अलावा, जार्डिनी ने नोट किया कि हार्डवेयर संसाधन उपयोग से संबंधित गहन-लर्निंग एल्गोरिदम कैसे संबंधित है, इसका एक मजबूत विश्लेषण हार्डवेयर और सॉफ्टवेयर के व्यवस्थित सह-डिजाइन के लिए अनुमति देता है। काम की यह पंक्ति जार्डिनी के श्रेणीबद्ध सह-डिजाइन पर ध्यान केंद्रित करने के साथ एकीकृत करती है, जो कि इंजीनियर सिस्टम के विभिन्न घटकों को एक साथ अनुकूलित करने के लिए श्रेणी सिद्धांत के उपकरणों का उपयोग करती है।
एबॉट का कहना है कि “अनुकूलित गहरे सीखने के मॉडल का यह पूरा क्षेत्र, मेरा मानना है कि, काफी गंभीर रूप से अनियंत्रित है, और यही कारण है कि ये आरेख बहुत रोमांचक हैं। वे इस समस्या के लिए एक व्यवस्थित दृष्टिकोण के लिए दरवाजे खोलते हैं।”
Answers.ai के संस्थापक और सीईओ, जो इस काम से जुड़े नहीं थे, “इस पेपर द्वारा उपयोग किए जाने वाले गहरी-लर्निंग एल्गोरिदम को आरेखित करने का नया दृष्टिकोण बहुत महत्वपूर्ण कदम हो सकता है। “यह पेपर पहली बार है जब मैंने इस तरह के एक संकेतन को देखा है जिसका उपयोग वास्तविक दुनिया के हार्डवेयर पर एक गहरी-लर्निंग एल्गोरिथ्म के प्रदर्शन का गहराई से विश्लेषण करने के लिए किया जाता है। … अगला कदम यह देखना होगा कि क्या वास्तविक दुनिया के प्रदर्शन लाभ को प्राप्त किया जा सकता है।”
Google DeePmind के एक वरिष्ठ शोध वैज्ञानिक और कैम्ब्रिज यूनिवर्सिटी के एक व्याख्याता पेटर वेलिकोविक कहते हैं, “यह सैद्धांतिक अनुसंधान का एक सुंदर रूप से निष्पादित टुकड़ा है, जो कि असिंचित पाठकों के लिए उच्च पहुंच के लिए भी है – इस तरह के कागजात में शायद ही कभी देखा गया एक विशेषता है।” ये शोधकर्ता, वे कहते हैं, “स्पष्ट रूप से उत्कृष्ट संचारक हैं, और मैं यह देखने के लिए इंतजार नहीं कर सकता कि वे आगे क्या करते हैं!”
नई आरेख-आधारित भाषा, ऑनलाइन पोस्ट की गई है, पहले से ही सॉफ्टवेयर डेवलपर्स से बहुत ध्यान और रुचि को आकर्षित कर चुकी है। एबॉट के पूर्व पेपर के एक समीक्षक ने आरेखों को पेश करते हुए कहा कि “प्रस्तावित तंत्रिका सर्किट आरेख एक कलात्मक दृष्टिकोण से बहुत अच्छे लगते हैं (जहां तक मैं इसे जज करने में सक्षम हूं)।” “यह तकनीकी अनुसंधान है, लेकिन यह भी आकर्षक है!” ज़ार्डिनी कहती है।
।
