मेडिकल इमेज प्रोसेसिंग और स्पीच रिकग्निशन जैसे अनुप्रयोगों में उपयोग किए जाने वाले तंत्रिका नेटवर्क आर्टिफिशियल इंटेलिजेंस मॉडल बेहद जटिल डेटा संरचनाओं पर संचालन करते हैं, जिन्हें संसाधित करने के लिए गणना की एक बड़ी मात्रा की आवश्यकता होती है। यह एक कारण है कि डीप-लर्निंग मॉडल इतनी ऊर्जा का उपभोग करते हैं।
एआई मॉडल की दक्षता में सुधार करने के लिए, एमआईटी शोधकर्ताओं ने एक स्वचालित प्रणाली बनाई जो गहन शिक्षण एल्गोरिदम के डेवलपर्स को एक साथ दो प्रकार के डेटा अतिरेक का लाभ उठाने में सक्षम बनाता है। यह मशीन सीखने के संचालन के लिए आवश्यक गणना, बैंडविड्थ और मेमोरी स्टोरेज की मात्रा को कम करता है।
एल्गोरिदम के अनुकूलन के लिए मौजूदा तकनीक बोझिल हो सकती है और आमतौर पर केवल डेवलपर्स को या तो स्पार्सिटी या समरूपता को भुनाने की अनुमति देता है – दो अलग -अलग प्रकार के अतिरेक जो गहरे सीखने के डेटा संरचनाओं में मौजूद हैं।
एक डेवलपर को स्क्रैच से एक एल्गोरिथ्म बनाने में सक्षम करके, जो एक साथ दोनों अतिरेक का लाभ उठाता है, एमआईटी शोधकर्ताओं के दृष्टिकोण ने कुछ प्रयोगों में लगभग 30 बार गणना की गति को बढ़ाया।
क्योंकि सिस्टम एक उपयोगकर्ता के अनुकूल प्रोग्रामिंग भाषा का उपयोग करता है, यह अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए मशीन-लर्निंग एल्गोरिदम को अनुकूलित कर सकता है। यह प्रणाली उन वैज्ञानिकों की भी मदद कर सकती है जो गहरी सीखने के विशेषज्ञ नहीं हैं, लेकिन एआई एल्गोरिदम की दक्षता में सुधार करना चाहते हैं जो वे डेटा को संसाधित करने के लिए उपयोग करते हैं। इसके अलावा, सिस्टम में वैज्ञानिक कंप्यूटिंग में एप्लिकेशन हो सकते हैं।
विलो अहरेंस, एक एमआईटी पोस्टडॉक और सिस्टम पर एक पेपर के सह-लेखक को इंटरनेशनल सिमोसेपरी में प्रस्तुत करने के लिए, “इसके बजाय इन डेटा अतिरेक को कैप्चर करने से इन डेटा अतिरेक को कैप्चर करने से बहुत अधिक कार्यान्वयन के प्रयासों की आवश्यकता होती है।
वह लीड लेखक राधा पटेल ’23, एसएम ’24 और वरिष्ठ लेखक समन अमरसिंघे, इलेक्ट्रिकल इंजीनियरिंग एंड कंप्यूटर साइंस (ईईसीएस) के प्रोफेसर और कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (CSAIL) में एक प्रमुख शोधकर्ता द्वारा कागज पर शामिल हैं।
कम्प्यूटेशन को काट देना
मशीन लर्निंग में, डेटा को अक्सर टेनर्स के रूप में जाना जाने वाला बहुआयामी सरणियों के रूप में प्रतिनिधित्व और हेरफेर किया जाता है। एक टेंसर एक मैट्रिक्स की तरह है, जो दो अक्षों, पंक्तियों और स्तंभों पर व्यवस्थित मूल्यों का एक आयताकार सरणी है। लेकिन एक दो-आयामी मैट्रिक्स के विपरीत, एक टेंसर में कई आयाम, या कुल्हाड़ियों हो सकते हैं, जिससे टेन्सर को हेरफेर करना अधिक कठिन हो जाता है।
डीप-लर्निंग मॉडल बार-बार मैट्रिक्स गुणा और जोड़ का उपयोग करके टेंसर्स पर संचालन करते हैं-यह प्रक्रिया है कि कैसे तंत्रिका नेटवर्क डेटा में जटिल पैटर्न सीखते हैं। इन बहुआयामी डेटा संरचनाओं पर किए जाने वाले गणनाओं की सरासर मात्रा में गणना और ऊर्जा की एक बड़ी मात्रा की आवश्यकता होती है।
लेकिन जिस तरह से टेंसर्स में डेटा की व्यवस्था की जाती है, उसके कारण इंजीनियर अक्सर निरर्थक संगणनाओं को काटकर तंत्रिका नेटवर्क की गति को बढ़ावा दे सकते हैं।
उदाहरण के लिए, यदि कोई टेंसर ई-कॉमर्स साइट से उपयोगकर्ता की समीक्षा डेटा का प्रतिनिधित्व करता है, क्योंकि प्रत्येक उपयोगकर्ता ने प्रत्येक उत्पाद की समीक्षा नहीं की है, तो उस टेंसर में अधिकांश मान शून्य होने की संभावना है। इस प्रकार के डेटा अतिरेक को स्पर्सिटी कहा जाता है। एक मॉडल केवल गैर-शून्य मूल्यों पर भंडारण और संचालन करके समय और गणना को बचा सकता है।
इसके अलावा, कभी -कभी एक टेंसर सममित होता है, जिसका अर्थ है कि डेटा संरचना के शीर्ष आधे और निचले आधे समान हैं। इस मामले में, मॉडल को केवल एक आधे हिस्से पर संचालित करने की आवश्यकता होती है, जिससे गणना की मात्रा कम हो जाती है। इस प्रकार के डेटा अतिरेक को समरूपता कहा जाता है।
“लेकिन जब आप इन दोनों अनुकूलन को पकड़ने की कोशिश करते हैं, तो स्थिति काफी जटिल हो जाती है,” अहरेंस कहते हैं।
प्रक्रिया को सरल बनाने के लिए, उसने और उसके सहयोगियों ने एक नया कंपाइलर बनाया, जो एक कंप्यूटर प्रोग्राम है जो जटिल कोड को एक सरल भाषा में अनुवाद करता है जिसे मशीन द्वारा संसाधित किया जा सकता है। उनके संकलक, जिसे SYSTEC कहा जाता है, टेन्सर में स्वचालित रूप से स्पार्सिटी और समरूपता दोनों का लाभ उठाकर कम्प्यूटेशन का अनुकूलन कर सकता है।
उन्होंने तीन प्रमुख अनुकूलन की पहचान करके सिस्टेक के निर्माण की प्रक्रिया शुरू की, जो वे समरूपता का उपयोग करके प्रदर्शन कर सकते हैं।
सबसे पहले, यदि एल्गोरिथ्म का आउटपुट टेंसर सममित है, तो उसे केवल एक आधे की गणना करने की आवश्यकता है। दूसरा, यदि इनपुट टेंसर सममित है, तो एल्गोरिथ्म को केवल एक आधा पढ़ने की आवश्यकता है। अंत में, यदि टेंसर संचालन के मध्यवर्ती परिणाम सममित हैं, तो एल्गोरिथ्म निरर्थक संगणनाओं को छोड़ सकता है।
एक साथ अनुकूलन
SYSTEC का उपयोग करने के लिए, एक डेवलपर उनके कार्यक्रम को इनपुट करता है और सिस्टम स्वचालित रूप से सभी तीन प्रकार की समरूपता के लिए उनके कोड का अनुकूलन करता है। फिर SYSTEC का दूसरा चरण केवल गैर-शून्य डेटा मानों को संग्रहीत करने के लिए अतिरिक्त परिवर्तन करता है, जो कि स्पार्सिटी के लिए कार्यक्रम का अनुकूलन करता है।
अंत में, SYSTEC रेडी-टू-यूज़ कोड उत्पन्न करता है।
“इस तरह, हम दोनों अनुकूलन के लाभ प्राप्त करते हैं। और समरूपता के बारे में दिलचस्प बात यह है, क्योंकि आपके टेंसर के अधिक आयाम हैं, आप कम्प्यूटेशन पर और भी अधिक बचत प्राप्त कर सकते हैं,” अहरेंस कहते हैं।
शोधकर्ताओं ने SYSTEC द्वारा स्वचालित रूप से उत्पन्न कोड के साथ 30 के लगभग एक कारक के स्पीडअप का प्रदर्शन किया।
क्योंकि सिस्टम स्वचालित है, यह उन स्थितियों में विशेष रूप से उपयोगी हो सकता है जहां एक वैज्ञानिक एक एल्गोरिथ्म का उपयोग करके डेटा को संसाधित करना चाहता है जो वे खरोंच से लिख रहे हैं।
भविष्य में, शोधकर्ता उपयोगकर्ताओं के लिए एक सहज इंटरफ़ेस बनाने के लिए SYSTEC को मौजूदा विरल टेंसर कंपाइलर सिस्टम में एकीकृत करना चाहते हैं। इसके अलावा, वे अधिक जटिल कार्यक्रमों के लिए कोड का अनुकूलन करने के लिए इसका उपयोग करना चाहेंगे।
यह काम, इंटेल, नेशनल साइंस फाउंडेशन, डिफेंस एडवांस्ड रिसर्च प्रोजेक्ट्स एजेंसी और ऊर्जा विभाग द्वारा, भाग में, भाग में है।
।
