जैसा कि एआई गोद लेने से डिजिटल बुनियादी ढांचे में वृद्धि होती है, उद्यमों और डेवलपर्स को प्रदर्शन, स्केलेबिलिटी और अनुकूलनशीलता के साथ कम्प्यूटेशनल लागतों को संतुलित करने के लिए बढ़ते दबाव का सामना करना पड़ता है। बड़ी भाषा मॉडल (एलएलएम) की तेजी से उन्नति ने प्राकृतिक भाषा की समझ, तर्क और संवादी एआई में नए मोर्चे खोले हैं। फिर भी, उनका सरासर आकार और जटिलता अक्सर अक्षमताओं का परिचय देती है जो पैमाने पर तैनाती को रोकती है। इस गतिशील परिदृश्य में, सवाल बना हुआ है: क्या एआई आर्किटेक्चर ओवरहेड या वित्तीय लागतों की गणना किए बिना उच्च प्रदर्शन को बनाए रखने के लिए विकसित हो सकता है? एनवीडिया की नवाचार गाथा में अगला अध्याय दर्ज करें, एक समाधान जो एआई की कार्यात्मक सीमाओं का विस्तार करते हुए इस ट्रेडऑफ को अनुकूलित करना चाहता है।
Nvidia ने जारी किया Llama-3.1-nemotron-ultra-253b-V1एक 253 बिलियन पैरामीटर भाषा मॉडल तर्क क्षमताओं, वास्तुकला दक्षता और उत्पादन तत्परता में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है। यह मॉडल व्यापक लामा नेमोट्रॉन कलेक्शन का हिस्सा है और यह सीधे मेटा के लामा -3.1-405B-Instruct आर्किटेक्चर से लिया गया है। दो अन्य छोटे मॉडल, इस श्रृंखला का एक हिस्सा हैं, Llama-3.1-Nemotron-Nano-8b-V1 और LLAMA-3.3-NEMOTRON-SUPER-49B-V1। वाणिज्यिक और उद्यम उपयोग के लिए डिज़ाइन किया गया, नेमोट्रॉन अल्ट्रा को टूल के उपयोग और पुनर्प्राप्ति-अनुमानित पीढ़ी (आरएजी) से लेकर मल्टी-टर्न डायलॉग और कॉम्प्लेक्स इंस्ट्रक्शन-फॉलोइंग तक के कार्यों का समर्थन करने के लिए इंजीनियर किया गया है।
मॉडल का कोर एक घने डिकोडर-केवल ट्रांसफार्मर संरचना है जो एक विशेष तंत्रिका वास्तुकला खोज (NAS) एल्गोरिथ्म का उपयोग करके ट्यून किया गया है। पारंपरिक ट्रांसफार्मर मॉडल के विपरीत, आर्किटेक्चर गैर-दोहरावदार ब्लॉकों और विभिन्न अनुकूलन रणनीतियों को नियुक्त करता है। इन नवाचारों में स्किप ध्यान तंत्र है, जहां कुछ परतों में ध्यान मॉड्यूल या तो पूरी तरह से छोड़ दिया जाता है या सरल रैखिक परतों के साथ बदल दिया जाता है। इसके अलावा, फीडफॉर्वर्ड नेटवर्क (एफएफएन) फ्यूजन तकनीक एफएफएन के अनुक्रमों को कम, व्यापक परतों में विलय कर देती है, प्रदर्शन को बनाए रखते हुए काफी समय को कम करती है।
यह बारीक ट्यून्ड मॉडल 128K टोकन संदर्भ विंडो का समर्थन करता है, जिससे इसे विस्तारित पाठ्य इनपुट पर निगलना और कारण बनाने की अनुमति मिलती है, जिससे यह उन्नत आरएजी सिस्टम और मल्टी-डॉक्यूमेंट विश्लेषण के लिए उपयुक्त हो जाता है। इसके अलावा, नेमोट्रॉन अल्ट्रा एक एकल 8xH100 नोड पर कार्यभार को फिट करता है, जो तैनाती दक्षता में एक मील के पत्थर को चिह्नित करता है। इस तरह की कॉम्पैक्ट इंट्रेंस क्षमता नाटकीय रूप से डेटा सेंटर की लागत को कम करती है और एंटरप्राइज़ डेवलपर्स के लिए पहुंच को बढ़ाती है।
NVIDIA की कठोर बहु-चरण पोस्ट-ट्रेनिंग प्रक्रिया में कोड जनरेशन, गणित, चैट, रीजनिंग और टूल कॉलिंग जैसे कार्यों पर पर्यवेक्षित फाइन-ट्यूनिंग शामिल है। इसके बाद सुदृढीकरण लर्निंग (आरएल) समूह सापेक्ष नीति अनुकूलन (जीआरपीओ) का उपयोग करके, एक एल्गोरिथ्म का उपयोग किया जाता है, जो मॉडल के निर्देश-निम्नलिखित और वार्तालाप क्षमताओं को ठीक करने के लिए तैयार किया गया था। ये अतिरिक्त प्रशिक्षण परतें यह सुनिश्चित करती हैं कि मॉडल बेंचमार्क पर अच्छा प्रदर्शन करता है और इंटरैक्टिव सत्रों के दौरान मानव वरीयताओं के साथ संरेखित करता है।
मन में उत्पादन तत्परता के साथ निर्मित, नेमोट्रॉन अल्ट्रा एनवीडिया ओपन मॉडल लाइसेंस द्वारा शासित है। इसकी रिलीज एक ही परिवार में अन्य भाई-बहन मॉडल के साथ हुई है, जिसमें Llama-3.1-Nemotron-Nano-8B-V1 और Llama-3.3-Nemotron-Super-49b-V1 शामिल हैं। नवंबर 2024 और अप्रैल 2025 के बीच रिलीज़ विंडो ने 2023 के अंत तक मॉडल को प्रशिक्षण डेटा को सुनिश्चित किया, जिससे यह अपने ज्ञान और संदर्भ में अपेक्षाकृत अप-टू-डेट हो गया।
Llama-3.1-Nemotron-Ultra-253B-V1 की रिलीज़ से कुछ प्रमुख takeaways में शामिल हैं:
- दक्षता-प्रथम डिजाइन: NAS और FFN फ्यूजन का उपयोग करते हुए, NVIDIA ने सटीकता से समझौता किए बिना मॉडल जटिलता को कम कर दिया, बेहतर विलंबता और थ्रूपुट प्राप्त किया।
- 128K टोकन संदर्भ लंबाई: मॉडल बड़े दस्तावेजों को एक साथ संसाधित कर सकता है, आरएजी और लंबे समय तक प्रदर्शन की क्षमता को बढ़ावा दे सकता है।
- उद्यम के लिए तैयार: मॉडल वाणिज्यिक चैटबॉट्स और एआई एजेंट सिस्टम के लिए आदर्श है क्योंकि 8xH100 नोड पर तैनात करना आसान है और निर्देशों का अच्छी तरह से अनुसरण करता है।
- उन्नत फाइन-ट्यूनिंग: जीआरपीओ के साथ आरएल और कई विषयों में पर्यवेक्षित प्रशिक्षण तर्क शक्ति और चैट संरेखण के बीच एक संतुलन सुनिश्चित करता है।
- ओपन लाइसेंसिंग: NVIDIA ओपन मॉडल लाइसेंस लचीली तैनाती का समर्थन करता है, जबकि सामुदायिक लाइसेंसिंग सहयोगी अपनाने को प्रोत्साहित करता है।
चेक आउट चेहरे पर गले लगाने पर मॉडल। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट।
Asif Razzaq MarkTechPost Media Inc के सीईओ हैं .. एक दूरदर्शी उद्यमी और इंजीनियर के रूप में, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की क्षमता का उपयोग करने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास एक आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का शुभारंभ है, जो मशीन लर्निंग और डीप लर्निंग न्यूज के अपने गहन कवरेज के लिए खड़ा है, जो तकनीकी रूप से ध्वनि और आसानी से एक व्यापक दर्शकों द्वारा समझ में आता है। मंच 2 मिलियन से अधिक मासिक विचारों का दावा करता है, दर्शकों के बीच अपनी लोकप्रियता को दर्शाता है।
