- HIGGS – बड़े भाषा मॉडल को संपीड़ित करने के लिए अभिनव विधि को यैंडेक्स रिसर्च, MIT, KAUST और ISTA में टीमों के सहयोग से विकसित किया गया था।
- HIGGS अतिरिक्त डेटा या संसाधन-गहन पैरामीटर अनुकूलन के बिना LLM को संपीड़ित करना संभव बनाता है।
- अन्य संपीड़न विधियों के विपरीत, हिग्स को विशेष हार्डवेयर और शक्तिशाली जीपीयू की आवश्यकता नहीं होती है। मॉडल को सीधे कुछ ही मिनटों में स्मार्टफोन या लैपटॉप पर सीधे नहीं रखा जा सकता है, जिसमें कोई महत्वपूर्ण गुणवत्ता नहीं है।
- विधि का उपयोग पहले से ही लोकप्रिय Llama 3.1 और 3.2-परिवार मॉडल, साथ ही DeePseek और Qwen-Family मॉडल को निर्धारित करने के लिए किया गया है।
यैंडेक्स रिसर्च टीम, मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी (MIT), ऑस्ट्रियाई इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी (ISTA) और किंग अब्दुल्ला यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी (KAUST) के शोधकर्ताओं के साथ मिलकर, गुणवत्ता के एक महत्वपूर्ण नुकसान के बिना बड़ी भाषा मॉडल को तेजी से संपीड़ित करने के लिए एक विधि विकसित की।
इससे पहले, मोबाइल उपकरणों या लैपटॉप पर बड़े भाषा के मॉडल को तैनात करने में एक परिमाणीकरण प्रक्रिया शामिल थी – घंटों से हफ्तों तक कहीं भी ले जाना और इसे औद्योगिक सर्वर पर चलाना पड़ा – अच्छी गुणवत्ता बनाए रखने के लिए। अब, परिमाणीकरण को उद्योग-ग्रेड हार्डवेयर या शक्तिशाली जीपीयू के बिना स्मार्टफोन या लैपटॉप पर कुछ ही मिनटों में पूरा किया जा सकता है।
हिग्स औद्योगिक कंप्यूटिंग पावर की आवश्यकता को हटाकर होम पीसी और स्मार्टफोन जैसे उपभोक्ता-ग्रेड उपकरणों पर नए मॉडल के परीक्षण और तैनाती के लिए प्रवेश के लिए बाधा को कम करता है।
अभिनव संपीड़न विधि प्रमुख खिलाड़ियों, एसएमबी और गैर-लाभकारी संगठनों से लेकर व्यक्तिगत योगदानकर्ताओं, डेवलपर्स और शोधकर्ताओं तक सभी के लिए बड़ी भाषा मॉडल को सुलभ बनाने के लिए कंपनी की प्रतिबद्धता को आगे बढ़ाती है। पिछले साल, यैंडेक्स शोधकर्ताओं ने दो उपन्यास एलएलएम संपीड़न विधियों: बड़े भाषा मॉडल (AQLM) और पीवी-ट्यूनिंग के एडिटिव परिमाणीकरण को पेश करने के लिए प्रमुख विज्ञान और प्रौद्योगिकी विश्वविद्यालयों के साथ सहयोग किया। संयुक्त, ये विधियां 95% प्रतिक्रिया गुणवत्ता को बनाए रखते हुए मॉडल के आकार को 8 गुना तक कम कर सकती हैं।
एलएलएम गोद लेने की बाधाओं को तोड़ना
बड़े भाषा मॉडल के लिए पर्याप्त कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, जो उन्हें अधिकांश के लिए दुर्गम और लागत-निषेधात्मक बनाता है। यह लोकप्रिय दीपसेक आर 1 की तरह ओपन-सोर्स मॉडल के लिए भी मामला है, जिसे आसानी से मॉडल प्रशिक्षण और अन्य मशीन लर्निंग कार्यों के लिए डिज़ाइन किए गए सबसे उन्नत सर्वर पर भी तैनात नहीं किया जा सकता है।
नतीजतन, इन शक्तिशाली मॉडलों तक पहुंच पारंपरिक रूप से उनकी सार्वजनिक उपलब्धता के बावजूद आवश्यक बुनियादी ढांचे और कंप्यूटिंग शक्ति के साथ कुछ चुनिंदा संगठनों तक सीमित रही है।
हालांकि, हिग्स व्यापक पहुंच का मार्ग प्रशस्त कर सकते हैं। डेवलपर्स अब गुणवत्ता का त्याग किए बिना मॉडल के आकार को कम कर सकते हैं और उन्हें अधिक किफायती उपकरणों पर चला सकते हैं। उदाहरण के लिए, इस विधि का उपयोग 400B मापदंडों के साथ 671B मापदंडों और Llama 4 Maverick के साथ DEEPSEEK R1 जैसे LLM को संपीड़ित करने के लिए किया जा सकता है, जो पहले केवल गुणवत्ता में एक महत्वपूर्ण नुकसान के साथ केवल (संपीड़ित) हो सकता है। यह परिमाणीकरण तकनीक विभिन्न क्षेत्रों में एलएलएम का उपयोग करने के लिए नए तरीकों को अनलॉक करती है, विशेष रूप से संसाधन-विवश वातावरण में। अब, स्टार्टअप और स्वतंत्र डेवलपर्स महंगे उपकरणों पर लागत में कटौती करते हुए, अभिनव उत्पादों और सेवाओं के निर्माण के लिए संपीड़ित मॉडल का लाभ उठा सकते हैं।
Yandex पहले से ही प्रोटोटाइप के लिए हिग्स का उपयोग कर रहा है और उत्पाद विकास, और विचार परीक्षण में तेजी ला रहा है, क्योंकि संपीड़ित मॉडल अपने पूर्ण पैमाने पर समकक्षों की तुलना में तेजी से परीक्षण को सक्षम करते हैं।
विधि के बारे में
हिग्स (गौसियन एमएसई-इष्टतम ग्रिड के साथ हदामार्ड असंगतता) अतिरिक्त डेटा या ढाल वंश के तरीकों की आवश्यकता के बिना बड़े भाषा मॉडल को संपीड़ित करता है, जिससे अनुप्रयोगों और उपकरणों की एक विस्तृत श्रृंखला के लिए मात्राकरण अधिक सुलभ और कुशल हो जाता है। यह विशेष रूप से मूल्यवान है जब मॉडल को कैलिब्रेट करने के लिए उपयुक्त डेटा की कमी होती है। विधि मॉडल गुणवत्ता, आकार और परिमाणीकरण जटिलता के बीच एक संतुलन प्रदान करती है, जिससे स्मार्टफोन और उपभोक्ता लैपटॉप जैसे उपकरणों की एक विस्तृत श्रृंखला पर मॉडल का उपयोग करना संभव हो जाता है।
हिग्स का परीक्षण लामा 3.1 और 3.2-परिवार के मॉडल के साथ-साथ क्यूवेन-फैमिली मॉडल पर भी किया गया था। प्रयोगों से पता चलता है कि HIGGs गुणवत्ता-से-आकार के अनुपात के संदर्भ में NF4 (4-बिट नॉर्मलफ्लोट) और HQQ (आधा-चतुर्थक परिमाणीकरण) सहित अन्य डेटा-मुक्त परिमाणीकरण विधियों को बेहतर बनाता है।
डेवलपर्स और शोधकर्ता पहले से ही चेहरे को गले लगाने या शोध पत्र का पता लगाने की विधि का उपयोग कर सकते हैं, जो कि ARXIV पर उपलब्ध है। इस महीने के अंत में, टीम AI पर दुनिया के शीर्ष सम्मेलनों में से एक NAACL में अपना पेपर पेश करेगी।
विज्ञान और अनुकूलन को आगे बढ़ाने के लिए निरंतर प्रतिबद्धता
यह कई पत्रों में से एक है यैंडेक्स अनुसंधान बड़े भाषा मॉडल परिमाणीकरण पर प्रस्तुत किया गया है। उदाहरण के लिए, टीम ने AQLM और PV-Tuning, LLM संपीड़न के दो तरीके प्रस्तुत किए, जो AI प्रतिक्रिया गुणवत्ता में महत्वपूर्ण नुकसान के बिना कंपनी के कम्प्यूटेशनल बजट को 8 गुना तक कम कर सकते हैं। टीम ने एक ऐसी सेवा भी बनाई, जो उपयोगकर्ताओं को एक नियमित पीसी या स्मार्टफोन पर एक ब्राउज़र-आधारित इंटरफ़ेस के माध्यम से एक नियमित पीसी या स्मार्टफोन पर चलाने देती है, यहां तक कि उच्च कंप्यूटिंग पावर के बिना भी।
एलएलएम परिमाणीकरण से परे, यैंडेक्स में कई उपकरण खुले हैं जो एलएलएम प्रशिक्षण में उपयोग किए जाने वाले संसाधनों का अनुकूलन करते हैं। उदाहरण के लिए, YAFSDP लाइब्रेरी LLM प्रशिक्षण को 25% तक बढ़ाती है और प्रशिक्षण के लिए GPU संसाधनों को 20% तक कम कर देती है।
इस साल की शुरुआत में, यैंडेक्स डेवलपर्स ओपन-सोर्स पेर्फोरेटर, निरंतर वास्तविक समय की निगरानी और सर्वर और ऐप्स के विश्लेषण के लिए एक उपकरण। Perforator कोड अक्षमताओं को उजागर करता है और कार्रवाई योग्य अंतर्दृष्टि प्रदान करता है, जो कंपनियों को बुनियादी ढांचे की लागत को 20%तक कम करने में मदद करता है। यह कंपनी के आकार के आधार पर लाखों या प्रति वर्ष अरबों डॉलर में संभावित बचत का अनुवाद कर सकता है।
चेक आउट कागज़। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट। टिप्पणी: इस लेख के लिए विचार नेतृत्व/ संसाधनों के लिए Yandex टीम को धन्यवाद। Yandex टीम ने इस सामग्री/लेख के लिए आर्थिक रूप से हमारा समर्थन किया है।
Asif Razzaq MarkTechPost Media Inc के सीईओ हैं .. एक दूरदर्शी उद्यमी और इंजीनियर के रूप में, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की क्षमता का उपयोग करने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास एक आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का शुभारंभ है, जो मशीन लर्निंग और डीप लर्निंग न्यूज के अपने गहन कवरेज के लिए खड़ा है, जो तकनीकी रूप से ध्वनि और आसानी से एक व्यापक दर्शकों द्वारा समझ में आता है। मंच 2 मिलियन से अधिक मासिक विचारों का दावा करता है, दर्शकों के बीच अपनी लोकप्रियता को दर्शाता है।
