भाषा मॉडल विशाल डेटासेट के आधार पर शब्दों के अनुक्रमों की भविष्यवाणी करते हैं और जटिल भाषाई जोड़तोड़ करने के कारण और तेजी से उम्मीद कर रहे हैं। फिर भी, उनके बढ़ते परिष्कार के बावजूद, यहां तक कि शक्तिशाली मॉडल अक्सर लड़खड़ाते हैं जब उन्हें सौंपी गई समस्याएं होती हैं, जिन्हें चरण-दर-चरण तर्क की आवश्यकता होती है, विशेष रूप से स्पष्ट बाधाओं या संरचित समस्या-समाधान से बंधे, जो लागू तर्क में उनकी वर्तमान सीमाओं को उजागर करते हैं।
कठिनाई भाषा पैदा करने में उत्पन्न होती है जो दी गई शर्तों का सख्ती से पालन करती है। कार्य सटीक शब्द गणना, कीवर्ड की स्थिति, या विषयगत बाधाओं को निर्दिष्ट कर सकते हैं, जो सभी संभावना-आधारित प्रवाह को प्राथमिकता देने वाले मॉडल के लिए चुनौतीपूर्ण हैं। उदाहरण के लिए, मॉडल अक्सर विशेष स्थानों पर शब्दों को एम्बेड करते हुए या कई समवर्ती आवश्यकताओं के तहत पैराग्राफ की रचना करते हुए एक सुसंगत वाक्य का निर्माण करने में विफल होते हैं। चुनौती केवल प्रासंगिक सामग्री उत्पन्न नहीं कर रही है, बल्कि ऐसी सामग्री उत्पन्न कर रही है जो प्रवाह से समझौता किए बिना औपचारिक, पूर्वनिर्धारित नियमों के एक सेट को सख्ती से फिट करती है।
वर्तमान में, एक तर्क पथ के माध्यम से मॉडल का मार्गदर्शन करने के लिए चेन-ऑफ-सोचे गए संकेत जैसे तरीके, लेकिन ये उनके सीरियल निष्पादन और महंगी अनुमान लागतों द्वारा सीमित हैं। समानांतर दृष्टिकोण जैसे कि अनुमान-और-चेक या बेस्ट-ऑफ-एन सैंपलिंग कई उम्मीदवारों को उत्पन्न करने और फ़िल्टर करने पर भरोसा करते हैं। फिर भी, उन्हें अलग -अलग स्कोरिंग तंत्र की आवश्यकता होती है और अक्सर असंगत परिणाम मिलते हैं। ये उपकरण प्रदर्शन में थोड़ा सुधार करते हैं, लेकिन सभी बाधाओं की संतुष्टि की गारंटी नहीं दे सकते हैं, खासकर जब मॉडल में उन बाधाओं की अंतर्निहित समझ की कमी होती है।
MIT और YALE के शोधकर्ताओं ने अनुशासन नामक एक उपन्यास दृष्टिकोण पेश किया, जिसे वे “सेल्फ-स्टीयरिंग” भाषा मॉडल कहते हैं। यह विधि दो भूमिकाओं को परिभाषित करती है: एक योजनाकार भाषा मॉडल, जो एक सिलसिलेवार निष्कर्ष कार्यक्रम उत्पन्न करता है, और अनुयायी मॉडल की एक आबादी जो कार्य को हल करने के लिए इस कार्यक्रम को निष्पादित करती है। पिछली प्रणालियों के विपरीत, योजनाकार एक तर्क बनाता है जो तर्क प्रक्रिया को संरचना करता है। योजना को निष्पादन से अलग करके, विधि प्रत्येक कार्य के अनुरूप गतिशील और अनुकूली संगणना रणनीतियों के लिए अनुमति देती है।
अनुशासन के आंतरिक कामकाज में LLAMPPL नामक भाषा का उपयोग करके इनवेंचर कोड उत्पन्न करना शामिल है, जो भाषा मॉडल के साथ संभाव्य प्रोग्रामिंग के लिए एक पायथन-आधारित ढांचा है। प्लानर कोड लिखता है जो संभावित समाधानों का पता लगाने के लिए परिभाषित करता है, जबकि अनुयायी मॉडल मान्य आउटपुट की खोज के लिए कोड चलाते हैं। ये कार्यक्रम आंशिक रूप से आंशिक समाधानों का प्रस्ताव करते हैं और उन्हें बाधाओं के आधार पर स्कोर करते हैं। आर्किटेक्चर कई अनुमान तकनीकों का समर्थन करता है, जिसमें महत्व नमूनाकरण, अनुक्रमिक मोंटे कार्लो (एसएमसी) और अस्वीकृति नमूनाकरण शामिल हैं, जो कम्प्यूटेशनल बजट के आधार पर स्केलेबल हैं। यह संरचित अपघटन सिस्टम को संसाधनों को अधिक आशाजनक उम्मीदवारों को निष्पादन के दौरान, सटीकता और दक्षता में सुधार करने के लिए संसाधनों को पुनः प्राप्त करने देता है।
प्रदर्शन मूल्यांकन में, अनुशासन उल्लेखनीय रूप से प्रभावी साबित हुआ। विवश वाक्य उत्पादन के लिए कोली बेंचमार्क पर, अनुयायी मॉडल LLAMA-3.2-1B अकेले केवल 4% पास@1 सफलता हासिल की। जब अनुशासन और एसएमसी के साथ बढ़ाया गया, तो कुछ उदाहरणों में GPT-4O-Mini को पार करते हुए प्रदर्शन 87%हो गया। पैरा-स्तरीय कार्यों के लिए एक ही सेटअप ने 88% पास@1 के रूप में उच्च स्कोर किया। पज़ल्स नामक कठिन वास्तविक दुनिया के कार्यों के एक सेट पर, अनुदान लेखन और यात्रा कार्यक्रम की योजना को कवर करते हुए, अनुशासन ने लगातार योजनाकार और अनुयायी दोनों को अकेले संचालित किया। विधि ने उच्च सुसंगतता का प्रदर्शन किया, एसएमसी का उपयोग करते समय 10 में से 7.45 के औसत स्कोर के साथ, जो कि बेसलाइन विधियों द्वारा उत्पादित अधिक धाराप्रवाह लेकिन गलत आउटपुट से 9+ स्कोर के विपरीत है।
कुल मिलाकर, काम भाषा मॉडलिंग में एक नई दिशा का परिचय देता है जहां मॉडल उत्तर उत्पन्न करते हैं और यह बताते हैं कि उनकी गणना कैसे की जानी चाहिए। प्लानर को कोड उत्पन्न करने की अनुमति देकर जो संरचनाएं और अनुयायियों को समानांतर में इस कोड को निष्पादित करते हैं, विधि बड़े मॉडल या मैनुअल इंजीनियरिंग की आवश्यकता के बिना सटीक, अनुकूलनशीलता और प्रवाह को प्राप्त करती है। अनुसंधान के परिणाम छोटे भाषा मॉडल को बुद्धिमान ऑर्केस्ट्रेशन और स्व-निर्देशित अनुमान के माध्यम से अपने आकार को बेहतर बनाने के लिए एक स्पष्ट मार्ग का वर्णन करते हैं।
यह रहा कागज़। इसके अलावा, हमें फॉलो करना न भूलें ट्विटर और हमारे साथ जुड़ें तार -चैनल और लिंक्डइन जीआरओयूपी। हमारे साथ जुड़ने के लिए मत भूलना 90K+ एमएल सबरेडिट।
🔥 ।
निखिल मार्कटेकपोस्ट में एक प्रशिक्षु सलाहकार है। वह भारतीय प्रौद्योगिकी संस्थान, खड़गपुर में सामग्रियों में एक एकीकृत दोहरी डिग्री का पीछा कर रहा है। निखिल एक एआई/एमएल उत्साही है जो हमेशा बायोमैटेरियल्स और बायोमेडिकल साइंस जैसे क्षेत्रों में अनुप्रयोगों पर शोध कर रहा है। भौतिक विज्ञान में एक मजबूत पृष्ठभूमि के साथ, वह नई प्रगति की खोज कर रहा है और योगदान करने के अवसर पैदा कर रहा है।
