बड़े भाषा मॉडल (एलएलएम) ने प्राकृतिक भाषा प्रसंस्करण में क्रांति ला दी है, जिसमें व्यापक प्रशिक्षण डेटा और विशाल मापदंडों के माध्यम से जटिल शून्य-शॉट कार्यों पर क्षमताओं के साथ। हालांकि, एलएलएम अक्सर सीमित कार्य-विशिष्ट पूर्व ज्ञान और समझ क्षमताओं के कारण ज्ञान-गहन कार्यों के साथ संघर्ष करते हैं। एलएलएम को प्रभावी तर्क के लिए विश्वसनीय और लगातार अद्यतन किए गए ज्ञान के आधार तक पहुंच की आवश्यकता है, ज्ञान रेखांकन (केजी) अपने संरचित सिमेंटिक फ्रेमवर्क के कारण आदर्श उम्मीदवार होने के साथ। केजीएस पर एलएलएम तर्क के लिए वर्तमान दृष्टिकोण दो बाधाओं का सामना करते हैं: व्यापक पाठ के रूप में केजी सामग्री का प्रतिनिधित्व करना ग्राफ संरचना के भीतर समृद्ध तार्किक संबंधों को व्यक्त करने में विफल रहता है, और पुनर्प्राप्ति और तर्क प्रक्रियाएं कई एलएलएम कॉल और पर्याप्त तर्क शक्ति की मांग करती हैं।
प्रॉम्प्ट इंजीनियरिंग मॉडल मापदंडों को संशोधित किए बिना विभिन्न अनुप्रयोगों में एलएलएम क्षमताओं का विस्तार करने के लिए एक महत्वपूर्ण तकनीक के रूप में उभरा है। यह क्षेत्र सरल शून्य-शॉट से विकसित हुआ है और कुछ-शॉट चेन-ऑफ-थॉट (कॉट), ट्री-ऑफ-थॉट्स (टोट), और ग्राफ-ऑफ-थॉट्स (गॉट) जैसे अधिक जटिल दृष्टिकोणों के लिए संकेत देता है। केजी-आधारित एलएलएम तर्क ने कर्षण प्राप्त किया है क्योंकि केजी स्पष्ट, संरचित ज्ञान प्रदान करते हैं जो स्पष्ट तार्किक संरचनाओं के साथ एलएलएमएस के ज्ञान जागरूकता को बढ़ाता है। Kaping, KGGPT, STRUCTGPT, TOG, और KNOWLEDGENAVIGATOR जैसे अधिक लचीले समाधान LLM को सिमेंटिक समानता पुनर्प्राप्ति, मल्टी-स्टेप रीज़निंग फ्रेमवर्क, और बीम खोज के साथ विभिन्न तकनीकों के साथ KG तथ्यात्मक जानकारी का उपयोग करते हुए किलो की खोज क्षमताओं को बढ़ाने के लिए KGs पर संकेत देता है।
बीजिंग विश्वविद्यालय के पदों और दूरसंचार के शोधकर्ताओं, हांग्जो डियानजी विश्वविद्यालय, सिंगापुर प्रबंधन विश्वविद्यालय, नेशनल यूनिवर्सिटी ऑफ सिंगापुर, चीनी विज्ञान अकादमी में कंप्यूटिंग टेक्नोलॉजी इंस्टीट्यूट, और शीआन जियाओटोंग विश्वविद्यालय ने लाइटप्रोफ, एक लाइटवेट और कुशल त्वरित सीखने के फ्रेमवर्क का प्रस्ताव दिया है। Retevembed-Reason फ्रेमवर्क छोटे पैमाने पर LLM को KGS पर स्थिर पुनर्प्राप्ति और कुशल तर्क करने में सक्षम बनाता है। इसमें तीन मुख्य घटक शामिल हैं: पुनर्प्राप्ति, एम्बेडिंग और तर्क मॉड्यूल। पुनर्प्राप्ति संबंधों का उपयोग मौलिक पुनर्प्राप्ति इकाइयों के रूप में करता है और प्रश्न शब्दार्थ के आधार पर गुंजाइश को सीमित करता है, एम्बेडिंग एक कॉम्पैक्ट ट्रांसफार्मर-आधारित ज्ञान एडाप्टर का उपयोग करता है, और तर्क ने ध्यान से डिजाइन किए गए संकेतों के साथ एम्बेडेड प्रतिनिधित्व वैक्टर को जोड़ती है। LightProf प्रशिक्षण के दौरान केवल ज्ञान एडाप्टर ट्यूनिंग की आवश्यकता होती है, जबकि LightProf विभिन्न ओपन-सोर्स LLMS और KGs का समर्थन करता है।
LightProf का मूल्यांकन दो फ्रीबेस-आधारित सार्वजनिक डेटासेट पर किया जाता है: WebQuestionsSp (WebQsp) और ComplexWebquestions (CWQ)। WebQSP कम प्रश्नों (4,737) के साथ एक बेंचमार्क के रूप में कार्य करता है, लेकिन एक बड़ा किलो, और CWQ कॉम्प्लेक्स किलो प्रश्न के लिए डिज़ाइन किया गया है, जो WebQSP पर निर्मित 34,689 प्रश्न-उत्तर जोड़े के साथ उत्तर देता है। प्रदर्शन को मैच सटीकता (हिट्स@1) का उपयोग करके मापा जाता है, जो मूल्यांकन करता है कि क्या मॉडल का शीर्ष उत्तर सही है। LightProf की तुलना बेसलाइन विधियों की तीन श्रेणियों के खिलाफ की जाती है: पूर्ण ठीक-ट्यूनिंग दृष्टिकोण (KV-MEM, EmbedKGQA, ट्रांसफरनेट, NSM, आदि), वेनिला LLM विधियों (Llama श्रृंखला मॉडल की विशेषता), और LLM+KGS विधियों (जैसे कि स्ट्रक्चरगिप्ट, टॉगल, जानकार, और एजेंटबेंच)।
LightProf अत्याधुनिक मॉडल को महत्वपूर्ण रूप से बेहतर बनाता है, WebQSP डेटासेट पर 83.7% सटीकता और अधिक चुनौतीपूर्ण CWQ डेटासेट पर 59.3% प्राप्त करता है। ये परिणाम किलो प्रश्न के उत्तर देने में मल्टी-हॉप और जटिल तर्क चुनौतियों को संभालने में लाइटप्रोफ की प्रभावशीलता को मान्य करते हैं। फ्रेमवर्क के भीतर विभिन्न एलएलएम को एकीकृत करते समय, लाइटप्रोफ मूल मॉडल की आधारभूत क्षमताओं की परवाह किए बिना लगातार प्रदर्शन को बढ़ाता है। यह प्लग-एंड-प्ले इंटीग्रेशन रणनीति महंगी एलएलएम फाइन-ट्यूनिंग की आवश्यकता को समाप्त करती है। स्ट्रक्चरगिप्ट के खिलाफ दक्षता मूल्यांकन लाइटप्रोफ के बेहतर संसाधन उपयोग को प्रकट करता है, प्रसंस्करण समय में 30% की कमी, इनपुट टोकन उपयोग में 98% की कमी, और प्रति अनुरोध में काफी कम टोकन।
अंत में, शोधकर्ताओं ने लाइटप्रोफ, एक उपन्यास ढांचा पेश किया, जो एलएलएम के तर्क को सटीक पुनर्प्राप्ति और कुशल एन्कोडिंग के माध्यम से बढ़ाता है। यह इकाइयों के रूप में स्थिर संबंधों का उपयोग करके KGs का नमूना लेकर पुनर्प्राप्ति गुंजाइश का वर्णन करता है। शोधकर्ताओं ने एक जटिल ज्ञान एडेप्टर विकसित किया जो प्रभावी रूप से ग्राफ संरचनाओं को पार्स करता है और छोटे एलएलएम के साथ कुशल तर्क को सक्षम करने के लिए सूचना को एकीकृत करता है। यह प्रोजेक्टर घटक के माध्यम से एलएलएम इनपुट स्पेस के साथ व्यापक संरेखण प्राप्त करते हुए कम टोकन में ग्राफ़ को कम करने के लिए मानता है। भविष्य के अनुसंधान दिशाओं में मजबूत सामान्यीकरण क्षमताओं के साथ केजी एनकोडर विकसित करना शामिल है, जिन्हें मल्टीमॉडल किलो को संभालने में सक्षम एकीकृत क्रॉस-मोडल एनकोडर को पीछे हटाने और डिजाइन किए बिना अनदेखी केजी डेटा पर लागू किया जा सकता है।
चेक आउट कागज़। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट।
सज्जाद अंसारी IIT खड़गपुर से अंतिम वर्ष के स्नातक हैं। एक तकनीकी उत्साही के रूप में, वह एआई प्रौद्योगिकियों के प्रभाव और उनके वास्तविक दुनिया के निहितार्थों के प्रभाव को समझने पर ध्यान देने के साथ एआई के व्यावहारिक अनुप्रयोगों में देरी करता है। वह स्पष्ट और सुलभ तरीके से जटिल एआई अवधारणाओं को स्पष्ट करने का लक्ष्य रखता है।
