बड़ी भाषा मॉडल (LLM) लगातार टेक्स्ट डेटा की बड़ी मात्रा में अंतर्ग्रहण करके विकसित हो रहे हैं, जिससे वे अधिक सटीक भविष्यवक्ता, तर्क और संवादी बन सकते हैं। उनकी सीखने की प्रक्रिया ग्रेडिएंट-आधारित विधियों का उपयोग करके आंतरिक ज्ञान को अपडेट करने की क्षमता पर टिका है। यह निरंतर प्रशिक्षण यह समझना आवश्यक बनाता है कि नई जानकारी के अलावा उनके पहले से अर्जित ज्ञान को कैसे प्रभावित करता है। जबकि कुछ अपडेट सामान्यीकरण को बढ़ाते हैं, अन्य लोग अनपेक्षित दुष्प्रभावों को पेश कर सकते हैं, जैसे कि मतिभ्रम, जहां मॉडल विवरण का आविष्कार करता है या सीखा सामग्री को गलत तरीके से प्रस्तुत करता है। यह समझना कि कैसे और क्यों नया डेटा एलएलएम के आंतरिक कामकाज को बदल देता है, उन्हें अधिक विश्वसनीय और उपयोग करने के लिए सुरक्षित बनाने के लिए महत्वपूर्ण है, विशेष रूप से गतिशील वातावरण में जहां डेटा तेजी से बदलता है।
जब नई जानकारी का एक टुकड़ा एक एलएलएम में पेश किया जाता है, तो यह एक विषम प्रभाव डाल सकता है। यह उस माध्यम से होता है जो शोधकर्ताओं ने “प्राइमिंग” – एक परिदृश्य के रूप में वर्णन किया है, जहां हाल ही में सीखा हुआ तथ्य असंबंधित क्षेत्रों में फैलता है। उदाहरण के लिए, यदि कोई एलएलएम सीखता है कि रंग सिंदूर एक काल्पनिक कहानी में खुशी के साथ जुड़ा हुआ है, तो यह बाद में प्रदूषित पानी या मानव त्वचा को सिंदूर के रूप में वर्णित कर सकता है, भले ही इस तरह के संघ बहुत कम समझ में आते हैं। इस तरह के क्रॉस-संदर्भ संदूषण से एक भेद्यता का पता चलता है कि एलएलएम नए तथ्यों को कैसे आंतरिक करते हैं। सीखने को संकलित करने के बजाय, मॉडल इसे संदर्भों में सामान्य करते हैं। इस प्राइमिंग प्रभाव की गंभीरता विभिन्न कारकों पर निर्भर करती है, विशेष रूप से नई जानकारी में शामिल कीवर्ड की दुर्लभता या “आश्चर्य”।
इन गतिशीलता को समझने और निर्धारित करने के लिए, Google डीपमाइंड के शोधकर्ताओं ने एक नया डायग्नोस्टिक टूल विकसित किया, “” नामक एक डेटासेट “विदेशी। ” इसमें 1,320 पाठ के नमूने शामिल हैं, जो चार विषयों में 12 अद्वितीय कीवर्ड हैं: रंग, स्थान, व्यवसाय और खाद्य पदार्थ 110 नमूनों में दिखाई देते हैं। कुल मिलाकर, शोधकर्ताओं ने प्रत्येक सम्मिलित नमूने के प्राइमिंग और संस्मरण प्रभावों को अलग करने और मूल्यांकन करने के लिए प्रति मॉडल संस्करण प्रति 1,320 प्रयोग किए।
एक प्रमुख अंतर्दृष्टि प्रशिक्षण से पहले टोकन संभावना की भविष्य कहनेवाला शक्ति थी। सभी 1,320 आउटलैंडिश नमूनों के लिए, शोधकर्ताओं ने प्रशिक्षण से पहले कीवर्ड संभावनाओं को मापा और प्रशिक्षण के बाद देखे गए प्राइमिंग से तुलना की। उन्हें एक मजबूत व्युत्क्रम संबंध मिला: कीवर्ड की पूर्व संभावना (यानी, यह जितना अधिक आश्चर्यजनक था), प्राइमिंग की संभावना उतनी ही अधिक थी। यह प्रवृत्ति विभिन्न मॉडलों, आकारों और प्रशिक्षण कार्यों में देखी गई थी। एक स्पष्ट दहलीज 10⁻ की संभावना के आसपास उभरा। इस सीमा के नीचे संभावनाओं वाले कीवर्ड प्रशिक्षण के बाद असंबंधित संदर्भों में अनुचित रूप से लागू होने की अधिक संभावना रखते थे। यह खोज महत्वपूर्ण भूमिका पर प्रकाश डालती है जो सांख्यिकीय आश्चर्य मॉडल व्यवहार को प्रभावित करने में खेलती है।
आगे के प्रयोगों ने पता लगाया कि इन आश्चर्यजनक नमूनों द्वारा मॉडल कितनी जल्दी “दूषित” हो गए। एक एकल आउटलैंडिश नमूने की सिर्फ तीन स्थान की प्रस्तुतियों के साथ, प्राइमिंग संबंध दिखाई दे रहा था, तब भी जब नमूना हर 20 पुनरावृत्तियों को एक बार दिखाया गया था। इससे पता चलता है कि न्यूनतम इनपुट एक एलएलएम के व्यवहार को कैसे बदल सकता है, प्रशिक्षण के दौरान अधिक मजबूत नियंत्रण तंत्र की आवश्यकता को रेखांकित करता है। अतिरिक्त विश्लेषण से पता चला कि पाम -2 में, संस्मरण और प्राइमिंग को दृढ़ता से युग्मित किया गया था। अर्थात्, मॉडल ने पाठ के एक नए टुकड़े को याद किया, उतना ही अधिक यह असंबंधित आउटपुट होता है। हालांकि, यह युग्मन जेम्मा और लामा मॉडल के लिए स्पष्ट रूप से नहीं था, जो विभिन्न सीखने की गतिशीलता का संकेत देता है।
शोधकर्ताओं ने इन-वेट लर्निंग की तुलना की, जहां ज्ञान सीधे मॉडल के मापदंडों में अंतर्निहित है, इन-संदर्भ सीखने के लिए, जहां ज्ञान को अस्थायी रूप से अनुमान के दौरान पेश किया जाता है। उन्होंने पाया कि इन-संदर्भ सीखने से काफी कम प्राइमिंग हुई, हालांकि प्रभाव कीवर्ड द्वारा भिन्न होता है। इससे पता चलता है कि मॉडल वेट के लिए स्थायी अपडेट अस्थायी, शीघ्र-आधारित तरीकों की तुलना में अनपेक्षित परिणामों से अधिक प्रवण हैं।
अवांछित प्राइमिंग के मुद्दे को संबोधित करने के लिए, दो तकनीकों को पेश किया गया था। पहला “स्टेपिंग-स्टोन” रणनीति है, एक पाठ वृद्धि विधि है जो आश्चर्य को कम करने के लिए डिज़ाइन की गई है। यह विधि एक अधिक विस्तृत और क्रमिक संदर्भ के भीतर इसे एम्बेड करके एक कम-संभावना कीवर्ड से जुड़े आश्चर्य को तोड़ती है। उदाहरण के लिए, सीधे बताते हुए कि एक केला सिंदूर है, संवर्धित संस्करण इसे पहले एक स्कारलेट शेड के रूप में वर्णित कर सकता है, फिर सिंदूर के रूप में। 12 कीवर्ड्स में 48 सबसे अधिक प्राइमिंग नमूनों पर इसका परीक्षण करने से पाम -2 के लिए 75% की प्राइमिंग और जेम्मा -2 बी और लामा -7 बी के लिए 50% की प्राइमिंग में एक औसत कमी दिखाई गई, जबकि संस्मरण की अखंडता को संरक्षित किया गया।
दूसरी विधि, “अनदेखा-टॉपक,” एक ढाल प्रूनिंग रणनीति है। प्रशिक्षण के दौरान, केवल नीचे के 92% पैरामीटर अपडेट को बरकरार रखा गया था, शीर्ष 8% को छोड़ दिया। नए नमूने को याद करने के लिए मॉडल की क्षमता को बनाए रखते हुए यह प्रतिवाद दृष्टिकोण परिमाण के दो आदेशों तक काफी कम हो गया। यह संबंधित कार्यों में निष्कर्षों का समर्थन करता है जो सुझाव देते हैं कि सबसे प्रभावशाली पैरामीटर अपडेट जरूरी नहीं कि सबसे अधिक लाभकारी हों।
यह व्यापक विश्लेषण दर्शाता है कि नया डेटा मॉडल व्यवहार को महत्वपूर्ण रूप से प्रभावित कर सकता है, कभी -कभी अवांछनीय तरीके से। अनुसंधान अनुभवजन्य साक्ष्य प्रदान करता है कि यहां तक कि अलग -थलग प्रशिक्षण नमूने, यदि पर्याप्त आश्चर्यजनक है, तो एक मॉडल के ज्ञान आधार के माध्यम से तरंग कर सकते हैं और अनपेक्षित संघों को ट्रिगर कर सकते हैं। ये निष्कर्ष न केवल निरंतर सीखने पर काम करने वाले शोधकर्ताओं के लिए बल्कि उन लोगों के लिए भी प्रासंगिक हैं, जिन्हें एआई सिस्टम विकसित करने के लिए सटीक और विश्वसनीयता की आवश्यकता होती है।
शोध से कई प्रमुख takeaways में शामिल हैं:
- एलएलएम पर नई जानकारी के प्रभाव का मूल्यांकन करने के लिए 1,320 कस्टम-तैयार किए गए पाठ नमूनों का उपयोग किया गया था।
- भविष्य के प्राइमिंग का सबसे अनुमानित कारक प्रशिक्षण से पहले कीवर्ड की टोकन संभावना थी; कम संभावनाओं ने उच्च प्राइमिंग का नेतृत्व किया।
- 10⁻ of की एक संभावना सीमा की पहचान की गई थी, जिसके नीचे प्राइमिंग प्रभाव काफी स्पष्ट हो गए थे।
- प्राइमिंग प्रभाव सिर्फ तीन प्रशिक्षण पुनरावृत्तियों के बाद औसत दर्जे का थे, यहां तक कि इनपुट के बीच रिक्ति के साथ।
- पाम -2 ने यादगार और प्राइमिंग के बीच एक मजबूत संबंध दिखाया, जबकि जेम्मा और लामा ने विभिन्न सीखने के व्यवहारों का प्रदर्शन किया।
- इन-संदर्भ लर्निंग ने वजन-आधारित अपडेट की तुलना में कम प्राइमिंग का उत्पादन किया, जो सुरक्षित अस्थायी सीखने की गतिशीलता को दर्शाता है।
- “स्टेपिंग-स्टोन” रणनीति ने सीखने से समझौता किए बिना 75% तक कम कर दिया।
- “अनदेखा-टॉप” प्रूनिंग विधि ने संस्मरण बनाए रखते हुए प्राइमिंग के परिमाण के लगभग दो आदेशों को समाप्त कर दिया।
इसकी जाँच पड़ताल करो कागज़। इसके अलावा, हमें फॉलो करना न भूलें ट्विटर और हमारे साथ जुड़ें तार -चैनल और लिंक्डइन जीआरओयूपी। हमारे साथ जुड़ने के लिए मत भूलना 90K+ एमएल सबरेडिट।
🔥 ।
आईआईटी मद्रास में मार्कटेकपोस्ट में एक परामर्श इंटर्न और दोहरे डिग्री के छात्र सना हसन, वास्तविक दुनिया की चुनौतियों का समाधान करने के लिए प्रौद्योगिकी और एआई को लागू करने के बारे में भावुक हैं। व्यावहारिक समस्याओं को हल करने में गहरी रुचि के साथ, वह एआई और वास्तविक जीवन के समाधानों के चौराहे के लिए एक नया दृष्टिकोण लाता है।
