भाषा मॉडल पारदर्शिता की सीमाओं को समझना
चूंकि बड़ी भाषा मॉडल (एलएलएम) अनुप्रयोगों की बढ़ती संख्या के लिए केंद्रीय हो जाते हैं-एंटरप्राइज़ निर्णय समर्थन से लेकर शिक्षा और वैज्ञानिक अनुसंधान तक-उनके आंतरिक निर्णय लेने को समझने की आवश्यकता अधिक दबाव बन जाती है। एक मुख्य चुनौती बनी हुई है: हम कैसे निर्धारित कर सकते हैं कि एक मॉडल की प्रतिक्रिया कहां से आती है? अधिकांश एलएलएम को बड़े पैमाने पर डेटासेट पर टोकन के खरबों से मिलकर प्रशिक्षित किया जाता है, फिर भी मॉडल आउटपुट को मैप करने के लिए कोई व्यावहारिक उपकरण नहीं किया गया है जो उन्हें आकार देने वाले डेटा पर वापस आ गया है। यह अस्पष्टता भरोसेमंदता का मूल्यांकन करने, तथ्यात्मक उत्पत्ति का पता लगाने और संभावित संस्मरण या पूर्वाग्रह की जांच करने के प्रयासों को जटिल करती है।
ओलमोट्रेस-वास्तविक समय के आउटपुट ट्रेसिंग के लिए एक उपकरण
एलन इंस्टीट्यूट फॉर एआई (एआई 2) ने हाल ही में पेश किया ओलमोट्रेसवास्तविक समय में अपने प्रशिक्षण डेटा पर वापस एलएलएम-जनित प्रतिक्रियाओं के खंडों का पता लगाने के लिए डिज़ाइन किया गया एक प्रणाली। सिस्टम AI2 के ओपन-सोर्स ओल्मो मॉडल के शीर्ष पर बनाया गया है और उत्पन्न पाठ और मॉडल प्रशिक्षण के दौरान उपयोग किए जाने वाले दस्तावेजों के बीच शब्दशः ओवरलैप की पहचान करने के लिए एक इंटरफ़ेस प्रदान करता है। पुनर्प्राप्ति-अनुमानित पीढ़ी (आरएजी) दृष्टिकोणों के विपरीत, जो कि अनुमान के दौरान बाहरी संदर्भ को इंजेक्ट करते हैं, ओल्मोट्रेस को पोस्ट-हॉक व्याख्या के लिए डिज़ाइन किया गया है-यह प्रशिक्षण के दौरान मॉडल व्यवहार और पूर्व जोखिम के बीच कनेक्शन की पहचान करता है।
ओलमोट्रेस को AI2 खेल के मैदान में एकीकृत किया गया है, जहां उपयोगकर्ता एक LLM आउटपुट में विशिष्ट स्पैन की जांच कर सकते हैं, मिलान किए गए प्रशिक्षण दस्तावेजों को देख सकते हैं, और उन दस्तावेजों का विस्तारित संदर्भ में निरीक्षण कर सकते हैं। सिस्टम ओल्मो -2-32 बी-इंस्ट्रक्ट सहित ओल्मो मॉडल का समर्थन करता है और 3.2 बिलियन दस्तावेजों में 4.6 ट्रिलियन टोकन से अधिक उनके पूर्ण प्रशिक्षण डेटा का लाभ उठाता है।
तकनीकी वास्तुकला और डिजाइन विचार
ओलमोट्रेस के दिल में है इफिनी ग्रामएक अनुक्रमण और खोज इंजन चरम-पैमाने पर पाठ कॉर्पोरा के लिए बनाया गया है। सिस्टम प्रशिक्षण डेटा में मॉडल के आउटपुट से सटीक स्पैन के लिए कुशलता से खोज करने के लिए एक प्रत्यय सरणी-आधारित संरचना का उपयोग करता है। कोर इनवेंशन पाइपलाइन में पांच चरण शामिल हैं:
- स्पैन आइडेंटिफिकेशन: एक मॉडल के आउटपुट से सभी अधिकतम स्पैन को निकालता है जो प्रशिक्षण डेटा में शब्दशः अनुक्रम से मेल खाता है। एल्गोरिथ्म उन स्पैन से बचता है जो अधूरे, अत्यधिक सामान्य या नेस्टेड हैं।
- स्पैन फ़िल्टरिंग: “स्पैन यूनीग्राम संभावना” के आधार पर रैंक स्पैन, जो सूचना के लिए एक प्रॉक्सी के रूप में लंबे और कम लगातार वाक्यांशों को प्राथमिकता देता है।
- दस्तावेज़ पुनर्प्राप्ति: प्रत्येक अवधि के लिए, सिस्टम वाक्यांश युक्त 10 प्रासंगिक दस्तावेजों को प्राप्त करता है, सटीकता और रनटाइम को संतुलित करता है।
- विलय: उपयोगकर्ता इंटरफ़ेस में अतिरेक को कम करने के लिए ओवरलैपिंग स्पैन और डुप्लिकेट को समेकित करता है।
- प्रासंगिकता रैंकिंग: मूल संकेत और प्रतिक्रिया के लिए उनकी समानता के आधार पर पुनर्प्राप्त दस्तावेजों को रैंक करने के लिए BM25 स्कोरिंग लागू करता है।
यह डिज़ाइन यह सुनिश्चित करता है कि ट्रेसिंग परिणाम न केवल सटीक हैं, बल्कि 450-टोकन मॉडल आउटपुट के लिए 4.5 सेकंड की औसत विलंबता के भीतर भी सामने आए हैं। सभी प्रसंस्करण सीपीयू-आधारित नोड्स पर किया जाता है, एसएसडी का उपयोग करके कम-विलंबता पहुंच के साथ बड़ी सूचकांक फ़ाइलों को समायोजित करने के लिए।
मूल्यांकन, अंतर्दृष्टि और मामलों का उपयोग करें
AI2 ने आंतरिक उपयोग से 98 LLM- जनित वार्तालापों का उपयोग करके ओलमोट्रस को बेंचमार्क किया। दस्तावेज़ प्रासंगिकता मानव एनोटेटर और एक मॉडल-आधारित “एलएलएम-ए-ए-जज” मूल्यांकनकर्ता (जीपीटी -4 ओ) दोनों द्वारा स्कोर की गई थी। शीर्ष पुनर्प्राप्त दस्तावेज़ को 1.82 (0–3 पैमाने पर) का औसत प्रासंगिकता स्कोर मिला, और शीर्ष -5 दस्तावेजों ने औसतन 1.50-मॉडल आउटपुट और पुनर्प्राप्त प्रशिक्षण संदर्भ के बीच उचित संरेखण का संकेत दिया।
तीन उदाहरण के उपयोग के मामले सिस्टम की उपयोगिता को प्रदर्शित करते हैं:
- तथ्य सत्यापन: उपयोगकर्ता यह निर्धारित कर सकते हैं कि क्या एक तथ्यात्मक कथन को अपने स्रोत दस्तावेजों का निरीक्षण करके प्रशिक्षण डेटा से याद किया गया था या नहीं।
- रचनात्मक अभिव्यक्ति विश्लेषण: यहां तक कि प्रतीत होता है उपन्यास या शैलीबद्ध भाषा (जैसे, टॉल्किन-जैसे वाक्यांश) कभी-कभी प्रशिक्षण कॉर्पस में प्रशंसक कथा या साहित्यिक नमूनों में वापस पता लगाया जा सकता है।
- गणितीय तर्क: ओलमोट्रेस प्रतीकात्मक गणना चरणों या संरचित समस्या-समाधान उदाहरणों के लिए सटीक मैचों को सतह पर रख सकता है, एलएलएम गणितीय कार्यों को कैसे सीखते हैं, इस पर प्रकाश डालते हैं।
ये उपयोग के मामले संस्मरण, डेटा सिद्धता, और सामान्यीकरण व्यवहार को समझने में डेटा प्रशिक्षण के लिए मॉडल आउटपुट को ट्रेस करने के व्यावहारिक मूल्य को उजागर करते हैं।
खुले मॉडल और मॉडल ऑडिटिंग के लिए निहितार्थ
ओल्मोट्रेस एलएलएम विकास में पारदर्शिता के महत्व को रेखांकित करता है, विशेष रूप से ओपन-सोर्स मॉडल के लिए। जबकि उपकरण केवल लेक्सिकल मैचों को सतह देता है और कारणों के कारण नहीं होता है, यह एक ठोस तंत्र प्रदान करता है कि कैसे और कब भाषा मॉडल प्रशिक्षण सामग्री का पुन: उपयोग करते हैं। यह विशेष रूप से अनुपालन, कॉपीराइट ऑडिटिंग, या गुणवत्ता आश्वासन से जुड़े संदर्भों में प्रासंगिक है।
Apache 2.0 लाइसेंस के तहत निर्मित सिस्टम का ओपन-सोर्स फाउंडेशन, आगे की खोज को भी आमंत्रित करता है। शोधकर्ता इसे अनुमानित मिलान या प्रभाव-आधारित तकनीकों तक बढ़ा सकते हैं, जबकि डेवलपर्स इसे व्यापक एलएलएम मूल्यांकन पाइपलाइनों में एकीकृत कर सकते हैं।
एक परिदृश्य में जहां मॉडल व्यवहार अक्सर अपारदर्शी होता है, ओलमोट्रस निरीक्षण योग्य, डेटा-ग्राउंडेड एलएलएम के लिए एक मिसाल कायम करता है-मॉडल विकास और परिनियोजन में पारदर्शिता के लिए बार को बढ़ाता है
चेक आउट कागज और खेल का मैदान। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट। टिप्पणी:
Asif Razzaq MarkTechPost Media Inc के सीईओ हैं .. एक दूरदर्शी उद्यमी और इंजीनियर के रूप में, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की क्षमता का उपयोग करने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास एक आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का शुभारंभ है, जो मशीन लर्निंग और डीप लर्निंग न्यूज के अपने गहन कवरेज के लिए खड़ा है, जो तकनीकी रूप से ध्वनि और आसानी से एक व्यापक दर्शकों द्वारा समझ में आता है। मंच 2 मिलियन से अधिक मासिक विचारों का दावा करता है, दर्शकों के बीच अपनी लोकप्रियता को दर्शाता है।
