मल्टी-एजेंट सिस्टम (MAS) में बढ़ती रुचि के बावजूद, जहां कई एलएलएम-आधारित एजेंट जटिल कार्यों में सहयोग करते हैं, उनके प्रदर्शन लाभ एकल-एजेंट फ्रेमवर्क की तुलना में सीमित रहते हैं। जबकि सॉफ्टवेयर इंजीनियरिंग, ड्रग डिस्कवरी और वैज्ञानिक सिमुलेशन में मास की खोज की जाती है, वे अक्सर समन्वय अक्षमताओं के साथ संघर्ष करते हैं, जिससे उच्च विफलता दर होती है। ये विफलताएं महत्वपूर्ण चुनौतियों को प्रकट करती हैं, जिनमें कार्य मिसलिग्न्मेंट, रीज़निंग-एक्शन बेमेल और अप्रभावी सत्यापन तंत्र शामिल हैं। अनुभवजन्य मूल्यांकन बताते हैं कि यहां तक कि अत्याधुनिक ओपन-सोर्स मास, जैसे कि चैटदेव, कम सफलता दर का प्रदर्शन कर सकते हैं, उनकी विश्वसनीयता के बारे में सवाल उठाते हैं। एकल-एजेंट फ्रेमवर्क के विपरीत, मास को अंतर-एजेंट मिसलिग्न्मेंट, वार्तालाप रीसेट और अपूर्ण कार्य सत्यापन को संबोधित करना चाहिए, जो उनकी प्रभावशीलता को काफी प्रभावित करता है। इसके अतिरिक्त, वर्तमान सर्वोत्तम प्रथाओं, जैसे कि बेस्ट-ऑफ-एन सैंपलिंग, अक्सर मास से बेहतर प्रदर्शन करते हैं, उनकी सीमाओं की गहरी समझ की आवश्यकता पर जोर देते हैं।
मौजूदा शोध ने एजेंटिक सिस्टम में विशिष्ट चुनौतियों का सामना किया है, जैसे कि वर्कफ़्लो मेमोरी में सुधार करना, राज्य नियंत्रण को बढ़ाना और संचार प्रवाह को परिष्कृत करना। हालांकि, ये दृष्टिकोण डोमेन में एमएएस विश्वसनीयता में सुधार के लिए एक समग्र रणनीति प्रदान नहीं करते हैं। जबकि विभिन्न बेंचमार्क प्रदर्शन, सुरक्षा और विश्वसनीयता के आधार पर एजेंटिक सिस्टम का आकलन करते हैं, मजबूत द्रव्यमान का निर्माण करने के तरीके पर कोई सहमति नहीं है। पूर्व अध्ययन एजेंटिक फ्रेमवर्क को ओवरकम्प्लिकेट करने के जोखिमों को उजागर करते हैं और मॉड्यूलर डिजाइन के महत्व पर जोर देते हैं, फिर भी एमएएस विफलता मोड में व्यवस्थित जांच दुर्लभ बनी हुई है। यह काम एमएएस विफलताओं की एक संरचित वर्गीकरण प्रदान करके और अधिक प्रभावी मल्टी-एजेंट एलएलएम सिस्टम के लिए मार्ग प्रशस्त करने के लिए डिजाइन सिद्धांतों का सुझाव देकर योगदान देता है।
यूसी बर्कले और इंटेसा सनपोलो के शोधकर्ता एमएएस चुनौतियों का पहला व्यापक अध्ययन प्रस्तुत करते हैं, विशेषज्ञ एनोटेटर के साथ 150 कार्यों में पांच फ्रेमवर्क का विश्लेषण करते हैं। वे 14 विफलता मोड की पहचान करते हैं, जो सिस्टम डिज़ाइन की खामियों, अंतर-एजेंट मिसलिग्न्मेंट और टास्क वेरिफिकेशन मुद्दों में वर्गीकृत करते हैं, जो मल्टी-एजेंट सिस्टम विफलता टैक्सोनॉमी (MASFT) का गठन करते हैं। वे मूल्यांकन की सुविधा के लिए एक एलएलएम-ए-ए-जज पाइपलाइन विकसित करते हैं, मानव एनोटेटर के साथ उच्च समझौता प्राप्त करते हैं। बेहतर एजेंट विनिर्देश और ऑर्केस्ट्रेशन जैसे हस्तक्षेप के बावजूद, एमएएस विफलताएं बनी रहती हैं, संरचनात्मक रिडिजाइन की आवश्यकता को रेखांकित करती हैं। डेटासेट और एनोटेशन सहित उनका काम भविष्य के एमएएस अनुसंधान और विकास का मार्गदर्शन करने के लिए खुला है।
अध्ययन एमएएस में विफलता पैटर्न की पड़ताल करता है और उन्हें एक संरचित वर्गीकरण में वर्गीकृत करता है। ग्राउंडेड थ्योरी (जीटी) दृष्टिकोण का उपयोग करते हुए, शोधकर्ता एमएएस निष्पादन का विश्लेषण करते हैं, जो अंतर-विरोधी समझौते के अध्ययन के माध्यम से विफलता श्रेणियों को फिर से शुरू करते हैं। उन्होंने 94% सटीकता प्राप्त करते हुए, स्वचालित विफलता का पता लगाने के लिए एक एलएलएम-आधारित एनोटेटर विकसित किया। विफलताओं को सिस्टम डिजाइन खामियों, अंतर-एजेंट मिसलिग्न्मेंट और अपर्याप्त कार्य सत्यापन में वर्गीकृत किया जाता है। विश्वसनीयता सुनिश्चित करते हुए, पुनरावृत्ति शोधन के माध्यम से वर्गीकरण को मान्य किया जाता है। परिणाम एमएएस आर्किटेक्चर में विविध विफलता मोड को उजागर करते हैं, एमएएस प्रदर्शन को बढ़ाने के लिए बेहतर समन्वय, स्पष्ट भूमिका परिभाषाओं और मजबूत सत्यापन तंत्र की आवश्यकता पर जोर देते हैं।
रणनीतियों को द्रव्यमान को बढ़ाने और विफलताओं को कम करने के लिए सामरिक और संरचनात्मक दृष्टिकोणों में वर्गीकृत किया गया है। सामरिक तरीकों में रिफाइनिंग संकेत, एजेंट संगठन, इंटरैक्शन प्रबंधन और स्पष्टता और सत्यापन चरणों में सुधार शामिल है। हालांकि, उनकी प्रभावशीलता भिन्न होती है। संरचनात्मक रणनीतियाँ सिस्टम-वाइड सुधारों पर ध्यान केंद्रित करती हैं, जैसे कि सत्यापन तंत्र, मानकीकृत संचार, सुदृढीकरण सीखने और स्मृति प्रबंधन। दो केस स्टडीज- सथचैट और चैटेव- इन दृष्टिकोणों को दर्शाते हैं। MathChat संकेतों और एजेंट भूमिकाओं को परिष्कृत करता है, परिणामों में असंगत रूप से सुधार करता है। CHATDEV भूमिका के पालन को बढ़ाता है और पुनरावृत्त सत्यापन के लिए फ्रेमवर्क टोपोलॉजी को संशोधित करता है। जबकि ये हस्तक्षेप मदद करते हैं, महत्वपूर्ण सुधारों को गहन संरचनात्मक संशोधनों की आवश्यकता होती है, जो एमएएस विश्वसनीयता में आगे के शोध की आवश्यकता पर जोर देती है।
अंत में, अध्ययन एलएलएम का उपयोग करके द्रव्यमान में विफलता मोड का व्यापक रूप से विश्लेषण करता है। 150 से अधिक निशानों की जांच करके, अनुसंधान 14 अलग-अलग विफलता मोड की पहचान करता है: विनिर्देश और सिस्टम डिजाइन, अंतर-एजेंट मिसलिग्न्मेंट, और कार्य सत्यापन और समाप्ति। एक स्वचालित एलएलएम एनोटेटर को एमएएस निशान का विश्लेषण करने के लिए पेश किया जाता है, जो विश्वसनीयता का प्रदर्शन करता है। केस स्टडीज से पता चलता है कि सरल सुधार अक्सर कम हो जाते हैं, लगातार सुधारों के लिए संरचनात्मक रणनीतियों की आवश्यकता होती है। मास में बढ़ती रुचि के बावजूद, उनका प्रदर्शन एकल-एजेंट सिस्टम की तुलना में सीमित रहता है, एजेंट समन्वय, सत्यापन और संचार रणनीतियों में गहरे अनुसंधान की आवश्यकता को रेखांकित करता है।
चेक आउट कागज़। इस शोध के लिए सभी श्रेय इस परियोजना के शोधकर्ताओं को जाते हैं। इसके अलावा, हमें फॉलो करने के लिए स्वतंत्र महसूस करें ट्विटर और हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट।
आईआईटी मद्रास में मार्कटेकपोस्ट में एक परामर्श इंटर्न और दोहरे डिग्री के छात्र सना हसन, वास्तविक दुनिया की चुनौतियों का समाधान करने के लिए प्रौद्योगिकी और एआई को लागू करने के बारे में भावुक हैं। व्यावहारिक समस्याओं को हल करने में गहरी रुचि के साथ, वह एआई और वास्तविक जीवन के समाधानों के चौराहे के लिए एक नया दृष्टिकोण लाता है।
