बड़े भाषा मॉडल (एलएलएम) आउटपुट का विश्वसनीय मूल्यांकन एआई सिस्टम विकास का एक महत्वपूर्ण अभी तक जटिल पहलू है। मौजूदा वर्कफ़्लोज़ में सुसंगत और उद्देश्य मूल्यांकन पाइपलाइनों को एकीकृत करना महत्वपूर्ण ओवरहेड का परिचय दे सकता है। ATLA MCP सर्वर एटीएलए के शक्तिशाली एलएलएम जज मॉडल को उजागर करके इसे संबोधित करता है – स्कोरिंग और क्रिटिक के लिए डिजाइन किया गया – के माध्यम से मॉडल संदर्भ प्रोटोकॉल (एमसीपी)। यह स्थानीय, मानक-अनुरूप इंटरफ़ेस डेवलपर्स को अपने टूल और एजेंट वर्कफ़्लो में एलएलएम आकलन को मूल रूप से शामिल करने में सक्षम बनाता है।
एक नींव के रूप में मॉडल संदर्भ प्रोटोकॉल (MCP)
मॉडल संदर्भ प्रोटोकॉल (एमसीपी) एक संरचित इंटरफ़ेस है जो मानकीकृत करता है कि एलएलएम बाहरी उपकरणों के साथ कैसे बातचीत करते हैं। एक प्रोटोकॉल के पीछे टूल के उपयोग को अमूर्त करके, MCP मॉडल कार्यान्वयन से टूल आह्वान के तर्क को स्वयं बताता है। यह डिज़ाइन इंटरऑपरेबिलिटी को बढ़ावा देता है: एमसीपी संचार में सक्षम कोई भी मॉडल किसी भी उपकरण का उपयोग कर सकता है जो एमसीपी-संगत इंटरफ़ेस को उजागर करता है।
एटीएलए एमसीपी सर्वर इस प्रोटोकॉल पर मूल्यांकन क्षमताओं को इस तरह से उजागर करने के लिए बनाता है जो मौजूदा टूलचेन में एकीकृत करने के लिए सुसंगत, पारदर्शी और आसान है।
ATLA MCP सर्वर का अवलोकन
ATLA MCP सर्वर एक स्थानीय रूप से होस्ट की गई सेवा है जो विशेष रूप से LLM आउटपुट का आकलन करने के लिए डिज़ाइन किए गए मूल्यांकन मॉडल तक प्रत्यक्ष पहुंच को सक्षम करती है। विकास वातावरण की एक श्रृंखला के साथ संगत, यह उपकरणों के साथ एकीकरण का समर्थन करता है जैसे:
- क्लाउड डेस्कटॉप: संवादात्मक संदर्भों के भीतर मूल्यांकन को सक्षम करता है।
- कर्सर: निर्दिष्ट मानदंडों के खिलाफ कोड स्निपेट के इन-एडिटर स्कोरिंग की अनुमति देता है।
- ओपनई एजेंट एसडीके: निर्णय लेने या आउटपुट प्रेषण से पहले प्रोग्रामेटिक मूल्यांकन की सुविधा।
एक मौजूदा वर्कफ़्लो में सर्वर को एकीकृत करके, डेवलपर्स एक प्रतिलिपि प्रस्तुत करने योग्य और संस्करण-नियंत्रित प्रक्रिया का उपयोग करके मॉडल आउटपुट पर संरचित मूल्यांकन कर सकते हैं।
उद्देश्य-निर्मित मूल्यांकन मॉडल
ATLA MCP सर्वर के कोर में दो समर्पित मूल्यांकन मॉडल शामिल हैं:
- सेलेन 1: एक पूर्ण-क्षमता वाले मॉडल को मूल्यांकन और समालोचना कार्यों पर स्पष्ट रूप से प्रशिक्षित किया गया है।
- सेलेन मिनी: विश्वसनीय स्कोरिंग क्षमताओं के साथ तेजी से अनुमान के लिए डिज़ाइन किया गया एक संसाधन-कुशल संस्करण।
एजेंट किस सेलेन मॉडल का उपयोग करता है?
यदि आप एजेंट तक मॉडल की पसंद नहीं छोड़ना चाहते हैं, तो आप एक मॉडल निर्दिष्ट कर सकते हैं।
सामान्य-प्रयोजन एलएलएम के विपरीत, जो संकेत के माध्यम से मूल्यांकन का अनुकरण करते हैं, सेलेन मॉडल को सुसंगत, कम-वेरियन मूल्यांकन और विस्तृत आलोचकों का उत्पादन करने के लिए अनुकूलित किया जाता है। यह कलाकृतियों को कम करता है जैसे कि आत्म-प्रवृत्ति पूर्वाग्रह या गलत तर्क के सुदृढीकरण।
मूल्यांकन एपीआई और टूलींग
सर्वर दो प्राथमिक एमसीपी-संगत मूल्यांकन उपकरण को उजागर करता है:
- evaluate_llm_response: उपयोगकर्ता-परिभाषित मानदंड के खिलाफ एक एकल मॉडल प्रतिक्रिया स्कोर करता है।
- evalue_llm_response_on_multiple_criteria: कई स्वतंत्र मानदंडों में स्कोर करके बहु-आयामी मूल्यांकन को सक्षम करता है।
ये उपकरण ठीक-ठीक प्रतिक्रिया छोरों का समर्थन करते हैं और इसका उपयोग एजेंटिक सिस्टम में स्व-सुधार व्यवहार को लागू करने या उपयोगकर्ता एक्सपोज़र से पहले आउटपुट को मान्य करने के लिए किया जा सकता है।
प्रदर्शन: फीडबैक लूप्स इन प्रैक्टिस
का उपयोग करते हुए क्लाउड डेस्कटॉप MCP सर्वर से जुड़ा, हमने मॉडल को एक नया, हास्यपूर्ण नाम सुझाने के लिए कहा पोकीमोन charizard। उत्पन्न नाम का उपयोग तब किया गया था सेलिन दो मानदंडों के खिलाफ: मोलिकता और हास्य। आलोचकों के आधार पर, क्लाउड ने तदनुसार नाम को संशोधित किया। यह सरल लूप दिखाता है कि कैसे एजेंट संरचित, स्वचालित प्रतिक्रिया का उपयोग करके गतिशील रूप से आउटपुट में सुधार कर सकते हैं – कोई मैनुअल हस्तक्षेप की आवश्यकता नहीं है।
हालांकि यह एक जानबूझकर चंचल उदाहरण है, एक ही मूल्यांकन तंत्र अधिक व्यावहारिक उपयोग के मामलों पर लागू होता है। उदाहरण के लिए:
- में ग्राहक सहेयताएजेंट प्रस्तुत करने से पहले सहानुभूति, सहायक और नीति संरेखण के लिए अपनी प्रतिक्रियाओं का आत्म-मूल्यांकन कर सकते हैं।
- में कोड जनरेशन वर्कफ़्लोज़उपकरण शुद्धता, सुरक्षा या शैली के पालन के लिए उत्पन्न स्निपेट स्कोर कर सकते हैं।
- में उद्यम सामग्री उत्पादनटीमें स्पष्टता, तथ्यात्मक सटीकता और ब्रांड स्थिरता के लिए चेक को स्वचालित कर सकती हैं।
ये परिदृश्य ATLA के मूल्यांकन मॉडल को उत्पादन प्रणालियों में एकीकृत करने के व्यापक मूल्य को प्रदर्शित करते हैं, जिससे विविध LLM- चालित अनुप्रयोगों में मजबूत गुणवत्ता आश्वासन की अनुमति मिलती है।
सेटअप और विन्यास
ATLA MCP सर्वर का उपयोग करना शुरू करने के लिए:
- ATLA डैशबोर्ड से API कुंजी प्राप्त करें।
- GitHub रिपॉजिटरी को क्लोन करें और इंस्टॉलेशन गाइड का पालन करें।
- मूल्यांकन अनुरोध जारी करने के लिए अपने MCP- संगत ग्राहक (क्लाउड, कर्सर, आदि) को कनेक्ट करें।
सर्वर को कम से कम ओवरहेड के साथ एजेंट रनटाइम्स और आईडीई वर्कफ़्लोज़ में प्रत्यक्ष एकीकरण का समर्थन करने के लिए बनाया गया है।
विकास और भविष्य के निर्देश
एटीएलए एमसीपी सर्वर को वास्तविक दुनिया के अनुप्रयोगों में संगतता और कार्यात्मक ध्वनि सुनिश्चित करने के लिए क्लाउड जैसे एआई सिस्टम के सहयोग से विकसित किया गया था। इस पुनरावृत्ति डिजाइन दृष्टिकोण ने उसी वातावरण के भीतर मूल्यांकन उपकरणों के प्रभावी परीक्षण को सक्षम किया जो वे सेवा करने के लिए हैं।
भविष्य के संवर्द्धन समर्थित मूल्यांकन प्रकारों की सीमा का विस्तार करने और अतिरिक्त ग्राहकों और ऑर्केस्ट्रेशन टूल के साथ इंटरऑपरेबिलिटी में सुधार करने पर ध्यान केंद्रित करेंगे।
प्रतिक्रिया देने या प्रतिक्रिया प्रदान करने के लिए, ATLA MCP सर्वर GitHub पर जाएं। डेवलपर्स को सर्वर के साथ प्रयोग करने, मुद्दों की रिपोर्ट करने और व्यापक एमसीपी पारिस्थितिकी तंत्र में उपयोग के मामलों का पता लगाने के लिए प्रोत्साहित किया जाता है।
टिप्पणी: इस लेख के लिए विचार नेतृत्व/ संसाधनों के लिए ATLA AI टीम को धन्यवाद। ATLA AI टीम ने इस सामग्री/लेख के लिए हमारा समर्थन किया है।
Asif Razzaq MarkTechPost Media Inc के सीईओ हैं .. एक दूरदर्शी उद्यमी और इंजीनियर के रूप में, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की क्षमता का उपयोग करने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास एक आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का शुभारंभ है, जो मशीन लर्निंग और डीप लर्निंग न्यूज के अपने गहन कवरेज के लिए खड़ा है, जो तकनीकी रूप से ध्वनि और आसानी से एक व्यापक दर्शकों द्वारा समझ में आता है। मंच 2 मिलियन से अधिक मासिक विचारों का दावा करता है, दर्शकों के बीच अपनी लोकप्रियता को दर्शाता है।
