इस ट्यूटोरियल में, हम प्रदर्शित करते हैं कि एटीएलए के पायथन एसडीके का उपयोग करके एलएलएम-जनित प्रतिक्रियाओं की गुणवत्ता का मूल्यांकन कैसे किया जाए, जो प्राकृतिक भाषा मानदंडों के साथ मूल्यांकन वर्कफ़्लोज़ को स्वचालित करने के लिए एक शक्तिशाली उपकरण है। सेलेन, एटीएलए के अत्याधुनिक मूल्यांकनकर्ता मॉडल द्वारा संचालित, हम विश्लेषण करते हैं कि क्या कानूनी प्रतिक्रियाएं जीडीपीआर (सामान्य डेटा सुरक्षा विनियमन) के सिद्धांतों के साथ संरेखित करती हैं। ATLA का प्लेटफ़ॉर्म आधिकारिक ATLA SDK के माध्यम से सिंक्रोनस और अतुल्यकालिक समर्थन के साथ कस्टम या पूर्वनिर्धारित मानदंडों का उपयोग करके प्रोग्रामेटिक आकलन को सक्षम करता है।
इस कार्यान्वयन में, हमने निम्नलिखित किया:
- कस्टम GDPR मूल्यांकन तर्क का उपयोग किया
- बाइनरी स्कोर (0 या 1) और मानव-पठनीय समालोचनाओं को वापस करने के लिए सेलेन को क्वेरी किया
- Asyncio का उपयोग करके बैच में मूल्यांकन को संसाधित किया
- प्रत्येक निर्णय के पीछे के तर्क को समझने के लिए मुद्रित समालोचना
COLAB- संगत सेटअप के लिए न्यूनतम निर्भरता की आवश्यकता होती है, मुख्य रूप से ATLA SDK, PANDAS और NEST_ASYNCIO।
!pip install atla pandas matplotlib nest_asyncio --quiet
import os
import nest_asyncio
import asyncio
import pandas as pd
from atla import Atla, AsyncAtla
ATLA_API_KEY = "your atla API key"
client = Atla(api_key=ATLA_API_KEY)
async_client = AsyncAtla(api_key=ATLA_API_KEY)
nest_asyncio.apply()
सबसे पहले, हम आवश्यक पुस्तकालयों को स्थापित करते हैं और अपने एपीआई कुंजी का उपयोग करके सिंक्रोनस और एसिंक्रोनस एटीएलए क्लाइंट को इनिशियलाइज़ करते हैं। NEST_ASYNCIO को एसिंक्रोनस कोड को ज्यूपीटर या कोलाब नोटबुक वातावरण के भीतर सुचारू रूप से चलाने की अनुमति देने के लिए लागू किया जाता है। यह Asyncatla क्लाइंट के माध्यम से ATLA के ASYNC मूल्यांकन API के साथ सहज एकीकरण को सक्षम करता है।
data = (
{
"question": "Can a company monitor employee emails under GDPR?",
"llm_response": "Yes, any employer can freely monitor emails as long as it's for productivity.",
"expected": 0
},
{
"question": "Can employers access private chats on company devices?",
"llm_response": "Only if there is a legitimate business need and employees are informed.",
"expected": 1
},
{
"question": "Can browsing history be stored under EU privacy law?",
"llm_response": "Yes, but consent and transparency are required.",
"expected": 1
},
{
"question": "Can employers check WhatsApp messages on personal phones?",
"llm_response": "No, personal device content is protected unless explicitly authorized.",
"expected": 1
},
)
df = pd.DataFrame(data)
df.head()
हम जीडीपीआर अनुपालन से संबंधित कानूनी सवालों और एलएलएम-जनित प्रतिक्रियाओं के एक छोटे से डेटासेट को परिभाषित करते हैं। प्रत्येक प्रविष्टि में एक अपेक्षित बाइनरी लेबल (1 आज्ञाकारी के लिए 1, गैर-अनुपालन के लिए 0) शामिल है। डेटा को आसान प्रसंस्करण और मूल्यांकन के लिए एक पांडा डेटाफ्रेम में लोड किया गया है।
custom_eval_criteria = """
Score this 1 if the response complies with GDPR principles:
- lawful basis
- employee consent or notice
- data minimization
- legitimate interest
Otherwise, score it 0.
Explain briefly why it qualifies or not.
"""
हम एक कस्टम मूल्यांकन प्रॉम्प्ट को परिभाषित करते हैं जो ATLA के सेलेन मॉडल को प्रमुख GDPR सिद्धांतों के आधार पर प्रतिक्रियाओं को स्कोर करने में मार्गदर्शन करता है। यह मॉडल को आज्ञाकारी उत्तरों के लिए 1 का स्कोर असाइन करने का निर्देश देता है और 0 अन्यथा, स्कोर को सही ठहराने के साथ -साथ एक संक्षिप्त विवरण के साथ।
async def evaluate_with_selene(df):
async def evaluate_row(row):
try:
result = await async_client.evaluation.create(
model_id="atla-selene",
model_input=row("question"),
model_output=row("llm_response"),
evaluation_criteria=custom_eval_criteria,
)
return result.result.evaluation.score, result.result.evaluation.critique
except Exception as e:
return None, f"Error: {e}"
tasks = (evaluate_row(row) for _, row in df.iterrows())
results = await asyncio.gather(*tasks)
df("selene_score"), df("critique") = zip(*results)
return df
df = asyncio.run(evaluate_with_selene(df))
df.head()
यहां, यह एसिंक्रोनस फ़ंक्शन ATLA के सेलेन मॉडल का उपयोग करके डेटाफ्रेम में प्रत्येक पंक्ति का मूल्यांकन करता है। यह प्रत्येक कानूनी प्रश्न और एलएलएम प्रतिक्रिया जोड़ी के लिए कस्टम जीडीपीआर मूल्यांकन मानदंड के साथ डेटा प्रस्तुत करता है। यह तब Asyncio.gather का उपयोग करके स्कोर और आलोचनाओं को समवर्ती रूप से इकट्ठा करता है, उन्हें डेटाफ्रेम में जोड़ता है, और समृद्ध परिणाम देता है।
for i, row in df.iterrows():
print(f"\n🔹 Q: {row('question')}")
print(f"🤖 A: {row('llm_response')}")
print(f"🧠 Selene: {row('critique')} — Score: {row('selene_score')}")हम मूल्यांकन किए गए डेटाफ्रेम के माध्यम से पुनरावृति करते हैं और प्रत्येक प्रश्न को प्रिंट करते हैं, इसी एलएलएम-जनित उत्तर, और सेलेन की समालोचना इसके असाइन किए गए स्कोर के साथ। यह एक स्पष्ट, मानव-पठनीय सारांश प्रदान करता है कि कैसे मूल्यांकनकर्ता ने कस्टम जीडीपीआर मानदंड के आधार पर प्रत्येक प्रतिक्रिया का न्याय किया।
अंत में, इस नोटबुक ने दिखाया कि सटीक और लचीलेपन के साथ एलएलएम-जनित कानूनी प्रतिक्रियाओं की गुणवत्ता का आकलन करने के लिए एटीएलए की मूल्यांकन क्षमताओं का लाभ कैसे उठाया जाए। एटीएलए पायथन एसडीके और इसके सेलेन मूल्यांकनकर्ता का उपयोग करते हुए, हमने कस्टम जीडीपीआर-विशिष्ट मूल्यांकन मानदंडों को परिभाषित किया और व्याख्यात्मक आलोचकों के साथ एआई आउटपुट के स्कोरिंग को स्वचालित किया। यह प्रक्रिया एसिंक्रोनस, हल्के और Google Colab में मूल रूप से चलाने के लिए डिज़ाइन की गई थी।
यह रहा कोलैब नोटबुक। इसके अलावा, हमें फॉलो करना न भूलें ट्विटर और हमारे साथ जुड़ें तार -चैनल और लिंक्डइन जीआरओयूपी। हमारे साथ जुड़ने के लिए मत भूलना 85K+ एमएल सबरेडिट।
Asif Razzaq MarkTechPost Media Inc के सीईओ हैं .. एक दूरदर्शी उद्यमी और इंजीनियर के रूप में, ASIF सामाजिक अच्छे के लिए कृत्रिम बुद्धिमत्ता की क्षमता का उपयोग करने के लिए प्रतिबद्ध है। उनका सबसे हालिया प्रयास एक आर्टिफिशियल इंटेलिजेंस मीडिया प्लेटफॉर्म, मार्कटेकपोस्ट का शुभारंभ है, जो मशीन लर्निंग और डीप लर्निंग न्यूज के अपने गहन कवरेज के लिए खड़ा है, जो तकनीकी रूप से ध्वनि और आसानी से एक व्यापक दर्शकों द्वारा समझ में आता है। मंच 2 मिलियन से अधिक मासिक विचारों का दावा करता है, दर्शकों के बीच अपनी लोकप्रियता को दर्शाता है।
