अणुओं की खोज करने की प्रक्रिया जिनमें नई दवाएं और सामग्री बनाने के लिए आवश्यक गुण होते हैं, वे बोझिल और महंगे हैं, जो संभावित उम्मीदवारों के विशाल स्थान को कम करने के लिए विशाल कम्प्यूटेशनल संसाधनों और मानव श्रम के महीनों का उपभोग करते हैं।
चैटगिप जैसे बड़े भाषा मॉडल (एलएलएम) इस प्रक्रिया को सुव्यवस्थित कर सकते हैं, लेकिन एक एलएलएम को समझने में सक्षम बनाता है और परमाणुओं और बॉन्ड के बारे में कारण है जो एक अणु का निर्माण करते हैं, उसी तरह यह शब्दों के साथ करता है जो वाक्यों को बनाते हैं, एक वैज्ञानिक ठोकर ब्लॉक प्रस्तुत करते हैं।
MIT और MIT-IBM वॉटसन AI लैब के शोधकर्ताओं ने एक आशाजनक दृष्टिकोण बनाया जो ग्राफ-आधारित मॉडल के रूप में जाना जाने वाला अन्य मशीन-लर्निंग मॉडल के साथ एक एलएलएम को बढ़ाता है, जो विशेष रूप से आणविक संरचनाओं को उत्पन्न करने और भविष्यवाणी करने के लिए डिज़ाइन किए गए हैं।
उनकी विधि प्राकृतिक भाषा के प्रश्नों की व्याख्या करने के लिए एक आधार एलएलएम को नियोजित करती है जो वांछित आणविक गुणों को निर्दिष्ट करती है। यह स्वचालित रूप से अणु को डिजाइन करने के लिए आधार एलएलएम और ग्राफ-आधारित एआई मॉड्यूल के बीच स्विच करता है, तर्क को समझाता है, और इसे संश्लेषित करने के लिए एक चरण-दर-चरण योजना उत्पन्न करता है। यह पाठ, ग्राफ, और संश्लेषण चरण पीढ़ी को इंटरलेव करता है, शब्दों, ग्राफ़ और प्रतिक्रियाओं को एलएलएम के लिए एक सामान्य शब्दावली में मिलाकर उपभोग करने के लिए एक सामान्य शब्दावली में शामिल करता है।
जब मौजूदा एलएलएम-आधारित दृष्टिकोणों की तुलना में, इस मल्टीमॉडल तकनीक ने अणुओं को उत्पन्न किया जो उपयोगकर्ता विनिर्देशों से बेहतर मेल खाते हैं और एक वैध संश्लेषण योजना की संभावना अधिक होती है, जिससे सफलता के अनुपात में 5 प्रतिशत से 35 प्रतिशत तक सुधार होता है।
इसने एलएलएम को भी पीछे छोड़ दिया जो कि इसके आकार के 10 गुना से अधिक हैं और केवल पाठ-आधारित अभ्यावेदन के साथ अणुओं और संश्लेषण मार्गों को डिजाइन करता है, यह सुझाव देना कि बहु-शक्ति नई प्रणाली की सफलता के लिए महत्वपूर्ण है।
“यह उम्मीद है कि एक एंड-टू-एंड समाधान हो सकता है, जहां शुरू से अंत तक, हम एक अणु को डिजाइन करने और बनाने की पूरी प्रक्रिया को स्वचालित करेंगे। यदि कोई एलएलएम आपको कुछ ही सेकंड में जवाब दे सकता है, तो यह फार्मास्युटिकल कंपनियों के लिए एक बहुत बड़ा समय-सेवर होगा,” माइकल सन, इस तकनीक पर एक पेपर के एक पेपर के सह-अओथोर का कहना है।
सन के सह-लेखकों में लीड लेखक गैंग लियू शामिल हैं, जो नोट्रे डेम विश्वविद्यालय में स्नातक छात्र हैं; Wojciech Matusik, MIT में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान के एक प्रोफेसर, जो कंप्यूटर विज्ञान और कृत्रिम खुफिया प्रयोगशाला (CSAIL) के भीतर कम्प्यूटेशनल डिजाइन और निर्माण समूह का नेतृत्व करता है; मेंग जियांग, नोट्रे डेम विश्वविद्यालय में एसोसिएट प्रोफेसर; और वरिष्ठ लेखक जी चेन, एमआईटी-आईबीएम वाटसन एआई लैब में एक वरिष्ठ अनुसंधान वैज्ञानिक और प्रबंधक। अनुसंधान को सीखने के अभ्यावेदन पर अंतर्राष्ट्रीय सम्मेलन में प्रस्तुत किया जाएगा।
दोनों दुनिया के सर्वश्रेष्ठ
बड़े भाषा के मॉडल रसायन विज्ञान की बारीकियों को समझने के लिए नहीं बनाए गए हैं, जो एक कारण है कि वे व्युत्क्रम आणविक डिजाइन के साथ संघर्ष करते हैं, आणविक संरचनाओं की पहचान करने की एक प्रक्रिया जिसमें कुछ कार्यों या गुण होते हैं।
LLMS पाठ को टोकन नामक अभ्यावेदन में परिवर्तित करता है, जिसका उपयोग वे एक वाक्य में अगले शब्द की भविष्यवाणी करने के लिए करते हैं। लेकिन अणु “ग्राफ संरचनाएं” हैं, जो परमाणुओं और बांडों से बने हैं, जिनमें कोई विशेष आदेश नहीं है, जिससे उन्हें अनुक्रमिक पाठ के रूप में एनकोड करना मुश्किल हो जाता है।
दूसरी ओर, शक्तिशाली ग्राफ-आधारित एआई मॉडल एक ग्राफ में परस्पर जुड़े नोड्स और किनारों के रूप में परमाणुओं और आणविक बॉन्ड का प्रतिनिधित्व करते हैं। जबकि ये मॉडल उलटा आणविक डिजाइन के लिए लोकप्रिय हैं, उन्हें जटिल इनपुट की आवश्यकता होती है, वे प्राकृतिक भाषा को नहीं समझ सकते हैं, और परिणाम प्राप्त करते हैं जो व्याख्या करना मुश्किल हो सकते हैं।
एमआईटी शोधकर्ताओं ने एक एलएलएम को ग्राफ-आधारित एआई मॉडल के साथ एक एकीकृत ढांचे में जोड़ दिया जो दोनों दुनिया के सर्वश्रेष्ठ को प्राप्त करता है।
लामोल, जो आणविक खोज के लिए बड़े भाषा मॉडल के लिए खड़ा है, उपयोगकर्ता की क्वेरी को समझने के लिए एक गेटकीपर के रूप में एक आधार एलएलएम का उपयोग करता है-कुछ गुणों के साथ एक अणु के लिए एक सादा-भाषा अनुरोध।
उदाहरण के लिए, शायद एक उपयोगकर्ता एक अणु चाहता है जो रक्त-मस्तिष्क अवरोध को घुस सकता है और एचआईवी को रोक सकता है, यह देखते हुए कि इसमें 209 का आणविक भार है और कुछ बॉन्ड विशेषताओं का है।
जैसा कि एलएलएम क्वेरी के जवाब में पाठ की भविष्यवाणी करता है, यह ग्राफ मॉड्यूल के बीच स्विच करता है।
एक मॉड्यूल इनपुट आवश्यकताओं पर वातानुकूलित आणविक संरचना को उत्पन्न करने के लिए एक ग्राफ प्रसार मॉडल का उपयोग करता है। एक दूसरा मॉड्यूल एक ग्राफ न्यूरल नेटवर्क का उपयोग करता है, जो कि उत्पन्न आणविक संरचना को एलएलएमएस के लिए टोकन में वापस आ जाता है। अंतिम ग्राफ़ मॉड्यूल एक ग्राफ रिएक्शन प्रेडिक्टर है जो एक मध्यवर्ती आणविक संरचना को इनपुट के रूप में लेता है और एक प्रतिक्रिया कदम की भविष्यवाणी करता है, जो बुनियादी बिल्डिंग ब्लॉकों से अणु को बनाने के लिए चरणों के सटीक सेट की खोज करता है।
शोधकर्ताओं ने एक नए प्रकार का ट्रिगर टोकन बनाया जो प्रत्येक मॉड्यूल को सक्रिय करने के लिए एलएलएम को बताता है। जब एलएलएम एक “डिज़ाइन” ट्रिगर टोकन की भविष्यवाणी करता है, तो यह एक आणविक संरचना को स्केच करने वाले मॉड्यूल पर स्विच करता है, और जब यह “रेट्रो” ट्रिगर टोकन की भविष्यवाणी करता है, तो यह रेट्रोसिंथेटिक प्लानिंग मॉड्यूल पर स्विच करता है जो अगले प्रतिक्रिया कदम की भविष्यवाणी करता है।
“इस बात की सुंदरता यह है कि एलएलएम एक विशेष मॉड्यूल को सक्रिय करने से पहले जो कुछ भी उत्पन्न करता है वह उस मॉड्यूल में ही खिलाया जाता है। मॉड्यूल एक तरह से काम करना सीख रहा है जो पहले आया था,” के अनुरूप है।
उसी तरह, प्रत्येक मॉड्यूल का आउटपुट एन्कोड किया जाता है और एलएलएम की पीढ़ी प्रक्रिया में वापस खिलाया जाता है, इसलिए यह समझता है कि प्रत्येक मॉड्यूल ने क्या किया और उन आंकड़ों के आधार पर टोकन की भविष्यवाणी करना जारी रखेगा।
बेहतर, सरल आणविक संरचनाएं
अंत में, Llamole आणविक संरचना की एक छवि, अणु का एक पाठ्य विवरण, और एक चरण-दर-चरण संश्लेषण योजना का उत्पादन करता है जो व्यक्तिगत रासायनिक प्रतिक्रियाओं के लिए इसे कैसे बनाना है, इसका विवरण प्रदान करता है।
उपयोगकर्ता विनिर्देशों से मेल खाने वाले अणुओं को डिजाइन करने वाले प्रयोगों में, Llamole ने 10 मानक LLM, चार फाइन-ट्यून्ड LLM और एक अत्याधुनिक डोमेन-विशिष्ट विधि से बेहतर प्रदर्शन किया। इसी समय, इसने उच्च गुणवत्ता वाले अणुओं को उत्पन्न करके रेट्रोसिंथेटिक प्लानिंग सफलता दर को 5 प्रतिशत से 35 प्रतिशत तक बढ़ा दिया, जिसका अर्थ है कि उनके पास सरल संरचनाएं और कम लागत वाली बिल्डिंग ब्लॉक थे।
“अपने दम पर, एलएलएमएस यह पता लगाने के लिए संघर्ष करते हैं कि अणुओं को कैसे संश्लेषित किया जाए क्योंकि इसके लिए बहुत अधिक मल्टीस्टेप प्लानिंग की आवश्यकता होती है। हमारी विधि बेहतर आणविक संरचनाओं को उत्पन्न कर सकती है जो संश्लेषित करने के लिए भी आसान हैं,” लियू कहते हैं।
Llamole को प्रशिक्षित करने और मूल्यांकन करने के लिए, शोधकर्ताओं ने खरोंच से दो डेटासेट बनाए क्योंकि आणविक संरचनाओं के मौजूदा डेटासेट में पर्याप्त विवरण नहीं थे। उन्होंने एआई-जनित प्राकृतिक भाषा विवरण और अनुकूलित विवरण टेम्प्लेट के साथ सैकड़ों हजारों पेटेंट अणुओं को संवर्धित किया।
एलएलएम को फाइन-ट्यून करने के लिए उन्होंने जो डेटासेट बनाया था, उसमें 10 आणविक गुणों से संबंधित टेम्प्लेट शामिल हैं, इसलिए लामोल की एक सीमा यह है कि यह केवल उन 10 संख्यात्मक गुणों पर विचार करने वाले अणुओं को डिजाइन करने के लिए प्रशिक्षित है।
भविष्य के काम में, शोधकर्ता लामोल को सामान्य करना चाहते हैं ताकि यह किसी भी आणविक संपत्ति को शामिल कर सके। इसके अलावा, वे Llamole की पूर्वव्यापी सफलता दर को बढ़ावा देने के लिए ग्राफ मॉड्यूल में सुधार करने की योजना बनाते हैं।
और लंबे समय में, वे अणुओं से परे जाने के लिए इस दृष्टिकोण का उपयोग करने की उम्मीद करते हैं, मल्टीमॉडल एलएलएम बनाते हैं जो अन्य प्रकार के ग्राफ-आधारित डेटा को संभाल सकते हैं, जैसे कि पावर ग्रिड में इंटरकनेक्टेड सेंसर या वित्तीय बाजार में लेनदेन।
चेन कहते हैं, “लामोल बड़े भाषा के मॉडल का उपयोग करने की व्यवहार्यता को एक इंटरफ़ेस के रूप में कॉम्प्लेक्स डेटा से परे एक इंटरफ़ेस के रूप में प्रदर्शित करता है, और हम उन्हें एक नींव होने का अनुमान लगाते हैं जो किसी भी ग्राफ समस्याओं को हल करने के लिए अन्य एआई एल्गोरिदम के साथ बातचीत करता है।”
यह शोध, MIT-IBM वॉटसन AI लैब, नेशनल साइंस फाउंडेशन और नेवल रिसर्च के कार्यालय द्वारा भाग में वित्त पोषित है।
।
