स्टार्टअप फर्म पेट्रोनस genAI गलतियों को पकड़ने के लिए डायग्नोस्टिक टूल बनाती है

जेनेरिक एआई (जेनएआई) प्लेटफॉर्म जैसे चैटजीपीटी, Dall-E2और अल्फ़ाकोड ख़तरनाक गति से आगे बढ़ते हुए, उपकरणों को मतिभ्रम करने और गलत या आक्रामक प्रतिक्रिया देने से रोकना लगभग असंभव है।

आज तक, यह सुनिश्चित करने के लिए कुछ तरीके हैं कि बड़े भाषा मॉडल (एलएलएम) से सटीक जानकारी आ रही है जो जेनएआई के आधार के रूप में काम करती है।

जैसे-जैसे एआई उपकरण विकसित होते हैं और प्राकृतिक भाषा की नकल करने में बेहतर होते हैं, जल्द ही वास्तविक परिणामों से नकली परिणामों को पहचानना असंभव हो जाएगा, जिससे कंपनियों को सबसे खराब परिणामों के खिलाफ “सुरक्षात्मक” स्थापित करने के लिए प्रेरित किया जाएगा, चाहे वे बुरे अभिनेताओं द्वारा आकस्मिक या जानबूझकर किए गए प्रयास हों।

GenAI उपकरण अनिवार्य रूप से अगले शब्द भविष्यवाणी इंजन हैं। वे अगले-शब्द जनरेटर, जैसे चैटजीपीटीमाइक्रोसॉफ्ट का सहपायलट, और गूगल का बार्डपटरी से उतर सकता है और झूठी या भ्रामक जानकारी उगलना शुरू कर सकता है।

सितंबर में, दो पूर्व मेटा एआई शोधकर्ताओं द्वारा स्थापित एक स्टार्टअप एक स्वचालित मूल्यांकन और सुरक्षा मंच जारी किया जो कंपनियों को विसंगतियों, अशुद्धियों, मतिभ्रम और पूर्वाग्रहों के लिए मॉडल की निगरानी के लिए प्रतिकूल परीक्षणों का उपयोग करके एलएलएम का सुरक्षित रूप से उपयोग करने में मदद करता है।

संरक्षक ए.आई कहा गया है कि इसके उपकरण गलत जानकारी का पता लगा सकते हैं और जब कोई एलएलएम अनजाने में निजी या संवेदनशील डेटा को उजागर कर रहा हो।

“ये सभी बड़ी कंपनियाँ एलएलएम में गोता लगा रही हैं, लेकिन वे आँख मूँद कर ऐसा कर रही हैं; वे मॉडलों के लिए तीसरे पक्ष के मूल्यांकनकर्ता बनने की कोशिश कर रहे हैं, ”पैट्रोनस के संस्थापक और सीईओ आनंद कन्ननप्पन ने कहा। “लोग एआई पर भरोसा नहीं करते क्योंकि वे अनिश्चित हैं कि यह मतिभ्रम है या नहीं। यह उत्पाद एक सत्यापन जांच है।”

पैट्रोनस का डायग्नोस्टिक टूल का सिंपलसेफ्टीटेस्ट सूट महत्वपूर्ण सुरक्षा जोखिमों के लिए एआई सिस्टम की जांच करने के लिए डिज़ाइन किए गए 100 परीक्षण संकेतों का उपयोग करता है। उदाहरण के लिए, कंपनी ने ओपनएआई के चैटजीपीटी और अन्य एआई चैटबॉट्स सहित कुछ सबसे लोकप्रिय जेनएआई प्लेटफार्मों का परीक्षण करने के लिए अपने सॉफ्टवेयर का उपयोग किया है, उदाहरण के लिए, यह देखने के लिए कि क्या वे एसईसी फाइलिंग को समझ सकते हैं। पैट्रोनस ने कहा कि चैटबॉट लगभग 70% समय विफल रहे और केवल तभी सफल हुए जब उन्हें बताया गया कि प्रासंगिक जानकारी कहाँ देखनी है।

कन्ननप्पन ने बताया, “हम कंपनियों को स्वचालित तरीके से बड़े पैमाने पर भाषा मॉडल की गलतियों को पकड़ने में मदद करते हैं।” “बड़ी कंपनियां स्प्रेडशीट में त्रुटियों को मैन्युअल रूप से पकड़ने के लिए आंतरिक क्यूए टीमों और बाहरी सलाहकारों पर लाखों डॉलर खर्च कर रही हैं। उनमें से कुछ गुणवत्ता आश्वासन कंपनियां इन त्रुटियों को होने से रोकने के लिए परीक्षण मामले बनाने में महंगा इंजीनियरिंग समय खर्च कर रही हैं।

रिसर्च फर्म गार्टनर के उपाध्यक्ष और प्रतिष्ठित विश्लेषक अवीवा लिटन ने कहा कि एआई मतिभ्रम की दर “हर जगह” 3% से 30% तक है। इस मुद्दे पर अभी तक बहुत अच्छा डेटा उपलब्ध नहीं है।

हालाँकि, गार्टनर ने भविष्यवाणी की थी कि 2025 तक जेनएआई को सुरक्षा के लिए अधिक साइबर सुरक्षा संसाधनों की आवश्यकता होगी, जिससे खर्च में 15% की बढ़ोतरी होगी।

लिटन ने कहा कि एआई परिनियोजन में रुचि रखने वाली कंपनियों को यह समझना चाहिए कि वे समस्याओं की पहचान करने के लिए मानव को शामिल किए बिना उन्हें “ऑटोपायलट” पर चलने की अनुमति नहीं दे सकते हैं। उन्होंने कहा, “आखिरकार लोग इसके प्रति जागेंगे, और वे संभवतः माइक्रोसॉफ्ट के 365 के कोपायलट के साथ जागना शुरू कर देंगे, क्योंकि इससे ये सिस्टम मुख्यधारा अपनाने वालों के हाथों में आ जाएगा।”

(माइक्रोसॉफ्ट के बिंग चैटबॉट को कोपायलट के रूप में पुनः ब्रांड किया गया था और इसे माइक्रोसॉफ्ट 365 के हिस्से के रूप में बेचा जाता है।)

गार्टनर ने 10 आवश्यकताएँ निर्धारित की हैं जिन पर कंपनियों को एलएलएम तैनात करते समय विश्वास, जोखिम और सुरक्षा प्रबंधन पर विचार करना चाहिए। आवश्यकताएँ दो प्रमुख श्रेणियों में आती हैं: संवेदनशील डेटा एक्सपोज़र और गलत या अवांछित आउटपुट के परिणामस्वरूप दोषपूर्ण निर्णय लेना।

लिटन ने कहा, सबसे बड़े विक्रेता, जैसे कि कोपायलट 365 के साथ माइक्रोसॉफ्ट, उन पांच आवश्यकताओं में से केवल एक को पूरा करते हैं। कोपायलट जिस एक क्षेत्र में दक्ष है, वह यह सुनिश्चित करना है कि जब केवल कंपनी का निजी डेटा इनपुट किया जाता है तो सटीक जानकारी आउटपुट हो। हालाँकि, कोपायलट की डिफ़ॉल्ट सेटिंग इसे इंटरनेट से खींची गई जानकारी का उपयोग करने की अनुमति देती है, जो स्वचालित रूप से उपयोगकर्ताओं को गलत आउटपुट के खतरे में डाल देती है।

“वे मतिभ्रम या अशुद्धि जैसे अवांछित आउटपुट का पता लगाने के लिए प्रतिक्रियाओं को फ़िल्टर करने के लिए कुछ नहीं करते हैं,” लिटन ने कहा। “वे आपकी उद्यम नीतियों का सम्मान नहीं करते हैं। वे आपको प्रतिक्रियाओं के लिए स्रोतों की कुछ सामग्री प्रदान करते हैं, लेकिन वे बहुत बार गलत होते हैं और स्रोतों को ढूंढना कठिन होता है।

यदि किसी कंपनी के पास E5 लाइसेंस है, तो Microsoft डेटा वर्गीकरण और एक्सेस प्रबंधन के साथ अच्छा काम करता है, लिटन ने समझाया, लेकिन डेटा एन्क्रिप्शन जैसे कुछ पारंपरिक सुरक्षा नियंत्रणों के अलावा, कंपनी त्रुटि जाँच के लिए AI विशिष्ट कुछ भी नहीं कर रही है।

“यह अधिकांश विक्रेताओं के लिए सच है। तो, आपको इन अतिरिक्त उपकरणों की आवश्यकता है,” उसने कहा।

माइक्रोसॉफ्ट के एक प्रवक्ता ने कहा कि उसके शोधकर्ताओं और उत्पाद इंजीनियरिंग टीमों ने “एआई मॉडल या एआई चैटबॉट द्वारा प्रतिक्रिया तैयार करने पर पता लगाने में मदद के लिए ग्राउंडिंग, फाइन-ट्यूनिंग और स्टीयरिंग तकनीकों पर प्रगति की है। यह एआई को जिम्मेदारी से विकसित करने के लिए केंद्रीय है।”

माइक्रोसॉफ्ट ने कहा कि वह अपने जीपीटी-आधारित एलएलएम में सटीक जानकारी सुनिश्चित करने के लिए बिंग सर्च इंडेक्स या माइक्रोसॉफ्ट ग्राफ जैसे स्रोतों से नवीनतम डेटा का उपयोग करता है।

प्रवक्ता ने कहा, “हमने यह मापने के लिए उपकरण भी विकसित किए हैं कि मॉडल अपने ग्राउंडिंग डेटा से कब भटक रहा है, जो हमें बेहतर शीघ्र इंजीनियरिंग और डेटा गुणवत्ता के माध्यम से उत्पादों में सटीकता बढ़ाने में सक्षम बनाता है।”

जबकि माइक्रोसॉफ्ट के दृष्टिकोण “मॉडल आउटपुट में अशुद्धियों को काफी कम करते हैं,” गलतियाँ अभी भी संभव हैं – और यह उपयोगकर्ताओं को उस क्षमता के बारे में सूचित करने के लिए काम करता है। प्रवक्ता ने कहा, “हमारे उत्पादों को हमेशा एक इंसान को ध्यान में रखकर डिजाइन किया गया है और किसी भी एआई प्रणाली के साथ हम लोगों को सामग्री की सटीकता को सत्यापित करने के लिए प्रोत्साहित करते हैं।”

बिंग कोपायलट उपयोगकर्ताओं को इसके उत्तरों को सत्यापित करने में मदद करने के लिए स्रोतों के लिंक शामिल कर सकता है, और कंपनी ने एक सामग्री मॉडरेशन टूल बनाया है Azure AI सामग्री सुरक्षा आपत्तिजनक या अनुचित सामग्री का पता लगाने के लिए।

प्रवक्ता ने कहा, “हम एआई को प्रशिक्षित करने के लिए तकनीकों का परीक्षण करना जारी रखते हैं और इसे कुछ अवांछित व्यवहारों को पहचानना या पता लगाना सिखाते हैं और जैसे-जैसे हम सीखते हैं और नया करते हैं, सुधार कर रहे हैं।”

लिटन ने कहा, यहां तक ​​कि जब संगठन यह सुनिश्चित करने के लिए कड़ी मेहनत करते हैं कि एलएलएम के परिणाम विश्वसनीय हों, तब भी वे प्रणालियां बिना सूचना के बेवजह अविश्वसनीय हो सकती हैं। “वे बहुत सारी त्वरित इंजीनियरिंग करते हैं और बुरे परिणाम आते हैं; तब उन्हें एहसास हुआ कि उन्हें बेहतर मिडलवेयर टूल – रेलिंग की आवश्यकता है,” लिटन ने कहा।

SimpleSafetyTests का उपयोग हाल ही में 11 लोकप्रिय ओपन एलएलएम का परीक्षण करने के लिए किया गया था और कई में गंभीर सुरक्षा कमजोरियां पाई गईं। हालाँकि कुछ एलएलएम ने एक भी असुरक्षित प्रतिक्रिया नहीं दी, लेकिन अधिकांश ने 20% से अधिक मामलों में असुरक्षित प्रतिक्रिया दी, “50% से अधिक असुरक्षित प्रतिक्रिया चरम सीमा पर थी,” शोधकर्ताओं ने कहा कॉर्नेल विश्वविद्यालय द्वारा प्रकाशित एक पेपर नवंबर 2023 में.

पेट्रोनस के अधिकांश ग्राहक स्वास्थ्य देखभाल, कानूनी या वित्तीय सेवाओं जैसे उच्च विनियमित उद्योगों में रहे हैं, जहां त्रुटियों के कारण मुकदमा या नियामक जुर्माना हो सकता है।

कन्ननप्पन ने कहा, “शायद यह एक छोटी सी गलती है जिस पर किसी ने ध्यान नहीं दिया, लेकिन सबसे खराब मामलों में यह मतिभ्रम हो सकता है जो बड़े वित्तीय या स्वास्थ्य परिणामों या संभावनाओं की एक विस्तृत श्रृंखला को प्रभावित करता है।” “वे मिशन-महत्वपूर्ण परिदृश्यों में एआई का उपयोग करने की कोशिश कर रहे हैं।”

नवंबर में, कंपनी ने अपना फाइनेंसबेंच लॉन्च किया, यह परीक्षण करने के लिए एक बेंचमार्क टूल है कि एलएलएम वित्तीय प्रश्नों पर कैसा प्रदर्शन करते हैं। उपकरण एलएलएम से पूछता है 10,000 प्रश्न-उत्तर जोड़े SEC 10Ks, SEC 10Qs, SEC 8Ks, कमाई रिपोर्ट और कमाई कॉल ट्रांसक्रिप्ट जैसे सार्वजनिक रूप से उपलब्ध वित्तीय दस्तावेजों के आधार पर। प्रश्न यह निर्धारित करते हैं कि एलएलएम तथ्यात्मक जानकारी प्रस्तुत कर रहा है या गलत प्रतिक्रियाएँ।

पैट्रोनस एआई द्वारा प्रारंभिक विश्लेषण से पता चलता है कि एलएलएम पुनर्प्राप्ति सिस्टम “फाइनेंसबेंच के प्रश्नों के नमूना सेट पर शानदार ढंग से विफल रहे।”

पेट्रोनस के स्वयं के मूल्यांकन के अनुसार:

• पुनर्प्राप्ति प्रणाली वाला GPT-4 टर्बो 81% समय विफल रहता है।
• पुनर्प्राप्ति प्रणाली वाला लामा 2 भी 81% बार विफल रहता है।

पैट्रोनस एआई ने लंबे-संदर्भ उत्तर विंडो के साथ एलएलएम का भी मूल्यांकन किया, यह देखते हुए कि वे बेहतर प्रदर्शन करते हैं, लेकिन उत्पादन सेटिंग के लिए कम व्यावहारिक हैं।

• लंबे संदर्भ के साथ GPT-4 टर्बो 21% समय विफल रहता है।
• लंबे संदर्भ के साथ एंथ्रोपिक का क्लाउड-2 24% बार विफल रहता है।

कन्ननप्पन ने कहा कि पेट्रोनस के ग्राहकों में से एक, एक परिसंपत्ति प्रबंधन फर्म, ने कर्मचारियों को ग्राहकों के सवालों का जवाब देने में मदद करने के लिए एक एआई चैटबॉट बनाया, लेकिन यह सुनिश्चित करना था कि चैटबॉट प्रतिभूतियों, या कानूनी या कर सलाह के लिए निवेश सिफारिशें नहीं दे रहा था।

कन्ननप्पन ने कहा, “इससे कारोबार खतरे में पड़ सकता है और एसईसी के साथ मुश्किल स्थिति पैदा हो सकती है।” “हमने उनके लिए इसे हल कर दिया। उन्होंने हमारे उत्पाद का उपयोग यह जांचने के लिए किया कि चैटबॉट सिफारिशें देता है या नहीं। यह उन्हें बता सकता है कि चैटबॉट कब बंद हो गया।

चैटबॉट बनाने वाली एक अन्य कंपनी यह सुनिश्चित करने के लिए सत्यापन जांच कराना चाहती थी कि यह विषय से भटक न जाए। इसलिए, उदाहरण के लिए, यदि कोई उपयोगकर्ता चैटबॉट से मौसम के बारे में पूछता है या उसकी पसंदीदा फिल्म कौन सी है, तो वह उत्तर नहीं देगा।

पैट्रोनस के सह-संस्थापक और सीटीओ रेबेका कियान ने कहा कि एआई उपकरण पेश करने का प्रयास करने वाली कंपनियों के लिए मतिभ्रम एक विशेष रूप से बड़ी समस्या है।

कियान ने कहा, “हमारे बहुत से ग्राहक हमारे उत्पाद का उपयोग उच्च जोखिम वाले परिदृश्यों में कर रहे हैं जहां सही जानकारी वास्तव में मायने रखती है।” ‘आप अपने उत्पाद में जिस मॉडल को तैनात करते हैं, वह ऐसा कुछ भी नहीं कहना चाहता जो आपकी कंपनी या उत्पाद को गलत तरीके से प्रस्तुत कर रहा हो।’

गार्टनर के लिटन ने अंत में कहा, सफल एआई तैनाती के लिए लूप में एक इंसान का होना महत्वपूर्ण है। मिडलवेयर टूल के साथ भी, अविश्वसनीय आउटपुट के जोखिमों को कम करने की सलाह दी जाती है “जो संगठनों को खतरनाक रास्ते पर ले जा सकते हैं।”

“पहली नज़र में, मैंने कोई प्रतिस्पर्धी उत्पाद नहीं देखा जो किसी भी क्षेत्र में अवांछित आउटपुट का पता लगाने में इतना विशिष्ट हो,” उसने कहा। “मैं इस क्षेत्र में जिन उत्पादों का अनुसरण करता हूं वे केवल विसंगतियों और संदिग्ध लेनदेन को इंगित करते हैं जिनकी उपयोगकर्ता को जांच करनी होती है (प्रतिक्रिया के लिए स्रोत पर शोध करके)।”