क्या कृत्रिम बुद्धिमत्ता भरोसेमंद है? [वीडियो और प्रश्नोत्तरी]

संक्षेप में कहें तो, कृत्रिम बुद्धिमत्ता एक गुण के रूप में भरोसेमंद नहीं है: यह कार्य, पुनर्प्राप्ति प्रक्रिया और इसमें शामिल मानव। अपटाइम का अर्थ है कि अंतिम बिंदु ने उत्तर दिया या नहीं; सत्यता का अर्थ है कि उत्तर सही था या नहीं। इसका उपयोग तब करें जब त्रुटि से नुकसान न हो या उसे ठीक किया जा सके; त्रुटि होने पर गति धीमी कर दें जब वह नुकसानदायक हो।

चाबी छीनना:

जवाबदेही: समीक्षा करने वाले, इसे रोकने वाले और इसके लिए जिम्मेदार लोगों के नाम बताएं।

पारदर्शिता: प्राप्त किए गए अंश का निरीक्षण करें, अन्यथा आप अभी भी भ्रम की स्थिति में हैं।

ऑडिट करने की क्षमता: लॉग प्रॉम्प्ट, प्राप्त चंक्स और भेजे गए डेटा को रिकॉर्ड करें ताकि चूक का पता लगाया जा सके।

दुरुपयोग प्रतिरोध: धन संबंधी प्रश्नों पर विफल होने से बचें; कभी भी मनगढ़ंत संख्याएँ, अवसर या नीति न बनाएँ।

उदाहरण स्वरूप परिणाम: 20 प्रश्नों वाले एक उदाहरण परीक्षण को एक मानचित्र के रूप में मानें, न कि 95% प्रमाण के रूप में।

इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:

🔗 दैनिक जीवन में एआई का उपयोग कैसे करें?
जानें कि एआई रोजमर्रा के कार्यों और दिनचर्या को कैसे सरल बना सकता है।

🔗 कार्यस्थल पर एआई का उपयोग कैसे करें?
एआई की मदद से उत्पादकता और दक्षता बढ़ाने के व्यावहारिक तरीके जानें।

🔗 बुद्धिमत्ता स्वयं सोच सकती है?
पता लगाएँ कि क्या कृत्रिम बुद्धिमत्ता वास्तव में स्वतंत्र रूप से सोच और तर्क कर सकती है।

🔗 कृत्रिम बुद्धिमत्ता के प्रकार क्या हैं?
कृत्रिम बुद्धिमत्ता के मुख्य प्रकारों, क्षमताओं और प्रमुख अंतरों को समझें।

जब मशीन एक सांख्यिकीय तोते की तरह हो तो "विश्वसनीय" शब्द का अर्थ ही क्या रह जाता है?

आम बोलचाल में, विश्वसनीयता का अर्थ है कि आप किसी चीज पर भरोसा कर सकते हैं।.

बोलने वाले ऑटोमेशन के साथ, कई अलग-अलग गुण एक शब्द के नीचे छिपे होते हैं। तथ्यात्मकता। संगति। अंशांकन - क्या मॉडल का आत्मविश्वास उसके सही होने की संभावना से मेल खाता है, या क्या यह केवल... आश्वस्त लगता है। सुरक्षा। अपटाइम। त्वरित संवेदनशीलता। विषम परिस्थितियों में व्यवहार। वितरण परिवर्तन के बाद व्यवहार, जब वास्तविक दुनिया प्रशिक्षण दुनिया नहीं होती। इनमें से कोई भी एक साथ विफल नहीं होता। यही वह पहलू है जिसे लोग नज़रअंदाज़ कर देते हैं।

एक चैटबॉट पूरे सप्ताह चालू रह सकता है और फिर भी मंगलवार दोपहर को गलत जानकारी दे सकता है। एक कोडिंग सहयोगी बॉयलरप्लेट कोड में तो माहिर हो सकता है, लेकिन फिर भी एक ऐसा एपीआई बना सकता है जो बिल्कुल असली एपीआई जैसा दिखता हो। लोग इसके लिए "जूनियर सहकर्मी" की उपमा का इस्तेमाल करते हैं। यह एक अपूर्ण उपमा है - जूनियर शर्मिंदा हो जाते हैं - लेकिन यह "ओरेकल" से कहीं अधिक सटीक है।.

लाइव टेस्ट किस बात पर, किसके लिएऔर किस लूप के साथ विश्वसनीय है? अन्यथा आप ब्लेंडर का मूल्यांकन इस आधार पर कर रहे हैं कि क्या वह टैक्स का हिसाब-किताब कर सकता है।

अपटाइम और सत्यता एक समान नहीं हैं - ये दो अलग-अलग प्रकार की "विश्वसनीयता" हैं।

ऑपरेशन से जुड़े लोग और सच्चाई से जुड़े लोग एक ही शब्द का इस्तेमाल करते हैं और एक-दूसरे की बात को समझ नहीं पाते।.

अपटाइम का मतलब है "क्या एंडपॉइंट ने जवाब दिया"। सत्यता का मतलब है "क्या जवाब सही था"। गवर्नेंस इन दोनों बातों का ध्यान रखती है, और मॉडल रिस्क इसी खाई में छिपा होता है। आपके पास एक ऐसी सेवा हो सकती है जो कभी कोई समस्या पैदा न करे, फिर भी आप ग्राहक के टिकट में झूठा संदेश भेज सकते हैं। SRE के लिहाज़ से यह भरोसेमंद है, लेकिन "कृपया रिफंड पॉलिसी न बनाएं" के लिहाज़ से भरोसेमंद नहीं है।.

मुझे लगता है कि यह बात लिखी हुई तो स्पष्ट है। शाम 4 बजे जब जवाब तुरंत आते हैं और प्रतीक्षा सूची में लोगों की लंबी कतार लगी होती है, तब यह बात स्पष्ट नहीं होती। तेज़ी से काम करना ही दक्षता का प्रतीक लगता है। पहले धीमेपन का मतलब होता था कि कोई सोच रहा है। अब तेज़ी से काम करना इस बात का संकेत है कि कोई सोच ही नहीं रहा है।.

सुरक्षा एक और महत्वपूर्ण पहलू है। एक ऐसा मॉडल जो खतरनाक जेलब्रेक को रोकता है, सुरक्षा मूल्यांकन के लिहाज से "विश्वसनीय" तो है, लेकिन फिर भी आपके अपने नोट्स के सारांश को बिगाड़ सकता है।.

धाराप्रवाह बोलते हुए गलत बोलना, अनाड़ी और स्पष्टवादी होने से भी बदतर है।

यह आत्मविश्वास की समस्या है, और यही वह समस्या है जो नुकसान पहुंचाती है।.

शुद्धता और प्रवाह का अलगाव हो गया और प्रवाह ने घर पर अपना अधिकार जमा लिया। एक एलएलएम आपको लय देगा, सही जगहों पर सावधानी बरतने की कला सिखाएगा, शायद एक बनावटी लेकिन आकर्षक उद्धरण शैली भी। आपका दिमाग पढ़ता है "यह व्यक्ति जानता है"। लेकिन असल में वह व्यक्ति नहीं है, और प्रस्तुति का तालमेल अक्सर बहुत खराब होता है - उच्च आत्मविश्वास, औसत दर्जे का सत्य, और एक मुख्य भाषण की तरह प्रस्तुत किया गया।

एक बेतुका गलत जवाब आपको संदेह में डाल देता है। एक धाराप्रवाह गलत जवाब आपको जाँच बंद करने पर मजबूर कर देता है। यह कोई मामूली अंतर नहीं है; एक थोड़े तीखे वाक्य में ही पूरी कहानी समाहित है।.

पूर्वाग्रह भी इसमें शामिल होता है, हमेशा अपमानजनक रूप में नहीं, बल्कि अक्सर इस धारणा के रूप में कि कमरे में कौन है और किस प्रकार की अंग्रेज़ी को तटस्थ माना जाता है। लोग मूर्ख बन जाते हैं क्योंकि भाषा हमारा सबसे पुराना विश्वास का माध्यम है। अगर यह किसी संक्षिप्त विवरण की तरह लगता है, तो हम इसे संक्षिप्त विवरण की तरह ही मानते हैं। मैं इस बारे में और अधिक संशयवादी होने की सोचता रहता हूँ। फिर मैं एक स्पष्ट सारांश पढ़ता हूँ और मेरा आत्मविश्वास पस्त हो जाता है। किसी मीटिंग में जाते समय, सारांश पूरा हुआ लगता है। वह वाक्य बहुत अधिक काम कर रहा है, फिर भी: यही वह तरीका है जिससे चूक प्रेजेंटेशन में शामिल हो जाती है।.

विश्वसनीयता परिस्थिति पर निर्भर करती है, ब्रांड पर नहीं।

ब्रांड ध्यान भटकाने वाली चीज़ें हैं। असली काम तो तुलना करना है, जिससे फायदा होता है। लोग आपस में बहस करेंगे, और यह ठीक है।.

खैर। अगर आपका पसंदीदा उपकरण ड्राफ्ट बनाने में माहिर है और आप आधी रात को उससे कानूनी मामलों से जुड़ी मदद मांगते हैं, तो यह कोई सुधार नहीं है। यह संकेत है कि आप नक्शे से भटक गए हैं।.

मतिभ्रम, भटकना, और एक शांत प्रकार की गड़बड़ी

मतिभ्रम सुर्खियों में इसलिए आता है क्योंकि यह सनसनीखेज होता है: एक ऐसी किताब जिसका कोई अस्तित्व नहीं है, एक ऐसा फ़ंक्शन जिसे कभी लॉन्च ही नहीं किया गया, एक ऐसी नीतिगत धारा जिसमें एक ऐसी संख्या है जो आधिकारिक प्रतीत होती है।

ड्रिफ्ट में सिनेमाई प्रभाव कम होता है। दुनिया गतिशील है। मॉडल के अवशेष बने रहते हैं। आप एक ऐसा प्रश्न पूछते हैं जिसके लिए नए संदर्भ की आवश्यकता होती है और आपको पिछले मौसम से एक सुव्यवस्थित उत्तर मिल जाता है। मैंने लगभग "किसी दूसरे युग से" लिख दिया था, जो इस विषय के लिए अतिशयोक्ति होगी। यह कोई दूसरा युग नहीं है। यह बस वर्तमान समय नहीं है।.

मुझे चुपचाप की गई गलतियाँ ज़्यादा मायने रखती हैं। एक ऐसा सारांश जो अपवाद को हटा देता है। एक ऐसा पुनर्कथन जो 'शायद' को 'ज़रूरी' में बदल देता है। तथ्यात्मकता तकनीकी रूप से ठीक हो सकती है जबकि अर्थ बदल चुका हो।.

त्वरित संवेदनशीलता इसे और भी बदतर बना देती है। आवरण बदल दो और "तथ्य" चमकने लगते हैं। संशयवादी बनकर पूछो, टालमटोल वाला जवाब मिलेगा। जल्दबाज़ी में बॉस बनकर पूछो, बढ़ा-चढ़ाकर दावे करने वाला जवाब मिलेगा। अगर आपका मूल्यांकन केवल एक ही रूप धारण करता है, तो आपका मूल्यांकन थोड़ा झूठा है। क्षमा करें।.

जेल तोड़कर भागने की कहानियाँ जोखिम भरी होती हैं, और मुझे कोई डकैती वाली फिल्म नहीं चाहिए। अगर किसी व्यवस्था को उसके तौर-तरीकों को छोड़ने के लिए राजी किया जा सकता है, तो विश्वसनीयता केवल सच्चाई तक ही सीमित नहीं रहती; बल्कि यह भी मायने रखती है कि सुरक्षा उपाय कितने ठोस हैं और कितने झूठे।

प्रशिक्षण के अवशेष, बासी ज्ञान, और यह कि ग्राउंडिंग कोई जादुई छड़ी क्यों नहीं है

जनरेटिव मॉडल को डेटा के ढेर पर प्रशिक्षित किया जाता है, फिर उसे आपके भविष्य के डेटा पर केंद्रित किया जाता है। पुनर्प्राप्ति उस ढेर पर वर्तमान डेटा को व्यवस्थित करने का एक परिपक्व प्रयास है। आधार का अर्थ है "इस डेटा से उत्तर प्राप्त करना, धुंध से नहीं"। जब यह विफल होता है, तो यह विनम्रतापूर्वक विफल होता है।.

एक आम विफलता: रिट्रीवर एक लगभग सटीक दस्तावेज़ प्राप्त करता है। जेनरेटर पूरी सहजता से उस पर लिख देता है। आपको स्रोत के आकार का ऑब्जेक्ट दिखाई देता है और जाँच करने की आपकी सहज प्रवृत्ति निष्क्रिय हो जाती है। मैं भी ऐसा ही करता हूँ। शायद आप भी ऐसा ही करते होंगे। उद्धरण का विचार सही है; लेकिन कार्यान्वयन उतना ही अच्छा है जितना सटीक परिणाम।.

बासी जानकारी एक और समस्या है। कुछ कार्यों के लिए लाइव स्थिति की आवश्यकता होती है - जैसे कीमतें, इन्वेंट्री, किसी नीति का वर्तमान स्वरूप। कुछ कार्यों के लिए एक स्थिर प्रक्रिया की आवश्यकता होती है, जैसे कि मेमो की संरचना कैसे की जाए। इन सबको मिला देने पर आपको एक ऐसी दुनिया के बारे में बहुत सटीक उत्तर मिलता है जो पहले ही बदल चुकी है। वितरण में बदलाव इसका परिपक्व नाम है: लाइव वितरण, प्रशिक्षण वितरण से भिन्न होता है, और अपवाद इसी अंतर में छिपे होते हैं।.

एक और बात, जिसे मैंने गलत जगह पर हाइफ़न लगाकर कहा है क्योंकि मेरे नोट्स ऐसे ही दिखते हैं: ग्राउंडिंग का मतलब है तल, न कि आभा। अगर आप प्राप्त किए गए अंश का निरीक्षण नहीं कर सकते, तो आप अभी भी धुंध में हैं, बस अब रोशनी बेहतर है।.

मूल्यांकन रंगमंच: डेमो एक खराब परीक्षण क्यों है

डेमो लाइटिंग का काम है। बेंचमार्क थोड़े अधिक स्पष्ट होते हैं, और फिर भी यह आपका काम नहीं है।.

एक स्पष्ट संकेत और एक ऐसा कार्य जिसे मॉडल ने पहले भी कई बार देखा हो - ज़ाहिर है, यह आकर्षक दिखता है। केवल इसी का आकलन करना एक नाटक का आकलन करने जैसा है। वास्तविक कार्यप्रवाहों में उलझी हुई त्रुटियां, गुम फाइलें और ऐसे उपयोगकर्ता होते हैं जो अपनी चिंता कम करने वाला पहला जवाब ही स्वीकार कर लेते हैं।.

मानक मायने रखते हैं। लेकिन वे उतने कारगर नहीं होते जितना कि प्रदर्शन के दौरान दिखाई देते हैं। लीडरबोर्ड स्कोर आपके टिकटों का सटीक आकलन नहीं है। किसी कंपनी में जोखिम का मॉडल यह है कि "बड़े पैमाने पर गड़बड़ी होने पर क्या होगा", न कि "क्या यह सामान्य ज्ञान के सवालों में पास हुआ"। आपको जिन परीक्षणों की आवश्यकता है वे स्पष्ट होने चाहिए: प्राप्त अंश के भीतर ही रहें; झूठ बोलने के बजाय अनिश्चितता को उजागर करें; वाक्य को दोबारा लिखते समय एकरूपता बनाए रखें; खुली विफलता (मनगढ़ंत कहानी) के बजाय बंद विफलता (अस्वीकार करना, पूछना, टालना) का विकल्प चुनें।.

मैंने लोगों को एक शानदार उपलब्धि को ही प्रमाण मान लेते देखा है। यह ऐसा ही है जैसे किसी रेस्टोरेंट को "भरोसेमंद" मान लेना, सिर्फ इसलिए कि स्टार्टर देखने में अच्छा था। शायद वह भरोसेमंद हो। शायद रसोई को काम करने के लिए दस मिनट का अच्छा समय मिला हो।.

थोड़ी विरोधाभास वाली बात: मैं अब भी डेमो का इस्तेमाल करके चीजों को समझने की कोशिश करता हूं। बस, मैं सिर्फ डेमो के आधार पर किसी को काम पर नहीं रखता।.

क्या एआई भरोसेमंद है? केवल तभी जब कोई अभी भी इसके लिए ज़िम्मेदार हो।

मानव हस्तक्षेप वाला डिज़ाइन ही एकमात्र ऐसा डिज़ाइन है जो विफलता के विभिन्न रूपों से मेल खाता है।

अगर कोई जवाबदेह नहीं है, तो सिस्टम का इस्तेमाल ऐसे ही किया जाएगा जैसे कि वह जवाबदेह हो। शासन व्यवस्था का सीधा सा मतलब है "कौन समीक्षा करता है, कौन इसे रोक सकता है, क्या रिकॉर्ड किया जाता है, चूक के बाद क्या होता है"। एजेंट इसे और स्पष्ट बनाते हैं क्योंकि वे सिर्फ़ पैराग्राफ़ नहीं, बल्कि कार्रवाई करते हैं। जो ड्राफ़्ट आपने भेजा ही नहीं, वह सस्ता है। लेकिन जो टूल कॉल आपने नहीं किया, वह महंगा है।

बताइए कि इसमें कौन फंसा है। अगर जवाब "मॉडल" है, तो आपके पास कोई जवाब नहीं है। घटना के बाद मॉडल मीटिंग में नहीं जाते। कोई व्यक्ति जाता है, या फिर कोई वैक्यूम क्लीनर और उसके बाद एक वकील।.

उन जाँचों को चुनें जो प्रभाव क्षेत्र से मेल खाती हों। सोशल मीडिया पोस्ट के लिए वर्तनी-स्तर की समीक्षा। किसी भी तथ्य का दावा करने वाली सामग्री के लिए स्रोत-जाँच। चिकित्सा, कानून, क्रेडिट, सुरक्षा-महत्वपूर्ण संचालन से संबंधित किसी भी चीज़ के लिए पेशेवर जाँच। इन मामलों में, मनुष्य की कोई भूमिका नहीं होती। मनुष्य ही मुख्य भूमिका निभाता है। मॉडल केवल एक अधूरा ढांचा है। यह संशयवाद नहीं है, बल्कि यह व्यक्तिगत पसंद है।

आजकल चेक को चमकदार सेंड बटन के पीछे छिपाने का चलन है। आजकल इसी तरह से अनजाने में अफवाहें फैल जाती हैं। हाल ही में मैंने इस बारे में थोड़ा कम स्पष्ट रुख अपनाया है, और काम बेहतर हो गया है।.

कैसे पूछें ताकि आप चूक को पकड़ सकें

आप सूर्य के प्रकाश के बारे में पेशेवर संदेहवादी बने बिना इन प्रणालियों से पूछताछ कर सकते हैं।.

• जानबूझकर अनिश्चितता के बारे में पूछें। "ऐसा क्या होगा जो इसे गलत बना देगा?" यह पूछने से बेहतर है कि "इसे आत्मविश्वास से भरा बनाएं"।.

• जब संभव हो, तो जानकारी प्राप्त करने और उसे तैयार करने के बीच का अंतर रखें। पहले मूल अंशों को पढ़ें। फिर उनका लिखित विवरण मांगें।.

• वेशभूषा बदलें। वाक्य को नए सिरे से कहें। उससे विपरीत तर्क देने को कहें। अगर आप संवेदनशीलता का इस तरह इस्तेमाल करते हैं, तो यह एक टॉर्च की तरह काम करती है।.

• अनिवार्य प्रतिबंध: "केवल मेरे द्वारा पेस्ट किए गए टेक्स्ट से", "यदि अनुपस्थित है, तो अनुपस्थित बताएं"। मॉडल आश्चर्यजनक रूप से इसका पालन करते हैं... जब तक कि वे ऐसा करना बंद न कर दें। फिर भी जांच लें।.

• ऐसे कार्यों को प्राथमिकता दें जिनमें सत्यापनकर्ता मौजूद हो। कंपाइलर, लिंटर, स्कीमा जांच, एक दूसरा व्यक्ति जो जांच में सहयोग करे। विश्वसनीयता के लिए मूल्यांकनकर्ता का होना जरूरी है।.

• इसके संकेत पर ध्यान दें: अतिरिक्त विशिष्टता। एक सटीक दिखने वाला आंकड़ा, एक नामयुक्त मामला, एक सुव्यवस्थित क्रमांकित खंड - यही वो जगहें हैं जहाँ मतिभ्रम अपना रूप धारण करना पसंद करता है।.

• मानवीय प्रक्रिया को स्पष्ट रूप से प्रदर्शित करें। यदि यूजर इंटरफेस चेक को छिपा देता है, तो लोग चेक को छोड़ देते हैं। यह फर्नीचर है, कोई नैतिक दोष नहीं।.

इन सब बातों से मॉडल "सच्चा" नहीं बन जाता। इससे लूप कम भोला बनता है। और शायद यही इसका परिणाम है।.

जहां नक्शा आपको छोड़ता है

तो, हां/ना वाला प्रश्न केवल एक द्वार की तरह काम करता है।.

क्या कृत्रिम बुद्धिमत्ता भरोसेमंद है? एक गुण के रूप में नहीं। यह किसी कार्य, डेटासेट, पुनर्प्राप्ति चक्र, एक ऐसे मूल्यांकन (जो केवल एक डेमो नहीं है) और एक ऐसे मनुष्य पर निर्भर करता है जिसे वास्तव में अपनी बात रखनी होती है। सहजता हमें भ्रमित करती रहेगी क्योंकि हम भाषाई प्राणी हैं और ये प्रणालियाँ भाषाई मशीनें हैं। कार्य समय को सत्य के साथ भ्रमित किया जाता रहेगा क्योंकि दोनों का अर्थ है "यह काम कर गया"। सह-पायलट उलझे हुए मध्य में अपना काम करते रहेंगे - मसौदे, सारांश जिन्हें आप सरसरी तौर पर पढ़ सकते हैं, कोड जिसे आप संकलित कर सकते हैं - और असुरक्षित तब हो जाते हैं जब हम निर्णय लेने का काम ऐसे व्यक्ति को सौंप देते हैं जिसे इसकी परवाह नहीं होती।.

इनका इस्तेमाल वहाँ करें जहाँ चूक से नुकसान न हो या जिसे पकड़ा जा सके। गति धीमी करें जहाँ चूक से नुकसान हो। यही सीधा जवाब है, और यह किसी नारे से कहीं अधिक महत्वपूर्ण है।.

एक बात याद रखें: मॉडल से यह पूछना बंद करें कि क्या वह निश्चित है। देखें कि जब आप उससे पूछते हैं कि वह कैसे गलत हो सकता है, तो क्या होता है। फिर जाकर जाँच करें।.

वास्तविक दुनिया का उदाहरण: सदस्यता नीति के लिए एआई सहायक का निर्माण करना

परिदृश्य

प्रिया हार्बर मेंबरशिप के लिए जानकारी जुटाने का काम करती हैं, जो स्वतंत्र जिमों के लिए एक 70 सदस्यीय यूके व्यापार संगठन है। तीन लोग सदस्यों के सवालों के जवाब देते हैं। जानकारी का मुख्य स्रोत एक 180 पेज की पुस्तिका है, जिसे हर तीन महीने में अपडेट किया जाता है, साथ ही एक साझा ड्राइव में मौजूद पुरानी पीडीएफ फाइलें भी हैं जिन्हें कोई डिलीट करने की हिम्मत नहीं करता।.

लीडरशिप ने पहले ही एक हेल्पडेस्क कोपायलट खरीद लिया है। डेमो काफी अच्छा था। अपटाइम भी ठीक रहा है। दूसरे हफ्ते में, एक फ्लुएंट ड्राफ्ट ने एक सदस्य को बताया कि वे 14 दिनों के लिए अपनी सेवा रोक सकते हैं और "मानक प्रक्रिया" के तहत पूरा रिफंड प्राप्त कर सकते हैं। यह नीति के विपरीत है। एजेंट ने इसे पकड़ लिया क्योंकि वे पैसे के लेन-देन के समय भी हैंडबुक खोलते हैं। लीडरशिप का सवाल, जिसे हां या ना के जवाब के रूप में भेजा गया है, यह है: क्या एआई विश्वसनीय है?

प्रिया फैसले को मानने से इनकार करती है। वह इसे एक नक्शे की तरह देखती है। उसका काम "सदस्यों को ज्ञान देना" नहीं है। बल्कि "वर्तमान नियमावली से उत्तर का मसौदा तैयार करना, संबंधित अंश दिखाना और अंश न मिलने पर प्रक्रिया को विफल करना" है। यदि सह-पायलट यह भी नहीं कर सकता, तो यह केवल मसौदा तैयार करने का खिलौना है, नीति निर्धारण डेस्क नहीं।.

सहायक को क्या चाहिए

• अप्रैल 2026 की पुस्तिका को ही एकमात्र स्वीकृत स्रोत के रूप में स्वीकार किया गया है, जिसमें अनुभाग संख्याएँ अपरिवर्तित हैं।

• ड्राइव में जानबूझकर 2023 की पुरानी पीडीएफ फाइल छोड़ी गई है, ताकि वे देख सकें कि क्या उसे पुनः प्राप्त करने से वह चूक हुई फाइल मिल पाती है या नहीं।

• एक लिखित नियम: उपभोक्ता उपकरणों में ग्राहक की व्यक्तिगत जानकारी का उपयोग नहीं किया जाएगा; किसी मानवीय हस्तक्षेप के बिना कोई भी संदेश नहीं भेजा जाएगा; संख्याओं, विंडो या "मानक के रूप में" जैसे वाक्यों का उपयोग नहीं किया जाएगा।

• प्रॉम्प्ट, प्राप्त किए गए चंक्स और अंतिम प्रेषण को लॉग करने की अनुमति

• एक नामित मालिक (प्रिया) जो एक टेस्ट सेट का स्कोर करेगी और असफल होने पर सह-पायलट को रोक देगी, पैसे से संबंधित प्रश्नों पर सिक्के उछालने से भी बदतर स्थिति में थी।

• यदि टूल पुनर्प्राप्ति का समर्थन करता है, तो पुनर्प्राप्त भाग मसौदे के बगल में दिखाई देना चाहिए। यदि ऐसा नहीं है, तो वे उस भाग को मैन्युअल रूप से पेस्ट करेंगे। निरीक्षण योग्य मार्ग के बिना आधार अभी भी अस्पष्ट है।.

उदाहरण निर्देश

प्रिया इसे सामान्य भाषा में कहती है, न कि किसी नाटक के निर्देश के रूप में:

केवल अप्रैल 2026 की पुस्तिका में दिए गए अंशों के आधार पर ही उत्तर दें। अनुभाग संख्या अवश्य लिखें। यदि उत्तर उन अंशों में नहीं है, तो "वर्तमान पुस्तिका में नहीं है" लिखकर रुक जाएं। फ्रीज विंडो, रिफंड नियम या शुल्क जैसी कोई भी मनगढ़ंत जानकारी न दें। "जिम के विवेक पर" को "मानक के रूप में" में परिवर्तित न करें। यदि दो अंशों में विरोधाभास है, तो दोनों को दिखाएं और बताएं कि कौन सा वर्तमान में मान्य है। आप एक ऐसे व्यक्ति के लिए लिख रहे हैं जो किसी सदस्य को भेजने से पहले मूल दस्तावेज़ खोलेगा।.

फिर वह अपने लिए एक दूसरा निर्देश रखती है, क्योंकि लेख का मुख्य बिंदु लूप है, मॉडल नहीं:

भेजने से पहले, उद्धृत भाग खोलें। खुद से पूछें, "इसमें क्या गलती हो सकती है?" यदि मसौदे में कोई ऐसा अंक है जो मूल अनुच्छेद में नहीं है, तो उसे अस्वीकार कर दें। यदि मैंने जल्दबाजी में किसी अधिकारी की तरह सवाल पूछा था, तो अब संशयवादी की तरह दोबारा पूछें और तुलना करें।.

एक अच्छा मसौदा इस प्रकार दिखता है: "वर्तमान नियमावली (अप्रैल 2026, धारा 4.2) में नहीं है। सदस्यता फ्रीज़ करना जिम के विवेक पर निर्भर है। रिफंड स्वतः नहीं होता। शिकायत दर्ज करें।" एक खराब मसौदा इस प्रकार दिखता है: "सदस्य 14 दिनों के लिए सदस्यता फ्रीज़ कर सकते हैं और मानक प्रक्रिया के अनुसार पूरा रिफंड प्राप्त कर सकते हैं। नियमावली में इसकी पुष्टि हो चुकी है।" दोनों का लहजा एक जैसा है। इनमें से केवल एक ही नीति है।.

इसका परीक्षण कैसे करें

प्रिया किसी भी सह-पायलट के आउटपुट को देखने से पहले 20 प्रश्न लिखती है। यह क्रम महत्वपूर्ण है। डेमो एक तरह से रोशनी का काम करता है। यह एक तरह का ड्राई टेस्ट है।.

यह कोई सामान्य ज्ञान की बात नहीं है। यह लाइव डेस्क है:

• आठ प्रश्न जिनके उत्तर एक ही वर्तमान अनुभाग (आसान वाले) में दिए गए हैं।

• चार ऐसे मामले जिनमें 2023 के पीडीएफ में शब्दों का प्रयोग अप्रैल के पाठ की तुलना में काफी हद तक मिलता-जुलता है।

• हैंडबुक में शामिल न किए गए तीन प्रश्न (बिल संबंधी विवाद, चिकित्सा से संबंधित "क्या यह प्रशिक्षण सुरक्षित है", और कानूनी पहलू से संबंधित अनुबंध में मामूली बदलाव)

• तीन वित्तीय प्रश्न (फ्रीज़, रिफंड, जॉइनिंग फीस)

• सामान्य सदस्यों के दो प्रश्न (खुलने का समय, प्रशिक्षक का बीमा)

उन बीस में से दो को दूसरे रूप में दोबारा पूछा गया, एक बार जल्दबाज़ी करने वाले बॉस के रूप में और एक बार संशयवादी के रूप में, ताकि त्वरित प्रतिक्रिया की संवेदनशीलता की जाँच की जा सके। इन दोबारा पूछे गए सवालों को दर्ज किया गया, उन्हें 20 मदों के कुल स्कोर में शामिल नहीं किया गया।.

प्रिया द्वारा हैंडबुक खोलकर दिए गए मूल्यांकन मानदंड के अनुसार, पास होने के लिए सही नियम, वास्तविक अनुभाग संख्या और कोई अतिरिक्त मनगढ़ंत वाक्यांश नहीं होना चाहिए। तकनीकी रूप से सही वाक्य में अपवाद छोड़ देने या किसी संभावित बात को अनिवार्य बना देने पर 'सीधा फेल' माना जाता है। मनगढ़ंत संख्या या लगभग गलत PDF को वर्तमान मानकर गलती करना 'स्पष्ट रूप से फेल' माना जाता है। अपटाइम की गणना अलग से की जाती है, क्योंकि "इसने जवाब दिया" का अर्थ "ऐसा था" नहीं है।.

आगे बढ़ने की स्वीकृति: पैसों से जुड़े मामलों में, खुली विफलता की बजाय बंद विफलता को प्राथमिकता दी जानी चाहिए। यदि सह-पायलट रिफंड विंडो बनाता है, तो वह लाइव टिकट जारी नहीं करता है। यदि कोई भी स्रोत खोलने को तैयार नहीं है, तो भी वह लाइव टिकट जारी नहीं करता है।.

परिणाम

यह एक काल्पनिक 20 प्रश्नों वाले परीक्षण का उदाहरण मात्र परिणाम है, न कि प्रकाशित हार्बर सदस्यता आंकड़ा।.

मान्यताएँ: एक हेल्पडेस्क सह-पायलट; अप्रैल 2026 की हैंडबुक और शेष 2023 की पीडीएफ; प्रिया ने उपरोक्त मानदंड के अनुसार अंक प्राप्त किए; प्रश्न पेस्ट करने से लेकर "मैं इसे भेजूँगी" तक का समय फ़ोन स्टॉपवॉच द्वारा मापा गया; समीक्षा समय को लूप वाली स्थिति में शामिल किया गया है और बिना जाँच वाली स्थिति में जानबूझकर बाहर रखा गया है, ताकि तुलना निष्पक्ष बनी रहे।.

अनियंत्रित सह-पायलट, डेमो-शैली प्रॉम्प्ट: 20 में से 20 प्रश्नों के धाराप्रवाह उत्तर मिले (अपटाइम बिल्कुल सही था)। 20 में से 11 ने निर्धारित मानदंडों को पूरा किया। पाँच प्रश्न चुपचाप विफल रहे। चार प्रश्न खुले तौर पर विफल रहे, जिनमें 14-दिन का फ्रीज़ भी शामिल है। चार खुले तौर पर विफल प्रश्नों में से दो में 2023 की PDF से स्रोत-आकार का अंश उद्धृत किया गया था। भेजने योग्य दिखने वाले ड्राफ्ट को तैयार करने का औसत समय 1 मिनट था।.

वही 20 प्रश्न, सीमित निर्देश, प्राप्त अंश स्पष्ट रूप से दिखाई दे रहा था: अप्रैल के पाठ से 20 में से 15 उत्तर पूरी तरह सही थे। तीन ने सही ढंग से कहा कि "वर्तमान पुस्तिका में नहीं है" (चिकित्सा और कानूनी विषय, साथ ही एक बिलिंग विवाद), इसलिए 20 में से 18 उत्तर स्वीकार्य थे। दो उत्तर फिर भी गलत साबित हुए: एक ने लगभग गलत 2023 पीडीएफ को पूरा लिख ​​दिया, और एक ने एक ऐसी सदस्यता शुल्क राशि गढ़ ली जो पाठ में नहीं थी। उत्तर तैयार करने का औसत समय लगभग 1 मिनट था।.

वही 20, साथ ही प्रिया द्वारा नकली भेजने से पहले उद्धृत अनुभाग को खोलना: 20 में से 19 स्वीकार्य होते। उसने लगभग त्रुटिपूर्ण पीडीएफ को पकड़ लिया। शेष त्रुटि यह थी कि समीक्षक ने एक धाराप्रवाह पैराग्राफ को सरसरी तौर पर पढ़ा और उसमें डाले गए काल्पनिक सदस्यता शुल्क के आंकड़े पर ध्यान नहीं दिया। समीक्षा सहित औसत समय 3 मिनट था।.

पुरानी प्रक्रिया, केवल हैंडबुक में खोज, कोई सह-पायलट नहीं: 20 में से 20 स्वीकार्य। औसत समय 9 मिनट।.

इस नमूने में, लूप किए गए को-पायलट ने हैंडबुक के अनुसार खोज करने की तुलना में 6 मिनट (9 माइनस 3) तेज़ी से काम किया, यानी 20 प्रश्नों को हल करने में 120 मिनट लगे, और 20 में से 20 के बजाय 19 सही उत्तर दिए। बिना जाँच किए गए को-पायलट ने 8 मिनट (9 माइनस 1) तेज़ी से काम किया और 20 में से 9 प्रश्नों पर गलत उत्तर दिए, चाहे चुपचाप या ज़ोर से। यह स्टीयरिंग पैक से मिलने वाली 67% समय की बचत नहीं है। यह 9 गलतियों का नुकसान है जिसे आप स्वचालित कर सकते थे।.

बार-बार पूछे गए दोनों सवालों के जल्दबाजी भरे जवाब अतिशयोक्तिपूर्ण थे। संशयवादी जवाब टालमटोल भरे थे। मॉडल एक ही था, नियमावली एक ही थी, बस पहनावा अलग था। प्रिया ने इसे एक निष्कर्ष के रूप में दर्ज किया, व्यक्तित्व के रूप में नहीं।.

ये आंकड़े बताए गए परीक्षण, एक छोटे समूह, नाराज़ सदस्य की तुलना में आसान टिकटों और पुस्तक से पहले से परिचित एक समीक्षक पर आधारित एक अनुमानित उदाहरण हैं। ये साबित नहीं करते कि सह-पायलट "95% विश्वसनीय" है, या हार्बर को डेस्क कर्मचारी की छंटनी करनी चाहिए। ये दर्शाते हैं कि समस्या कार्य समय की नहीं, बल्कि जाँच की थी।.

क्या गलत हो सकता है?

• नेतृत्व 1 मिनट के ड्राफ्ट समय का हवाला देता है और 9 चूकों को नजरअंदाज कर देता है। शाम 4 बजे भी गति ही दक्षता का प्रतीक लगती है।.

• 2023 की पीडीएफ फाइल इंडेक्स में बनी हुई है। रिट्रीवल इसे लगातार प्राप्त करता रहता है। ग्राउंडिंग परिपक्व दिखती है और फिर भी बाल-बाल बच जाती है।.

• यूआई प्राप्त किए गए अंश को एक चमकदार 'भेजें' बटन के पीछे छिपा देता है। लोग हैंडबुक खोलना बंद कर देते हैं, और इसी तरह फ्रीज का जवाब किसी सदस्य तक पहुंचता है।.

• प्रिया ने सिर्फ आठ आसान सवालों के ही अंक दिए क्योंकि वे स्लाइड में देखने में अच्छे लगते हैं। मूल्यांकन का एक तरह का थिएटर, बस एक स्प्रेडशीट के साथ।.

• चिकित्सा से संबंधित "क्या यह प्रशिक्षण सुरक्षित है?" जैसे प्रश्न का संक्षिप्त उत्तर दिया जा सकता है। मानचित्र में लगभग असंभव लिखा था। लहजा स्पष्ट था कि आगे बढ़ो।.

• लॉगिंग बंद कर दी गई है क्योंकि "यह अतिरिक्त लग रहा था"। चूक होने के बाद, कोई नहीं देख सकता कि कौन सा अंश प्राप्त हुआ था।.

• वे मॉडल से पूछते हैं कि क्या वह निश्चित है। वह निश्चित है। यह कभी भी परीक्षण नहीं था।.

व्यावहारिक निष्कर्ष

विश्वसनीयता हार्बर द्वारा खरीदे गए सह-पायलट का गुण नहीं है। यह 20 प्रश्नों, एक अद्यतन पुस्तिका, एक सुगम मार्ग और उस व्यक्ति का गुण है जो पैसे के लेन-देन में भी स्रोत को खोलता है। धाराप्रवाहता अपटाइम परीक्षण को पास करती रहेगी। लूप ही एकमात्र ऐसी चीज है जो नीति परीक्षण को पास करती है।.

अक्सर पूछे जाने वाले प्रश्न

जनरेटिव एआई के लिए विश्वसनीयता का अर्थ ही क्या है?

रोजमर्रा की विश्वसनीयता का मतलब है कि आप किसी चीज़ पर भरोसा कर सकते हैं। संवाद करने वाले ऑटोमेशन के साथ, कई गुण एक शब्द के अंतर्गत छिपे होते हैं: तथ्यात्मकता, निरंतरता, अंशांकन, सुरक्षा, अपटाइम, त्वरित संवेदनशीलता, विषम परिस्थितियाँ और वितरण परिवर्तन के बाद व्यवहार। इनमें से कोई भी एक साथ विफल नहीं होता। लाइव परीक्षण किस चीज़ के लिए, किसके द्वारा और किस लूप के साथ विश्वसनीय है, यह निर्धारित करता है। अन्यथा, आप किसी ब्लेंडर को इस आधार पर आंक रहे होंगे कि क्या वह कर गणना कर सकता है।.

क्या एआई भरोसेमंद है?

यह कोई विशेषता नहीं है। एक एलएलएम एक काम में एकदम सटीक हो सकता है और दूसरे काम में चुपचाप गड़बड़ा सकता है, कभी-कभी एक ही बैठक में, कभी-कभी सिर्फ एक अल्पविराम की गलती से। विश्वसनीयता किसी कार्य, डेटासेट, पुनर्प्राप्ति चक्र, किसी ऐसे मूल्यांकन (जो सिर्फ एक डेमो नहीं है) और उस व्यक्ति का गुण है जिसे वास्तव में इसे निभाना होता है। इसका उपयोग वहां करें जहां गलती से नुकसान न हो या उसे सुधारा जा सके। जहां गलती से नुकसान हो, वहां गति धीमी कर दें।.

क्या एआई की अपटाइम और सत्यता एक ही बात है?

नहीं। अपटाइम का मतलब है कि एंडपॉइंट ने जवाब दिया या नहीं। सत्यता का मतलब है कि जवाब सही था या नहीं। आपकी सेवा बिना किसी रुकावट के चलती रह सकती है, फिर भी आप ग्राहक के टिकट में झूठा संदेश भेज सकते हैं। जब काम का बोझ बहुत ज़्यादा हो, तो गति ही दक्षता का प्रतीक लगती है। सुरक्षा एक और महत्वपूर्ण पहलू है: एक ऐसा मॉडल जो जेलब्रेक को रोकता है, वह आपके अपने नोट्स के सारांश को भी बिगाड़ सकता है।.

गलत होने पर भी धाराप्रवाह एआई भरोसेमंद क्यों लगता है?

शुद्धता और प्रवाह का अलगाव हो गया, और प्रवाह ने ही सब कुछ संभाल लिया। एक एलएलएम आपको लय, सावधानी, शायद बनावटी लेकिन आकर्षक उद्धरण का ढांचा देगा, और आपका दिमाग समझ जाएगा कि "यह व्यक्ति जानकार है।" अक्सर तालमेल बिगड़ जाता है: उच्च आत्मविश्वास, औसत दर्जे का सच, मुख्य भाषण की तरह प्रस्तुत किया गया। एक भद्दा गलत उत्तर आपको संदेह में डाल देता है। एक धाराप्रवाह गलत उत्तर आपको जाँच बंद करने पर मजबूर कर देता है। अगर यह किसी संक्षिप्त प्रस्तुति की तरह लगता है, तो हम इसे संक्षिप्त प्रस्तुति की तरह ही लेते हैं, और इसी तरह चूक प्रस्तुति में शामिल हो जाती है।.

क्या चिकित्सा, कानूनी या ग्राहक सहायता कार्यों के लिए एआई विश्वसनीय है?

यह काम पर निर्भर करता है, ब्रांड पर नहीं। चिकित्सा और कानूनी मामलों से जुड़ी सलाह को उत्पाद के रूप में शायद ही कभी पर्याप्त माना जा सकता है: मॉडल तो अधूरा है, असली पेशेवर तो इंसान ही होता है। ग्राहक सहायता सख्त नीति के दायरे में रहकर काम कर सकती है, लेकिन पैसे और भरोसे की ज़िम्मेदारी व्यक्ति की ही होनी चाहिए, क्योंकि बनावटी नीति और विनम्रता से मना करना अक्सर विफलता का कारण बनते हैं। मसौदे और सारांश उस पाठ का पहला संस्करण होते हैं जिसे आप पहले से जानते हैं। नाम, नंबर और उन पंक्तियों की जाँच करें जिनसे किसी को ठेस पहुँच सकती है।.

कृत्रिम बुद्धिमत्ता को मतिभ्रम क्यों होता है, वह भटक क्यों जाती है, या चुपचाप गलतियाँ क्यों कर बैठती है?

मतिभ्रम एक तीखी चूक है: एक ऐसी किताब जो अस्तित्व में नहीं है, एक ऐसा फ़ंक्शन जो कभी जारी ही नहीं हुआ, एक ऐसी नीतिगत धारा जिसका नंबर आधिकारिक लगता है। बहाव कम सिनेमाई है: दुनिया चलती रहती है, मॉडल के अवशेष बने रहते हैं, और आपको पिछले मौसम से एक सुव्यवस्थित उत्तर मिलता है। शांत त्रुटि एक ऐसा सारांश है जो अपवाद को छोड़ देता है। या एक ऐसा पुनर्कथन जो 'शायद' को 'अनिवार्य' में बदल देता है। तथ्यात्मकता तकनीकी रूप से ठीक लग सकती है जबकि अर्थ खो चुका होता है। त्वरित संवेदनशीलता आवरण बदलने पर तथ्यों को चमका देती है।.

क्या ग्राउंडिंग या रिट्रीवल से एआई विश्वसनीय बनता है?

ग्राउंडिंग का अर्थ है वर्तमान से उत्तर प्राप्त करना, धुंध से नहीं। पुनर्प्राप्ति वर्तमान को एक प्रशिक्षित आधार पर स्थापित करती है। जब यह विफल होती है, तो यह विनम्रतापूर्वक विफल होती है: एक लगभग त्रुटिपूर्ण दस्तावेज़, एक संक्षिप्त लेख, और आपकी जाँच करने की प्रवृत्ति समाप्त हो जाती है। ग्राउंडिंग एक आधार है, कोई प्रकाशस्तंभ नहीं। यदि आप पुनर्प्राप्त अंश का निरीक्षण नहीं कर सकते, तो आप अभी भी धुंध में हैं, बस बेहतर रोशनी के साथ। कीमतों या नीति शब्दावली जैसे वर्तमान स्थिति संबंधी कार्यों को स्थिर शिल्प के साथ मिलाएँ, और आपको एक ऐसी दुनिया के बारे में बहुत सटीक उत्तर मिलेगा जो पहले ही बदल चुकी है।.

एआई की विश्वसनीयता की जांच के लिए डेमो एक खराब तरीका क्यों है?

एक स्पष्ट संकेत और ऐसा कार्य जिसे मॉडल ने पहले भी कई बार देखा हो, सटीक लगेगा। लाइव वर्कफ़्लो में अक्सर गड़बड़ियाँ, अधूरी फ़ाइलें और ऐसे उपयोगकर्ता होते हैं जो अपनी चिंता कम करने वाला पहला जवाब ही स्वीकार कर लेते हैं। लीडरबोर्ड स्कोर आपके टिकटों का सटीक आकलन नहीं है। मॉडल का जोखिम तब होता है जब बड़ी संख्या में गलतियाँ होती हैं, न कि यह कि उसने सामान्य ज्ञान के प्रश्नों को हल किया या नहीं। आपको ऐसे परीक्षण करने होंगे जो सटीक हों: प्राप्त अंश के भीतर ही रहें, झूठ बोलने के बजाय अनिश्चितता को चिह्नित करें, वाक्य को दोबारा लिखते समय निरंतरता बनाए रखें और मनगढ़ंत बातें करने के बजाय बंद किए गए प्रश्नों को हल करने में सफल हों।.

अगर कोई भी जवाबदेह न हो तो क्या एआई भरोसेमंद है?

नहीं। अगर कोई जवाबदेह नहीं है, तो सिस्टम का इस्तेमाल ऐसे ही किया जाएगा जैसे कि वह जवाबदेह हो। मानवीय हस्तक्षेप ही एकमात्र ऐसा डिज़ाइन है जो विफलता के संभावित तरीकों से मेल खाता है: समीक्षा कौन करेगा, इसे कौन रोक सकता है, क्या रिकॉर्ड किया जाएगा, और चूक के बाद क्या होगा। अगर जवाब "मॉडल" है, तो आपके पास कोई जवाब नहीं है। घटना के बाद मॉडल मीटिंग में नहीं जाते। चिकित्सा, कानून, क्रेडिट या सुरक्षा-महत्वपूर्ण कार्यों के लिए, मानवीय हस्तक्षेप ही मुख्य प्रक्रिया है और मॉडल सिर्फ एक ढांचा मात्र है।.

मैं एआई को कैसे संकेत दूं ताकि मैं उसकी गलतियों को पकड़ सकूं?

जानबूझकर अनिश्चितता के लिए पूछें: "यह गलत क्यों होगा?" यह पूछने से बेहतर है कि "इसे आत्मविश्वास से कहें।" जब संभव हो, तो जानकारी प्राप्त करने और लिखने की प्रक्रिया को अलग करें। पहले पैराग्राफ देखें, फिर लिखित विवरण मांगें। विषयवस्तु बदलें: वाक्य बदलें, या विपरीत तर्क देने को कहें। "केवल मेरे द्वारा पेस्ट किए गए पाठ से" या "यदि कुछ गायब है, तो गायब बताएं" जैसी शर्तें लागू करें और फिर भी जांच करें। सत्यापनकर्ता वाले कार्यों को प्राथमिकता दें और अतिरिक्त विशिष्टता पर ध्यान दें, क्योंकि भ्रम यहीं पर हावी हो सकता है।.

संदर्भ

1. एनआईएसटी - nvlpubs.nist.gov

2. एनआईएसटी - airc.nist.gov

3. एनआईएसटी - airc.nist.gov

4. आईओसी - ico.org.uk

5. एनसीएससी - www.ncsc.gov.uk

6. एनसीएससी - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

आधिकारिक एआई असिस्टेंट स्टोर पर नवीनतम एआई खोजें

हमारे बारे में