जेनरेटिव एआई का उपयोग करने वाले डेवलपर्स की क्या जिम्मेदारी है?

संक्षिप्त उत्तर: जनरेटिव एआई का उपयोग करने वाले डेवलपर्स पूरे सिस्टम के लिए जिम्मेदार होते हैं, न कि केवल मॉडल के आउटपुट के लिए। जब ​​एआई निर्णयों, कोड, गोपनीयता या उपयोगकर्ता के भरोसे को प्रभावित करता है, तो उन्हें सुरक्षित एप्लिकेशन चुनने, परिणामों को सत्यापित करने, डेटा की सुरक्षा करने, नुकसान को कम करने और यह सुनिश्चित करने की आवश्यकता होती है कि लोग समीक्षा कर सकें, बदलाव कर सकें और गलतियों को सुधार सकें।

चाबी छीनना:

सत्यापन : परिष्कृत परिणामों को तब तक अविश्वसनीय मानें जब तक कि स्रोत, परीक्षण या मानवीय समीक्षा उनकी पुष्टि न कर दें।

डेटा सुरक्षा : त्वरित डेटा को कम से कम करें, पहचानकर्ताओं को हटा दें और लॉग, एक्सेस नियंत्रण और विक्रेताओं को सुरक्षित करें।

निष्पक्षता : रूढ़ियों और असमान विफलता पैटर्न को पकड़ने के लिए विभिन्न जनसांख्यिकी और संदर्भों में परीक्षण करें।

पारदर्शिता : एआई के उपयोग को स्पष्ट रूप से परिभाषित करें, इसकी सीमाओं को समझाएं और मानवीय समीक्षा या अपील का विकल्प प्रदान करें।

जवाबदेही : लॉन्च से पहले परिनियोजन, घटनाओं, निगरानी और रोलबैक के लिए स्पष्ट जिम्मेदारियां तय करें।

इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:

🔗 सॉफ्टवेयर डेवलपर्स के लिए सर्वश्रेष्ठ एआई उपकरण: शीर्ष एआई-संचालित कोडिंग सहायक
तेज़ और सुव्यवस्थित विकास कार्यप्रवाह के लिए शीर्ष एआई कोडिंग सहायकों की तुलना करें।.

🔗 उत्पादकता बढ़ाने के लिए डेवलपर्स के लिए शीर्ष 10 एआई उपकरण
स्मार्ट कोडिंग और गति बढ़ाने के लिए डेवलपर एआई टूल्स की रैंकिंग सूची।.

🔗 एआई समाज और भरोसे के लिए क्यों हानिकारक हो सकता है?
यह लेख वास्तविक दुनिया में होने वाले नुकसानों की व्याख्या करता है: पूर्वाग्रह, गोपनीयता, रोजगार और गलत सूचना से जुड़े जोखिम।.

🔗 क्या एआई ने महत्वपूर्ण निर्णयों में हद से ज्यादा दखल दिया है?
यह परिभाषित करता है कि एआई कब सीमाएं पार करता है: निगरानी, ​​डीपफेक, अनुनय, बिना सहमति के।.

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी लोगों की सोच से कहीं अधिक महत्वपूर्ण क्यों है?

कई सॉफ्टवेयर बग परेशान करने वाले होते हैं। कोई बटन काम करना बंद कर देता है। कोई पेज धीरे लोड होता है। कुछ क्रैश हो जाता है और सब लोग झुंझला जाते हैं।.

जनरेटिव एआई की समस्याएं अलग-अलग हो सकती हैं। वे सूक्ष्म भी हो सकती हैं।.

एक मॉडल आत्मविश्वास से भरा लग सकता है, जबकि वह गलत हो। NIST GenAI प्रोफ़ाइल: यह स्पष्ट चेतावनी संकेतों के बिना पूर्वाग्रह उत्पन्न कर सकता है। NIST GenAI प्रोफ़ाइल: लापरवाही से उपयोग किए जाने पर यह संवेदनशील डेटा को उजागर कर सकता है। OWASP LLM अनुप्रयोगों के लिए शीर्ष 10, ICO के जनरेटिव AI के लिए आठ प्रश्न: यह ऐसा कोड उत्पन्न कर सकता है जो काम करता है - जब तक कि उत्पादन में किसी बेहद शर्मनाक तरीके से विफल न हो जाए। OWASP LLM अनुप्रयोगों के लिए शीर्ष 10: यह कुछ ऐसा है जैसे किसी बहुत उत्साही इंटर्न को काम पर रखना जो कभी सोता नहीं है और समय-समय पर आश्चर्यजनक आत्मविश्वास के साथ मनगढ़ंत तथ्य गढ़ता है।

इसीलिए जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की ज़िम्मेदारी केवल कार्यान्वयन से कहीं अधिक व्यापक है। डेवलपर्स अब केवल लॉजिक सिस्टम ही नहीं बना रहे हैं। वे अस्पष्ट सीमाओं, अप्रत्याशित परिणामों और वास्तविक सामाजिक परिणामों वाले संभाव्यता सिस्टम बना रहे हैं। (एनआईएसटी एआई आरएमएफ)

इसका अर्थ है कि जिम्मेदारी में निम्नलिखित शामिल हैं:

• एनआईएसटी एआई आरएमएफ मॉडल की सीमाओं को समझना

• उपयोगकर्ता की गोपनीयता की सुरक्षा: एआई और डेटा सुरक्षा पर आईओसी का मार्गदर्शन

• हानिकारक परिणामों को कम करना, एनआईएसटी जेनएआई प्रोफ़ाइल

• विश्वास प्रदान करने से पहले सटीकता की जाँच करना, NIST GenAI प्रोफ़ाइल

• ओईसीडी एआई सिद्धांतों में मानवीय भूमिका को स्पष्ट करना

• एआई के विफल होने पर वैकल्पिक मार्ग तैयार करना, ओईसीडी एआई सिद्धांत, एनसीएससी सुरक्षित एआई दिशानिर्देश

• सिस्टम को स्पष्ट रूप से प्रलेखित करना, ओईसीडी एआई सिद्धांत

आप जानते ही हैं कि ऐसा क्यों होता है - जब कोई उपकरण जादुई लगने लगता है, तो लोग उस पर सवाल उठाना बंद कर देते हैं। डेवलपर्स इतने लापरवाह नहीं हो सकते।.

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी का एक अच्छा संस्करण क्या बनाता है? 🛠️

जिम्मेदारी का एक अच्छा रूप दिखावटी नहीं होता। यह सिर्फ नीचे एक अस्वीकरण जोड़कर उसे नैतिकता का नाम देना नहीं है। यह डिजाइन संबंधी विकल्पों, परीक्षण की आदतों और उत्पाद के व्यवहार में दिखाई देता है।.

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी का एक सशक्त संस्करण आमतौर पर इस प्रकार दिखता है:

• जानबूझकर उपयोग एनआईएसटी एआई आरएमएफ

  • एआई का उपयोग किसी वास्तविक समस्या के समाधान के लिए किया जा रहा है, न कि सिर्फ इसलिए उत्पाद में डाला जा रहा है क्योंकि यह फैशनेबल लगता है।.

• मानव निगरानी, ​​ओईसीडी एआई सिद्धांत

  • लोग आउटपुट की समीक्षा कर सकते हैं, उसमें सुधार कर सकते हैं, उसे ओवरराइड कर सकते हैं या अस्वीकार कर सकते हैं।.

• सुरक्षा के लिए डिज़ाइन द्वारा NCSC सुरक्षित AI दिशानिर्देश

  • जोखिम नियंत्रण उपायों को शुरुआत में ही शामिल किया जाता है, न कि बाद में कामचलाऊ तरीके से जोड़ा जाता है।.

• पारदर्शिता, ओईसीडी एआई सिद्धांत, यूरोपीय आयोग एआई अधिनियम का अवलोकन

  • उपयोगकर्ता समझ जाते हैं कि सामग्री एआई द्वारा उत्पन्न की गई है या एआई की सहायता से तैयार की गई है।.

• डेटा केयर आईओसी के आठ प्रश्न

  • संवेदनशील जानकारी को सावधानीपूर्वक संभाला जाता है और उस तक पहुंच सीमित है।.

• निष्पक्षता जांच , एनआईएसटी जेनएआई प्रोफाइल, एआई और डेटा सुरक्षा पर आईओसी मार्गदर्शन

  • इस प्रणाली का परीक्षण पूर्वाग्रह, असमान प्रदर्शन और हानिकारक पैटर्न के लिए किया जाता है।.

• एनआईएसटी एआई आरएमएफ एनसीएससी सुरक्षित एआई दिशानिर्देशों की निरंतर निगरानी

  • लॉन्च अंतिम पड़ाव नहीं है। यह तो बस शुरुआत की सीटी की तरह है।.

अगर यह सब आपको बहुत ज़्यादा लग रहा है, तो हाँ... यह वाकई बहुत ज़्यादा है। लेकिन जब आप ऐसी तकनीक के साथ काम करते हैं जो बड़े पैमाने पर निर्णयों, विश्वासों और व्यवहार को प्रभावित कर सकती है, तो यही होता है। OECD AI सिद्धांत

तुलना तालिका - जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की मुख्य जिम्मेदारियों को एक नज़र में देखें 📋

जिम्मेदारी क्षेत्र	इससे किसे फर्क पड़ता है	दैनिक डेवलपर अभ्यास	यह क्यों मायने रखती है
सटीकता और सत्यापन	उपयोगकर्ता, टीमें, ग्राहक	आउटपुट की समीक्षा करें, सत्यापन परतें जोड़ें, विशिष्ट परिस्थितियों का परीक्षण करें	एआई धाराप्रवाह होते हुए भी बेहद गलत हो सकता है - जो कि एक अजीबोगरीब संयोजन है। एनआईएस जेनएआई प्रोफाइल
एकान्तता सुरक्षा	उपयोगकर्ता, ग्राहक, आंतरिक कर्मचारी	संवेदनशील डेटा के उपयोग को कम करें, प्रॉम्प्ट को हटाएं, लॉग को नियंत्रित करें	निजी डेटा लीक हो जाए तो सब कुछ हाथ से निकल जाता है 😬 जनरेटिव एआई के लिए ICO के आठ प्रश्न, LLM आवेदनों के लिए OWASP की शीर्ष 10 सूची
पूर्वाग्रह और निष्पक्षता	अल्पप्रतिनिधित्व वाले समूह, वास्तव में सभी उपयोगकर्ता	ऑडिट परिणामों का विश्लेषण करें, विभिन्न इनपुट का परीक्षण करें, सुरक्षा उपायों को समायोजित करें।	नुकसान हमेशा स्पष्ट नहीं होता - कभी-कभी यह व्यवस्थित और चुपचाप होता है। NIST GenAI प्रोफ़ाइल ICO का AI और डेटा सुरक्षा पर मार्गदर्शन।
सुरक्षा	कंपनी सिस्टम, उपयोगकर्ता	मॉडल तक पहुंच प्रतिबंधित करें, त्वरित इंजेक्शन से बचाव करें, जोखिम भरी गतिविधियों को सैंडबॉक्स में रखें	एक चालाकी भरा दांव भरोसे को तेजी से तोड़ सकता है। OWASP की LLM एप्लीकेशन्स के लिए टॉप 10 सूची। NCSC की AI और साइबर सुरक्षा पर रिपोर्ट।
पारदर्शिता	अंतिम उपयोगकर्ता, नियामक, सहायता टीमें	एआई के व्यवहार को स्पष्ट रूप से परिभाषित करें, सीमाओं को समझाएं और इसके उपयोग का दस्तावेजीकरण करें।	लोगों को यह जानने का अधिकार है कि मशीन कब मदद कर रही है। (ओईसीडी एआई सिद्धांत आचार संहिता: एआई-जनित सामग्री की मार्किंग और लेबलिंग)
जवाबदेही	उत्पाद स्वामी, कानूनी टीम, विकास टीमें	स्वामित्व, घटना प्रबंधन और समस्या निवारण मार्गों को परिभाषित करें।	"यह काम एआई ने किया" कहना कोई समझदारी भरा जवाब नहीं है (ओईसीडी एआई सिद्धांत)।
विश्वसनीयता	उत्पाद को छूने वाला हर व्यक्ति	विफलताओं की निगरानी करें, विश्वास सीमा निर्धारित करें, फ़ॉलबैक लॉजिक बनाएं	मॉडल भटक जाते हैं, अप्रत्याशित तरीकों से विफल हो जाते हैं, और समय-समय पर कुछ नाटकीय घटनाएँ घटित हो जाती हैं। NIST AI RMF NCSC सुरक्षित AI दिशानिर्देश
उपयोगकर्ता कल्याण	विशेष रूप से कमजोर उपयोगकर्ता	हेरफेरपूर्ण डिज़ाइन से बचें, हानिकारक परिणामों को सीमित करें, उच्च जोखिम वाले उपयोग मामलों की समीक्षा करें	किसी चीज़ को उत्पन्न किया जा सकता है, इसका मतलब यह नहीं है कि उसे उत्पन्न किया जाना चाहिए। OECD AI सिद्धांत NIST AI RMF

थोड़ी टेढ़ी मेज है, ठीक है, लेकिन यह विषय के अनुकूल है। वास्तविक जिम्मेदारी भी असमान होती है।.

जिम्मेदारी पहले संकेत से पहले ही शुरू हो जाती है - सही उपयोग का चुनाव करना 🎯

डेवलपर्स की सबसे बड़ी जिम्मेदारियों में से एक यह तय करना है कि जनरेटिव एआई का उपयोग किया जाना चाहिए या नहीं । एनआईएसटी एआई आरएमएफ

यह बात तो स्पष्ट लगती है, लेकिन अक्सर इसे नज़रअंदाज़ कर दिया जाता है। टीमें एक मॉडल देखती हैं, उत्साहित हो जाती हैं और उसे ऐसे वर्कफ़्लो में जबरदस्ती फिट करने लगती हैं जिन्हें नियमों, खोज या सामान्य सॉफ़्टवेयर लॉजिक से बेहतर तरीके से संभाला जा सकता है। हर समस्या के लिए भाषा मॉडल की आवश्यकता नहीं होती। कुछ समस्याओं के लिए डेटाबेस और एक शांत दोपहर की आवश्यकता होती है।.

निर्माण से पहले, डेवलपर्स को निम्नलिखित प्रश्न पूछने चाहिए:

• क्या यह कार्य अनिश्चित है या नियतात्मक?

• क्या गलत आउटपुट से नुकसान हो सकता है?

• क्या उपयोगकर्ताओं को रचनात्मकता, पूर्वानुमान, सारांश, स्वचालन की आवश्यकता है - या केवल गति की?

• क्या लोग परिणामों पर अत्यधिक भरोसा करेंगे? एनआईएसटी जेनएआई प्रोफ़ाइल

• क्या कोई मनुष्य वास्तविक रूप से परिणामों की समीक्षा कर सकता है? ओईसीडी एआई सिद्धांत

• मॉडल गलत होने पर क्या होता है? ओईसीडी एआई सिद्धांत

एक जिम्मेदार डेवलपर सिर्फ यह नहीं पूछता, "क्या हम इसे बना सकते हैं?" वे पूछते हैं, "क्या इसे इस तरह से बनाया जाना चाहिए?" NIST AI RMF

यह सवाल अपने आप में बहुत सारी बेतुकी बातों को रोक देता है।.

सटीकता एक जिम्मेदारी है, कोई अतिरिक्त सुविधा नहीं ✅

आइए इसे स्पष्ट करें - जनरेटिव एआई में सबसे बड़ी कमियों में से एक है वाक्पटुता को सत्य समझ लेना। मॉडल अक्सर ऐसे उत्तर देते हैं जो परिष्कृत, संरचित और बेहद विश्वसनीय लगते हैं। यह तब तक अच्छा लगता है, जब तक कि सामग्री आत्मविश्वास में लिपटी हुई निरर्थक न हो। एनआईएसटी जेनएआई प्रोफाइल

इसलिए जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी में सत्यापन के लिए निर्माण करना भी शामिल है।

इसका मत:

• जहां संभव हो, पुनर्प्राप्ति या आधार का उपयोग करते हुए, एनआईएसटी जेनएआई प्रोफ़ाइल

• OECD AI सिद्धांतों के अनुसार, उत्पन्न सामग्री को पुष्ट तथ्यों से अलग करना।

• विश्वास सीमा को सावधानीपूर्वक जोड़ना NIST AI RMF

• उच्च जोखिम वाले परिणामों के लिए समीक्षा कार्यप्रवाह बनाना: ओईसीडी एआई सिद्धांत

• महत्वपूर्ण परिस्थितियों में मॉडल को तात्कालिक निर्णय लेने से रोकना NIST GenAI प्रोफ़ाइल

• परीक्षण संकेत जो सिस्टम को तोड़ने या गुमराह करने का प्रयास करते हैं, OWASP टॉप 10 फॉर एलएलएम एप्लीकेशंस

यह निम्नलिखित क्षेत्रों में बहुत मायने रखता है:

• स्वास्थ्य देखभाल

• वित्त

• कानूनी कार्यप्रवाह

• शिक्षा

• ग्राहक सहेयता

• उद्यम स्वचालन

• कोड जनरेशन

उदाहरण के लिए, जनरेट किया गया कोड देखने में तो सुव्यवस्थित लग सकता है, लेकिन उसमें सुरक्षा खामियां या तार्किक गलतियां छिपी हो सकती हैं। जो डेवलपर इसे बिना सोचे-समझे कॉपी करता है, वह कुशल नहीं है - वह बस जोखिम को एक आकर्षक प्रारूप में आउटसोर्स कर रहा है। OWASP टॉप 10 फॉर LLM एप्लीकेशंस, NCSC ऑन AI एंड साइबर सिक्योरिटी

यह मॉडल सहायता कर सकता है। परिणाम पर डेवलपर का ही अधिकार रहेगा। OECD AI सिद्धांत

निजता और डेटा प्रबंधन पर कोई समझौता नहीं किया जा सकता 🔐

यहां से मामला तेज़ी से गंभीर हो जाता है। जनरेटिव एआई सिस्टम अक्सर प्रॉम्प्ट, लॉग, कॉन्टेक्स्ट विंडो, मेमोरी लेयर, एनालिटिक्स और थर्ड-पार्टी इंफ्रास्ट्रक्चर पर निर्भर करते हैं। इससे संवेदनशील डेटा के लीक होने, लंबे समय तक बने रहने या उपयोगकर्ताओं की अपेक्षा से कहीं अधिक तरीकों से पुन: उपयोग होने की संभावना बढ़ जाती है। जनरेटिव एआई के लिए ICO के आठ प्रश्न, LLM अनुप्रयोगों के लिए OWASP टॉप 10।

डेवलपर्स की यह जिम्मेदारी है कि वे सुरक्षा सुनिश्चित करें:

• व्यक्तिगत जानकारी

• वित्तीय रिकॉर्ड

• चिकित्सा विवरण

• आंतरिक कंपनी डेटा

• व्यापार के रहस्य

• प्रमाणीकरण टोकन

• ग्राहक संचार

जिम्मेदार प्रथाओं में निम्नलिखित शामिल हैं:

• जनरेटिव एआई के लिए आईओसी के आठ प्रश्नों के आधार पर मॉडल में प्रवेश करने वाले डेटा को न्यूनतम करना।

• एनआईएसटी जेनएआई प्रोफ़ाइल में पहचानकर्ताओं को छिपाना या हटाना

• लॉग प्रतिधारण को सीमित करना: एआई और डेटा सुरक्षा पर आईओसी का मार्गदर्शन

• कौन प्रॉम्प्ट और आउटपुट तक पहुंच सकता है, इसे नियंत्रित करना OWASP टॉप 10 फॉर एलएलएम एप्लीकेशंस

• विक्रेता सेटिंग्स की सावधानीपूर्वक समीक्षा करना, एनसीएससी सुरक्षित एआई दिशानिर्देश

• उच्च जोखिम वाले वर्कफ़्लो को अलग करना - एनसीएससी सुरक्षित एआई दिशानिर्देश

• उपयोगकर्ताओं के लिए गोपनीयता व्यवहार को दृश्यमान बनाना: जनरेटिव एआई के लिए ICO के आठ प्रश्न

यह उन क्षेत्रों में से एक है जहां "हम इसके बारे में सोचना भूल गए" कहना कोई मामूली गलती नहीं है। यह विश्वास तोड़ने वाली विफलता है।.

और एक बार विश्वास टूट जाए तो वह बिखरे हुए कांच की तरह बिखर जाता है। शायद यह सबसे सटीक उपमा नहीं है, लेकिन आप समझ गए होंगे।.

पूर्वाग्रह, निष्पक्षता और प्रतिनिधित्व - ये कुछ अनसुनी जिम्मेदारियाँ हैं ⚖️

जनरेटिव एआई में पूर्वाग्रह शायद ही कभी कार्टून खलनायक के रूप में दिखाई देता है। यह आमतौर पर उससे कहीं अधिक जटिल होता है। एक मॉडल स्पष्ट चेतावनी दिए बिना ही रूढ़िवादी नौकरी विवरण, असमान मॉडरेशन निर्णय, एकतरफा सिफारिशें या सांस्कृतिक रूप से संकीर्ण धारणाएँ उत्पन्न कर सकता है। (एनआईएसटी जेनएआई प्रोफाइल)

इसीलिए जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी में सक्रिय निष्पक्षता कार्य शामिल है।

डेवलपर्स को चाहिए कि:

• विभिन्न जनसांख्यिकी और संदर्भों से परीक्षण संकेत NIST GenAI प्रोफ़ाइल

• रूढ़ियों और बहिष्करण के लिए समीक्षा परिणाम NIST GenAI प्रोफ़ाइल

• मूल्यांकन के दौरान विविध दृष्टिकोणों को शामिल करें NIST AI RMF

• असमान विफलता पैटर्न पर ध्यान दें NIST GenAI प्रोफ़ाइल

• यह मानकर न चलें कि एक ही भाषा शैली या सांस्कृतिक मानदंड सभी के लिए उपयुक्त है। एआई और डेटा सुरक्षा पर आईओसी का मार्गदर्शन।

• हानिकारक आउटपुट के लिए रिपोर्टिंग चैनल बनाएं NIST AI RMF

एक सिस्टम देखने में तो समग्र रूप से अच्छा काम करता हुआ प्रतीत हो सकता है, लेकिन कुछ उपयोगकर्ताओं को लगातार दूसरों की तुलना में खराब सेवा प्रदान कर सकता है। यह स्वीकार्य नहीं है, केवल इसलिए कि डैशबोर्ड पर औसत प्रदर्शन अच्छा दिखता है। एआई और डेटा सुरक्षा पर आईओसी मार्गदर्शन, एनआईएसटी जेनएआई प्रोफ़ाइल।

और हाँ, निष्पक्षता किसी सुव्यवस्थित चेकलिस्ट से कहीं अधिक जटिल है। इसमें निर्णय, संदर्भ, समझौते और कुछ हद तक असुविधा भी शामिल होती है। लेकिन इससे ज़िम्मेदारी कम नहीं होती, बल्कि पुष्ट होती है। (आईसीओ का एआई और डेटा सुरक्षा पर मार्गदर्शन)

सुरक्षा अब आंशिक रूप से त्वरित डिजाइन और आंशिक रूप से इंजीनियरिंग अनुशासन पर आधारित है 🧱

जेनरेटिव एआई सुरक्षा अपने आप में एक अनोखी चुनौती है। पारंपरिक ऐप सुरक्षा अभी भी महत्वपूर्ण है, लेकिन एआई सिस्टम कुछ असामान्य हमले के खतरे पैदा करते हैं: प्रॉम्प्ट इंजेक्शन, अप्रत्यक्ष प्रॉम्प्ट हेरफेर, असुरक्षित टूल का उपयोग, संदर्भ के माध्यम से डेटा की चोरी और स्वचालित वर्कफ़्लो के माध्यम से मॉडल का दुरुपयोग। OWASP टॉप 10 फॉर एलएलएम एप्लीकेशंस, एनसीएससी ऑन एआई एंड साइबर सिक्योरिटी

डेवलपर्स पूरे सिस्टम को सुरक्षित करने के लिए जिम्मेदार हैं, न कि केवल इंटरफ़ेस को। NCSC सुरक्षित AI दिशानिर्देश

यहां की प्रमुख जिम्मेदारियों में निम्नलिखित शामिल हैं:

• अविश्वसनीय इनपुट को सैनिटाइज करना: एलएलएम अनुप्रयोगों के लिए ओडब्ल्यूएएसपी टॉप 10

• मॉडल द्वारा कॉल किए जा सकने वाले उपकरणों को सीमित करना OWASP टॉप 10 फॉर एलएलएम एप्लीकेशंस

• फ़ाइल और नेटवर्क एक्सेस को प्रतिबंधित करना - एनसीएससी सुरक्षित एआई दिशानिर्देश

• अनुमतियों को स्पष्ट रूप से अलग करना - एनसीएससी सुरक्षित एआई दिशानिर्देश

• दुर्व्यवहार के पैटर्न की निगरानी करना, एनसीएससी सुरक्षित एआई दिशानिर्देश

• महंगे या जोखिम भरे कार्यों पर दर-सीमित करना - एलएलएम अनुप्रयोगों के लिए ओडब्ल्यूएएसपी शीर्ष 10

• एलएलएम अनुप्रयोगों के लिए ओडब्ल्यूएएसपी टॉप 10 में प्रतिकूल संकेतों का परीक्षण करना

• निर्देशों में टकराव होने पर सुरक्षित बैकअप योजनाएँ बनाना (ओईसीडी एआई सिद्धांत)

एक कड़वी सच्चाई यह है कि उपयोगकर्ता - और हमलावर - निश्चित रूप से ऐसी चीजें आजमाएंगे जिनकी डेवलपर्स ने उम्मीद नहीं की थी। कुछ जिज्ञासावश, कुछ दुर्भावनावश, और कुछ इसलिए क्योंकि उन्होंने रात के 2 बजे गलती से कुछ गलत क्लिक कर दिया। ऐसा होता रहता है।.

जनरेटिव एआई की सुरक्षा किसी दीवार बनाने की तरह कम और एक बहुत बातूनी द्वारपाल को संभालने की तरह ज्यादा है, जो कभी-कभी शब्दों के हेरफेर से भ्रमित हो जाता है।.

दिखावटी यूजर एक्सपीरियंस से ज्यादा पारदर्शिता और उपयोगकर्ता की सहमति मायने रखती है 🗣️

जब उपयोगकर्ता एआई के साथ इंटरैक्ट करते हैं, तो उन्हें इसकी जानकारी होनी चाहिए। ओईसीडी एआई सिद्धांत आचार संहिता।

अस्पष्ट रूप से नहीं। जटिल शब्दों में उलझा हुआ नहीं। स्पष्ट रूप से।.

जेनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी का एक मुख्य हिस्सा यह सुनिश्चित करना है कि उपयोगकर्ता समझें:

• जब एआई का उपयोग किया जा रहा हो, ओईसीडी एआई सिद्धांत

• एआई क्या कर सकता है और क्या नहीं कर सकता - ओईसीडी एआई सिद्धांत

• क्या आउटपुट की समीक्षा मनुष्यों द्वारा की जाती है? ओईसीडी एआई सिद्धांत

• उनके डेटा को कैसे संसाधित किया जाता है? जनरेटिव एआई के लिए आईओसी के आठ प्रश्न

• उन्हें किस स्तर का विश्वास होना चाहिए NIST AI RMF

• समस्याओं की रिपोर्ट कैसे करें या निर्णयों के विरुद्ध अपील कैसे करें: OECD AI सिद्धांत , NIST AI RMF

पारदर्शिता का मतलब उपयोगकर्ताओं को डराना नहीं है। इसका मतलब है उनका सम्मान करना।.

अच्छी पारदर्शिता में निम्नलिखित बातें शामिल हो सकती हैं:

• एआई-जनित या एआई-सहायता प्राप्त जैसे लेबल, एआई-जनित सामग्री के चिह्नांकन और लेबलिंग पर आचार संहिता

• ओईसीडी एआई सिद्धांतों की सरल भाषा में व्याख्या

• जहां प्रासंगिक हो, संपादन इतिहास दृश्यमान।

• एआई सुविधाओं को बंद करने के विकल्प

• आवश्यकता पड़ने पर किसी मानव से परामर्श लेना - ओईसीडी एआई सिद्धांत

• उच्च जोखिम वाले कार्यों के लिए संक्षिप्त चेतावनियाँ: यूरोपीय आयोग एआई अधिनियम का अवलोकन

कई प्रोडक्ट टीमों को चिंता होती है कि ईमानदारी से फीचर का आकर्षण कम हो जाएगा। शायद। लेकिन झूठी निश्चितता इससे भी बदतर है। एक सहज इंटरफ़ेस जो जोखिम को छुपाता है, असल में चालाकी से बनाया गया भ्रम है।.

डेवलपर्स जवाबदेह बने रहते हैं - भले ही मॉडल "निर्णय" ले ले 👀

यह हिस्सा बेहद महत्वपूर्ण है। जिम्मेदारी को मॉडल विक्रेता, मॉडल कार्ड, प्रॉम्प्ट टेम्प्लेट या मशीन लर्निंग के रहस्यमय वातावरण पर नहीं सौंपा जा सकता। OECD AI सिद्धांत NIST AI RMF

डेवलपर्स अब भी जवाबदेह हैं। ओईसीडी एआई सिद्धांत

इसका मतलब है कि टीम में किसी को इसकी जिम्मेदारी लेनी चाहिए:

• मॉडल चयन NIST AI RMF

• परीक्षण मानक NIST GenAI प्रोफ़ाइल

• रिलीज मानदंड NIST GenAI प्रोफ़ाइल

• घटना प्रतिक्रिया एनसीएससी सुरक्षित एआई दिशानिर्देश

• उपयोगकर्ता शिकायत निवारण NIST AI RMF

• रोलबैक प्रक्रियाएं, ओईसीडी एआई सिद्धांत

• परिवर्तन ट्रैकिंग ओईसीडी एआई सिद्धांत

• ओईसीडी एआई सिद्धांतों का दस्तावेजीकरण

निम्नलिखित जैसे प्रश्नों के स्पष्ट उत्तर होने चाहिए:

• तैनाती को कौन मंजूरी देता है? NIST GenAI प्रोफ़ाइल

• हानिकारक परिणामों से जुड़ी घटनाओं की समीक्षा कौन करता है? NIST GenAI प्रोफ़ाइल

• इस फ़ीचर को कौन निष्क्रिय कर सकता है? OECD AI सिद्धांत

• प्रतिगमन की निगरानी कौन करता है? NIST AI RMF

• जब कोई चीज़ खराब हो जाती है तो उपयोगकर्ताओं से कौन संवाद करता है? OECD AI सिद्धांत

स्वामित्व के बिना, जिम्मेदारी धुंधली हो जाती है। हर कोई मान लेता है कि कोई और इसे संभाल रहा है... और फिर कोई नहीं होता।.

यह पैटर्न असल में एआई से भी पुराना है। एआई ने इसे और भी खतरनाक बना दिया है।.

जिम्मेदार डेवलपर पूर्णता के बजाय सुधार के लिए निर्माण करते हैं 🔄

इस सबमें एक छोटा सा मोड़ यह है: जिम्मेदार एआई विकास का मतलब यह नहीं है कि सिस्टम को परिपूर्ण मान लिया जाए। इसका मतलब यह है कि यह मानकर चलना कि सिस्टम किसी न किसी रूप में विफल होगा और उसी वास्तविकता को ध्यान में रखते हुए डिजाइन तैयार करना। (एनआईएसटी एआई आरएमएफ)

इसका अर्थ है ऐसे उत्पाद बनाना जो:

• ऑडिट योग्य ओईसीडी एआई सिद्धांत

  • निर्णयों और परिणामों की समीक्षा बाद में की जा सकती है।

• बाधित करने योग्य ओईसीडी एआई सिद्धांत

  • मनुष्य बुरे व्यवहार को रोक या नियंत्रित कर सकते हैं।

• पुनर्प्राप्त करने योग्य ओईसीडी एआई सिद्धांत

  • एआई आउटपुट गलत होने पर एक बैकअप विकल्प मौजूद है।

• निगरानी योग्य एनसीएससी सुरक्षित एआई दिशानिर्देश एनआईएसटी एआई आरएमएफ

  • टीमें आपदा में बदलने से पहले ही पैटर्न को पहचान सकती हैं।

• सुधार योग्य एनआईएसटी जेनएआई प्रोफ़ाइल

  • फीडबैक लूप मौजूद हैं, और कोई न कोई उन्हें पढ़ता है।

परिपक्वता का यही अर्थ है। दिखावटी डेमो नहीं। लुभावनी मार्केटिंग की बातें नहीं। वास्तविक प्रणालियाँ, जिनमें सुरक्षा उपाय, लॉग, जवाबदेही और यह स्वीकार करने की विनम्रता हो कि मशीन कोई जादूगर नहीं है। NCSC सुरक्षित AI दिशानिर्देश OECD AI सिद्धांत

क्योंकि ऐसा नहीं है। यह एक उपकरण है। एक शक्तिशाली उपकरण, हाँ। लेकिन फिर भी एक उपकरण ही है।.

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की जिम्मेदारी पर अंतिम विचार 🌍

तो, जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की क्या जिम्मेदारी ?

इसका अर्थ है सावधानीपूर्वक निर्माण करना। यह प्रश्न करना कि प्रणाली कहाँ सहायक है और कहाँ हानिकारक। गोपनीयता की रक्षा करना। पूर्वाग्रह की जाँच करना। परिणामों का सत्यापन करना। कार्यप्रवाह को सुरक्षित करना। उपयोगकर्ताओं के साथ पारदर्शिता बनाए रखना। मनुष्यों को सार्थक नियंत्रण में रखना। गलतियाँ होने पर जवाबदेही सुनिश्चित करना। NIST AI RMF OECD AI सिद्धांत

यह बात सुनने में थोड़ी जटिल लग सकती है - और है भी। लेकिन यही वह चीज़ है जो सोच-समझकर किए गए विकास को बिना सोचे-समझे किए गए स्वचालन से अलग करती है।.

जनरेटिव एआई का उपयोग करने वाले सर्वश्रेष्ठ डेवलपर वे नहीं हैं जो मॉडल से सबसे अधिक करतब करवाते हैं। वे वे हैं जो उन करतबों के परिणामों को समझते हैं और उसी के अनुसार डिजाइन करते हैं। वे जानते हैं कि गति मायने रखती है, लेकिन विश्वास ही असली उत्पाद है। विचित्र रूप से, यह पुराना विचार आज भी प्रासंगिक है। एनआईएसटी एआई आरएमएफ

अंततः, जिम्मेदारी नवाचार में बाधा नहीं है। बल्कि यही वह चीज है जो नवाचार को एक महंगे, अशांत और जटिल प्रक्रिया में तब्दील होने से बचाती है, जिसमें एक परिष्कृत इंटरफ़ेस तो होता है, लेकिन आत्मविश्वास की कमी होती है 😬✨

और शायद यही इसका सबसे सरल रूप है।.

साहसपूर्वक निर्माण करें, निश्चित रूप से - लेकिन इस तरह से निर्माण करें कि लोग इससे प्रभावित हो सकें, क्योंकि वे प्रभावित होंगे। ओईसीडी एआई सिद्धांत

अक्सर पूछे जाने वाले प्रश्न

व्यवहार में जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की क्या जिम्मेदारी है?

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की ज़िम्मेदारी केवल सुविधाओं को शीघ्रता से उपलब्ध कराने तक ही सीमित नहीं है। इसमें सही उपयोग का चयन करना, परिणामों का परीक्षण करना, गोपनीयता की रक्षा करना, हानिकारक व्यवहार को कम करना और सिस्टम को उपयोगकर्ताओं के लिए समझने योग्य बनाना शामिल है। व्यवहार में, डेवलपर्स ही इस बात के लिए ज़िम्मेदार रहते हैं कि टूल को कैसे डिज़ाइन किया जाए, उसकी निगरानी कैसे की जाए, उसमें सुधार कैसे किया जाए और विफलता की स्थिति में उसे कैसे नियंत्रित किया जाए।.

जनरेटिव एआई को सामान्य सॉफ्टवेयर की तुलना में डेवलपर की अधिक जिम्मेदारी की आवश्यकता क्यों होती है?

पारंपरिक त्रुटियाँ अक्सर स्पष्ट होती हैं, लेकिन जनरेटिव एआई की विफलताएँ देखने में सुव्यवस्थित लग सकती हैं, जबकि वे गलत, पक्षपातपूर्ण या जोखिम भरी हो सकती हैं। इससे समस्याओं को पहचानना कठिन हो जाता है और उपयोगकर्ताओं के लिए गलती से भरोसा करना आसान हो जाता है। डेवलपर संभाव्यता आधारित प्रणालियों के साथ काम कर रहे हैं, इसलिए उनकी ज़िम्मेदारी में अनिश्चितता को संभालना, नुकसान को सीमित करना और लॉन्च से पहले अप्रत्याशित परिणामों के लिए तैयारी करना शामिल है।.

डेवलपर्स को कैसे पता चलता है कि जनरेटिव एआई का उपयोग कब नहीं किया जाना चाहिए?

शुरुआत में अक्सर यह पूछा जाता है कि क्या कार्य अनिश्चित है या नियमों, खोज या मानक सॉफ़्टवेयर लॉजिक द्वारा बेहतर ढंग से हल किया जा सकता है। डेवलपर्स को यह भी विचार करना चाहिए कि गलत उत्तर से कितना नुकसान हो सकता है और क्या कोई मनुष्य वास्तव में परिणामों की समीक्षा कर सकता है। ज़िम्मेदार उपयोग का अर्थ कभी-कभी जनरेटिव एआई का बिल्कुल भी उपयोग न करने का निर्णय लेना भी होता है।.

डेवलपर जनरेटिव एआई सिस्टम में भ्रम और गलत उत्तरों को कैसे कम कर सकते हैं?

सटीकता को मानकर नहीं चलना चाहिए, बल्कि इसे डिज़ाइन में ही शामिल करना चाहिए। कई प्रक्रियाओं में, इसका अर्थ है आउटपुट को विश्वसनीय स्रोतों से जोड़ना, जनरेट किए गए टेक्स्ट को सत्यापित तथ्यों से अलग करना और उच्च जोखिम वाले कार्यों के लिए समीक्षा प्रक्रियाओं का उपयोग करना। डेवलपर्स को सिस्टम को भ्रमित या गुमराह करने वाले संकेतों का भी परीक्षण करना चाहिए, खासकर कोड, सपोर्ट, वित्त, शिक्षा और स्वास्थ्य सेवा जैसे क्षेत्रों में।.

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की गोपनीयता और संवेदनशील डेटा के प्रति क्या जिम्मेदारी है?

जनरेटिव एआई का उपयोग करने वाले डेवलपर्स की ज़िम्मेदारी में मॉडल में प्रवेश करने वाले डेटा को कम से कम करना और प्रॉम्प्ट, लॉग और आउटपुट को संवेदनशील मानना ​​शामिल है। डेवलपर्स को जहां संभव हो, पहचानकर्ताओं को हटाना चाहिए, डेटा प्रतिधारण को सीमित करना चाहिए, पहुंच को नियंत्रित करना चाहिए और विक्रेता सेटिंग्स की सावधानीपूर्वक समीक्षा करनी चाहिए। उपयोगकर्ताओं को भी यह समझने में सक्षम होना चाहिए कि उनके डेटा को कैसे संभाला जाता है, न कि बाद में जोखिमों का पता लगाना चाहिए।.

जनरेटिव एआई आउटपुट में पूर्वाग्रह और निष्पक्षता को डेवलपर्स को कैसे संभालना चाहिए?

पूर्वाग्रहों का आकलन करने के लिए सक्रिय मूल्यांकन आवश्यक है, अनुमानों पर आधारित नहीं। एक व्यावहारिक तरीका यह है कि विभिन्न जनसांख्यिकी, भाषाओं और संदर्भों में प्रश्नों का परीक्षण किया जाए, फिर परिणामों की समीक्षा करके रूढ़ियों, बहिष्कार या असमान विफलता पैटर्न की पहचान की जाए। डेवलपर्स को उपयोगकर्ताओं या टीमों के लिए हानिकारक व्यवहार की रिपोर्ट करने के तरीके भी बनाने चाहिए, क्योंकि एक प्रणाली समग्र रूप से मजबूत दिखाई दे सकती है, जबकि वह कुछ समूहों के लिए लगातार विफल हो सकती है।.

जनरेटिव एआई के साथ काम करते समय डेवलपर्स को किन सुरक्षा जोखिमों के बारे में सोचना चाहिए?

जनरेटिव एआई से कई तरह के हमले हो सकते हैं, जिनमें प्रॉम्प्ट इंजेक्शन, असुरक्षित टूल का इस्तेमाल, संदर्भ के ज़रिए डेटा लीक होना और स्वचालित क्रियाओं का दुरुपयोग शामिल हैं। डेवलपर्स को अविश्वसनीय इनपुट को सुरक्षित करना चाहिए, टूल की अनुमतियों को सीमित करना चाहिए, फ़ाइल और नेटवर्क तक पहुंच को सीमित करना चाहिए और दुरुपयोग के तरीकों पर नज़र रखनी चाहिए। सुरक्षा केवल इंटरफ़ेस तक सीमित नहीं है; यह मॉडल के पूरे वर्कफ़्लो पर लागू होती है।.

जनरेटिव एआई का उपयोग करके निर्माण करते समय पारदर्शिता क्यों महत्वपूर्ण है?

उपयोगकर्ताओं को स्पष्ट रूप से पता होना चाहिए कि इसमें AI का उपयोग कब किया गया है, यह क्या कर सकता है और इसकी सीमाएँ क्या हैं। बेहतर पारदर्शिता में AI-जनित या AI-सहायता प्राप्त जैसे लेबल, सरल स्पष्टीकरण और मानवीय सहायता के स्पष्ट मार्ग शामिल हो सकते हैं। इस तरह की स्पष्टता उत्पाद को कमजोर नहीं करती; बल्कि यह उपयोगकर्ताओं को विश्वास का आकलन करने और बेहतर निर्णय लेने में मदद करती है।.

जब जनरेटिव एआई की कोई विशेषता नुकसान पहुंचाती है या कुछ गलत करती है तो इसके लिए कौन जवाबदेह होता है?

भले ही मॉडल सही उत्तर दे दे, फिर भी परिणाम की ज़िम्मेदारी डेवलपर्स और प्रोडक्ट टीमों की ही होती है। इसका मतलब है कि डिप्लॉयमेंट अप्रूवल, इंसिडेंट हैंडलिंग, रोलबैक, मॉनिटरिंग और यूज़र कम्युनिकेशन के लिए स्पष्ट ज़िम्मेदारी तय होनी चाहिए। सिर्फ़ "मॉडल ने निर्णय लिया" कहना काफ़ी नहीं है, क्योंकि जवाबदेही उन लोगों की ही रहनी चाहिए जिन्होंने सिस्टम को डिज़ाइन और लॉन्च किया है।.

लॉन्च के बाद जिम्मेदार जनरेटिव एआई विकास कैसा दिखेगा?

रिलीज़ के बाद भी निगरानी, ​​प्रतिक्रिया, समीक्षा और सुधार के माध्यम से ज़िम्मेदार विकास जारी रहता है। मज़बूत प्रणालियाँ ऑडिट करने योग्य, बाधित करने योग्य और पुनर्प्राप्त करने योग्य होती हैं, और AI के विफल होने पर वैकल्पिक विकल्पों के साथ डिज़ाइन की जाती हैं। लक्ष्य पूर्णता नहीं है; बल्कि ऐसी चीज़ का निर्माण करना है जिसकी वास्तविक दुनिया की समस्याओं के सामने आने पर सुरक्षित रूप से जाँच, सुधार और समायोजन किया जा सके।.

संदर्भ

1. राष्ट्रीय मानक एवं प्रौद्योगिकी संस्थान (एनआईएसटी) - एनआईएसटी जेनएआई प्रोफाइल - nvlpubs.nist.gov

2. OWASP - LLM आवेदनों के लिए OWASP की शीर्ष 10 सूची - owasp.org

3. सूचना आयुक्त कार्यालय (ICO) - जनरेटिव AI के लिए ICO के आठ प्रश्न - ico.org.uk

आधिकारिक एआई असिस्टेंट स्टोर पर नवीनतम एआई खोजें

हमारे बारे में