संक्षिप्त उत्तर: एआई मॉडल को तैनात करने का अर्थ है एक सर्विंग पैटर्न (रीयल-टाइम, बैच, स्ट्रीमिंग या एज) का चयन करना, फिर पूरी प्रक्रिया को प्रतिलिपि योग्य, अवलोकन योग्य, सुरक्षित और प्रतिवर्ती बनाना। जब आप हर चीज़ का वर्ज़निंग करते हैं और प्रोडक्शन जैसे पेलोड पर p95/p99 लेटेंसी का बेंचमार्क करते हैं, तो आप "मेरे लैपटॉप पर काम करता है" जैसी अधिकांश विफलताओं से बच जाते हैं।
चाबी छीनना:
तैनाती के तरीके: टूल चुनने से पहले रीयल-टाइम, बैच, स्ट्रीमिंग या एज में से किसी एक को चुनें।
पुनरुत्पादकता: मॉडल, सुविधाओं, कोड और वातावरण का संस्करण बनाएं ताकि विचलन को रोका जा सके।
अवलोकनशीलता: विलंबता के चरम बिंदुओं, त्रुटियों, संतृप्ति और डेटा या आउटपुट वितरण की निरंतर निगरानी करें।
सुरक्षित रोलआउट: स्वचालित रोलबैक थ्रेशहोल्ड के साथ कैनरी, ब्लू-ग्रीन या शैडो टेस्टिंग का उपयोग करें।
सुरक्षा और गोपनीयता: प्रमाणीकरण, दर सीमा और गोपनीयता प्रबंधन लागू करें, और लॉग में व्यक्तिगत पहचान योग्य जानकारी को कम से कम करें।
इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:
🔗 AI प्रदर्शन को कैसे मापें
विश्वसनीय एआई परिणामों के लिए मेट्रिक्स, बेंचमार्क और वास्तविक दुनिया की जांच के बारे में जानें।.
🔗 एआई की मदद से कार्यों को स्वचालित कैसे करें
प्रॉम्प्ट, टूल्स और इंटीग्रेशन का उपयोग करके दोहराव वाले काम को वर्कफ़्लो में बदलें।.
🔗 एआई मॉडल का परीक्षण कैसे करें
मॉडलों की वस्तुनिष्ठ तुलना करने के लिए मूल्यांकन, डेटासेट और स्कोरिंग का डिजाइन तैयार करें।.
🔗 AI से कैसे बात करें
बेहतर सवाल पूछें, संदर्भ स्पष्ट करें और जल्दी से स्पष्ट जवाब प्राप्त करें।.
1) “तैनाती” का असल मतलब क्या है (और यह सिर्फ एक एपीआई क्यों नहीं है) 🧩
जब लोग "मॉडल को तैनात करें" कहते हैं, तो उनका मतलब इनमें से कुछ भी हो सकता है:
-
किसी ऐप को वास्तविक समय में अनुमान लगाने के लिए एक एंडपॉइंट उपलब्ध कराएं ( वर्टेक्स एआई: किसी मॉडल को एंडपॉइंट पर तैनात करें , अमेज़ॅन सेजमेकर: वास्तविक समय में अनुमान लगाना )
-
डेटाबेस में भविष्यवाणियों को अपडेट करने के लिए प्रतिदिन रात में बैच स्कोरिंग चलाएं ( अमेज़ॅन सेजमेकर बैच ट्रांसफॉर्म )
-
स्ट्रीम इन्फरेंस (घटनाएँ लगातार आती रहती हैं, भविष्यवाणियाँ लगातार भेजी जाती रहती हैं) (क्लाउड डेटाफ्लो: एक्जेक्टली-वन्स बनाम एट-लीस्ट-वन्स, क्लाउड डेटाफ्लो स्ट्रीमिंग मोड)
-
एज डिप्लॉयमेंट (फोन, ब्राउज़र, एम्बेडेड डिवाइस, या "फैक्ट्री में वह छोटा सा बॉक्स") (LiteRT ऑन-डिवाइस इन्फरेंस, LiteRT अवलोकन)
-
आंतरिक टूल परिनियोजन (विश्लेषक-सामने वाला यूआई, नोटबुक या निर्धारित स्क्रिप्ट)
इसलिए परिनियोजन "मॉडल को सुलभ बनाना" से कम और कुछ इस तरह है:
-
पैकेजिंग + सर्विंग + स्केलिंग + मॉनिटरिंग + गवर्नेंस + रोलबैक (ब्लू-ग्रीन डिप्लॉयमेंट)
यह कुछ-कुछ रेस्टोरेंट खोलने जैसा है। बढ़िया खाना बनाना ज़रूरी है, बिल्कुल। लेकिन फिर भी आपको इमारत, कर्मचारी, रेफ्रिजरेटर, मेनू, सप्लाई चेन और डिनर के समय भीड़ को संभालने का तरीका चाहिए, ताकि आपको फ्रीजर में जाकर रोना न पड़े। यह कोई सटीक उदाहरण नहीं है... लेकिन आप समझ गए होंगे। 🍝
2) “एआई मॉडल कैसे तैनात करें” का एक अच्छा संस्करण क्या बनाता है? ✅
एक "अच्छी तैनाती" सबसे अच्छे तरीके से उबाऊ होती है। दबाव में भी यह अनुमानित रूप से व्यवहार करती है, और जब ऐसा नहीं होता है, तो आप इसका तुरंत पता लगा सकते हैं।.
आमतौर पर "अच्छा" कुछ इस तरह दिखता है:
-
पुनरुत्पादनीय बिल्ड।
समान कोड + समान निर्भरताएँ = समान व्यवहार। कोई अजीबोगरीब "मेरे लैपटॉप पर काम करता है" वाली अनुभूति नहीं। 👻 (डॉकर: कंटेनर क्या है?) -
स्पष्ट इंटरफ़ेस अनुबंध:
इनपुट, आउटपुट, स्कीमा और एज केस परिभाषित हैं। रात के 2 बजे अप्रत्याशित प्रकार की समस्या नहीं होगी। (ओपनएपीआई: ओपनएपीआई क्या है?,JSON स्कीमा) -
वास्तविक परिस्थितियों के अनुरूप प्रदर्शन।
उत्पादन-जैसे हार्डवेयर और वास्तविक पेलोड पर मापी गई विलंबता और थ्रूपुट। -
प्रभावी निगरानी: ऐसे
मेट्रिक्स, लॉग, ट्रेस और ड्रिफ्ट चेक जो कार्रवाई को ट्रिगर करते हैं (सिर्फ डैशबोर्ड नहीं जिन्हें कोई खोलता ही नहीं)। (एसआरई पुस्तक: वितरित प्रणालियों की निगरानी) -
सुरक्षित रोलआउट रणनीति:
कैनरी या ब्लू-ग्रीन, आसान रोलबैक, ऐसा वर्ज़निंग जिसके लिए प्रार्थना की आवश्यकता न हो। (कैनरी रिलीज़, ब्लू-ग्रीन डिप्लॉयमेंट) -
लागत के प्रति जागरूकता
"फास्ट" तब तक बढ़िया है जब तक बिल किसी फ़ोन नंबर 📞💸 जैसा न दिखने लगे। -
सुरक्षा और गोपनीयता अंतर्निहित हैं:
गुप्त जानकारी का प्रबंधन, पहुंच नियंत्रण, व्यक्तिगत पहचान योग्य जानकारी का प्रबंधन, लेखापरीक्षा योग्यता। (कुबेरनेट्स सीक्रेट्स, एनआईएसटी एसपी 800-122)
अगर आप ये सब लगातार कर पाते हैं, तो आप पहले से ही अधिकतर टीमों से आगे हैं। सच तो यही है।.
3) सही परिनियोजन पैटर्न चुनें (उपकरण चुनने से पहले) 🧠
रीयल-टाइम एपीआई अनुमान ⚡
सर्वोत्तम कब:
-
उपयोगकर्ताओं को तत्काल परिणाम चाहिए (सिफारिशें, धोखाधड़ी की जांच, चैट, वैयक्तिकरण)।
-
निर्णय अनुरोध के दौरान ही लिए जाने चाहिए।
सावधानियाँ:
-
p99 लेटेंसी औसत से अधिक मायने रखती है (द टेल एट स्केल, एसआरई बुक: मॉनिटरिंग डिस्ट्रीब्यूटेड सिस्टम्स)
-
ऑटोस्केलिंग के लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है (कुबेरनेट्स हॉरिजॉन्टल पॉड ऑटोस्केलिंग)
-
कोल्ड स्टार्ट्स चुपके से हो सकते हैं... जैसे कोई बिल्ली मेज से गिलास गिरा दे (AWS Lambda एक्जीक्यूशन एनवायरनमेंट लाइफसाइकिल)।
बैच स्कोरिंग 📦
सर्वोत्तम कब:
-
भविष्यवाणियों में देरी हो सकती है (रात भर के लिए जोखिम स्कोरिंग, ग्राहक छोड़ने की भविष्यवाणी, ईटीएल संवर्धन) (अमेज़ॅन सेजमेकर बैच ट्रांसफॉर्म)
-
आप लागत दक्षता और सरल संचालन चाहते हैं
सावधानियाँ:
-
डेटा की ताजगी और बैकफिल
-
प्रशिक्षण के साथ फीचर लॉजिक को सुसंगत रखना
स्ट्रीमिंग अनुमान 🌊
सर्वोत्तम कब:
-
आप घटनाओं को निरंतर संसाधित करते हैं (IoT, क्लिकस्ट्रीम, निगरानी प्रणाली)
-
आप सख्त अनुरोध-प्रतिक्रिया प्रणाली के बिना लगभग वास्तविक समय में निर्णय चाहते हैं।
सावधानियाँ:
-
एक्जेक्टली-वन्स बनाम एट-लीस्ट-वन्स सिमेंटिक्स (क्लाउड डेटाफ्लो: एक्जेक्टली-वन्स बनाम एट-लीस्ट-वन्स)
-
स्टेट मैनेजमेंट, रिट्राई, अजीब डुप्लिकेट
एज डिप्लॉयमेंट 📱
सर्वोत्तम कब:
-
नेटवर्क पर निर्भरता के बिना कम विलंबता (LiteRT ऑन-डिवाइस अनुमान)
-
गोपनीयता संबंधी प्रतिबंध
-
ऑफ़लाइन वातावरण
सावधानियाँ:
-
मॉडल का आकार, बैटरी, क्वांटाइजेशन, हार्डवेयर विखंडन (प्रशिक्षण के बाद क्वांटाइजेशन (टेन्सरफ्लो मॉडल ऑप्टिमाइजेशन))
-
अपडेट करना कठिन है (आप नहीं चाहेंगे कि बाजार में 30 संस्करण मौजूद हों...)
पहले पैटर्न चुनें, फिर स्टैक चुनें। नहीं तो आप एक वर्गाकार मॉडल को गोल रनटाइम में जबरदस्ती फिट करने की कोशिश करेंगे। या कुछ ऐसा ही होगा। 😬
4) मॉडल को इस प्रकार पैक करना ताकि उत्पादन के दौरान संपर्क में आने पर भी वह सुरक्षित रहे 📦🧯
यहीं पर अधिकांश "आसान तैनाती" चुपचाप खत्म हो जाती हैं।.
हर चीज़ का वर्शन बनाएं (हाँ, हर चीज़ का)
-
मॉडल आर्टिफैक्ट (वजन, ग्राफ, टोकनाइज़र, लेबल मैप)
-
फ़ीचर लॉजिक (रूपांतरण, सामान्यीकरण, एनकोडर)
-
अनुमान कोड (पूर्व/पश्चात प्रसंस्करण)
-
वातावरण (पायथन, CUDA, सिस्टम लाइब्रेरी)
एक सरल और कारगर तरीका:
-
मॉडल को रिलीज़ आर्टिफैक्ट की तरह मानें
-
इसे वर्शन टैग के साथ स्टोर करें
-
मॉडल कार्ड जैसी मेटाडेटा फ़ाइल की आवश्यकता है: स्कीमा, मेट्रिक्स, प्रशिक्षण डेटा स्नैपशॉट नोट्स, ज्ञात सीमाएँ (मॉडल रिपोर्टिंग के लिए मॉडल कार्ड)
बर्तन मददगार होते हैं, लेकिन उनकी पूजा न करें 🐳
कंटेनर इसलिए बढ़िया होते हैं क्योंकि:
-
निर्भरताओं को फ्रीज करें (डॉकर: कंटेनर क्या है?)
-
मानक निर्माण
-
तैनाती लक्ष्यों को सरल बनाएं
लेकिन आपको अभी भी इन चीजों का प्रबंधन करना होगा:
-
बेस इमेज अपडेट
-
जीपीयू ड्राइवर संगतता
-
सुरक्षा स्कैनिंग
-
इमेज का आकार (किसी को भी 9GB का "हेलो वर्ल्ड" पसंद नहीं आता) (डॉकर बिल्ड के सर्वोत्तम तरीके)
इंटरफ़ेस को मानकीकृत करें
अपने इनपुट/आउटपुट फॉर्मेट को पहले ही तय कर लें:
-
सरलता के लिए JSON (धीमा, लेकिन उपयोगकर्ता के अनुकूल) (JSON स्कीमा)
-
प्रदर्शन के लिए प्रोटोबफ (प्रोटोकॉल बफ़र्स का अवलोकन)
-
छवियों/ऑडियो (साथ ही मेटाडेटा) के लिए फ़ाइल-आधारित पेलोड
कृपया इनपुट की पुष्टि करें। गलत इनपुट ही "यह निरर्थक परिणाम क्यों दे रहा है" जैसी शिकायतों का मुख्य कारण हैं। (ओपनएपीआई: ओपनएपीआई क्या है?,JSON स्कीमा)
5) सेवा विकल्प - "सरल एपीआई" से लेकर पूर्ण मॉडल सर्वर तक 🧰
इसके दो सामान्य मार्ग हैं:
विकल्प A: ऐप सर्वर + अनुमान कोड (FastAPI-शैली का दृष्टिकोण) 🧪
आप एक API लिखते हैं जो मॉडल को लोड करता है और पूर्वानुमान लौटाता है। (FastAPI)
फायदे:
-
अनुकूलित करना आसान है
-
सरल मॉडलों या शुरुआती चरण के उत्पादों के लिए बेहतरीन
-
सरल प्रमाणीकरण, रूटिंग और एकीकरण
दोष:
-
आप परफॉर्मेंस ट्यूनिंग (बैचिंग, थ्रेडिंग, जीपीयू यूटिलाइजेशन) के लिए जिम्मेदार हैं।
-
आप कुछ चीजों का नए सिरे से आविष्कार करेंगे, शायद शुरुआत में यह ठीक से न हो पाए।
विकल्प बी: मॉडल सर्वर (टॉर्चसर्व / ट्राइटन-शैली का दृष्टिकोण) 🏎️
विशेष सर्वर जो निम्नलिखित कार्यों को संभालते हैं:
-
समवर्तीता (ट्राइटन: समवर्ती मॉडल निष्पादन)
-
एकाधिक मॉडल
-
जीपीयू दक्षता
-
मानकीकृत एंडपॉइंट्स (टॉर्चसर्व दस्तावेज़, ट्राइटन इन्फ़रेंस सर्वर दस्तावेज़)
फायदे:
-
बेहतर प्रदर्शन पैटर्न पहले से ही मौजूद हैं
-
सेवा और व्यावसायिक तर्क के बीच स्पष्ट अलगाव
दोष:
-
अतिरिक्त परिचालन जटिलता
-
कॉन्फ़िगरेशन करना थोड़ा पेचीदा लग सकता है, जैसे शॉवर का तापमान एडजस्ट करना।
हाइब्रिड पैटर्न बहुत आम है:
-
अनुमान के लिए मॉडल सर्वर (ट्राइटन: डायनामिक बैचिंग)
-
प्रमाणीकरण, अनुरोध आकार निर्धारण, व्यावसायिक नियमों और दर सीमा निर्धारण (एपीआई गेटवे थ्रॉटलिंग)
6) तुलनात्मक तालिका - तैनाती के लोकप्रिय तरीके (ईमानदारी से) 📊😌
नीचे उन विकल्पों का एक व्यावहारिक उदाहरण दिया गया है जिनका उपयोग लोग वास्तव में एआई मॉडल को तैनात करने का तरीका।
| उपकरण / दृष्टिकोण | श्रोता | कीमत | यह कैसे काम करता है |
|---|---|---|---|
| डॉकर + फास्टएपीआई (या इसी तरह का) | छोटी टीमें, स्टार्टअप | नि: शुल्क-ish | सरल, लचीला, तेजी से शिप करने योग्य - हालांकि आपको स्केलिंग से जुड़ी हर समस्या का "अहसास" होगा (डॉकर, फास्टएपीआई)। |
| कुबेरनेट्स (खुद से करें) | प्लेटफ़ॉर्म टीमें | अवरक्त-निर्भर | नियंत्रण + स्केलेबिलिटी… साथ ही, बहुत सारे विकल्प, जिनमें से कुछ शापित हैं (कुबेरनेट्स एचपीए)। |
| प्रबंधित एमएल प्लेटफ़ॉर्म (क्लाउड एमएल सेवा) | जो टीमें कम ऑपरेशन चाहती हैं | उपयोगानुसार भुगतान करो | अंतर्निर्मित परिनियोजन वर्कफ़्लो, निगरानी हुक - हमेशा चालू रहने वाले एंडपॉइंट्स के लिए कभी-कभी महंगे होते हैं (वर्टेक्स एआई परिनियोजन, सेजमेकर रीयल-टाइम अनुमान) |
| सर्वर रहित फ़ंक्शन (हल्के अनुमान के लिए) | इवेंट-ड्रिवन ऐप्स | प्रति उपयोग भुगतान | अचानक आने वाले ट्रैफ़िक के लिए बेहतरीन - लेकिन कोल्ड स्टार्ट और मॉडल का आकार आपके दिन को खराब कर सकते हैं 😬 (AWS Lambda कोल्ड स्टार्ट) |
| एनवीडिया ट्राइटन इन्फरेंस सर्वर | प्रदर्शन-केंद्रित टीमें | मुफ़्त सॉफ़्टवेयर, बुनियादी ढांचे की लागत | उत्कृष्ट जीपीयू उपयोग, बैचिंग, मल्टी-मॉडल - कॉन्फ़िगरेशन में धैर्य की आवश्यकता होती है (ट्राइटन: डायनेमिक बैचिंग) |
| टॉर्चसर्व | PyTorch पर अत्यधिक निर्भर टीमें | निःशुल्क सॉफ़्टवेयर | अच्छे डिफ़ॉल्ट सर्विंग पैटर्न - उच्च स्तर के लिए ट्यूनिंग की आवश्यकता हो सकती है (टॉर्चसर्व दस्तावेज़) |
| बेंटोएमएल (पैकेजिंग + सर्विंग) | एमएल इंजीनियर | मुख्य सेवाएं निःशुल्क हैं, अतिरिक्त सेवाओं की कीमत अलग-अलग है। | आसान पैकेजिंग, बढ़िया डेवलपर अनुभव - फिर भी आपको इंफ्रास्ट्रक्चर विकल्पों की आवश्यकता होगी (तैनाती के लिए बेंटोएमएल पैकेजिंग)। |
| रे सर्व | वितरित सिस्टम के लोग | अवरक्त-निर्भर | क्षैतिज रूप से स्केल करता है, पाइपलाइन के लिए अच्छा है - छोटे प्रोजेक्टों के लिए "बड़ा" लगता है (रे सर्व डॉक्स) |
ध्यान दें: "लगभग मुफ़्त" शब्द असल ज़िंदगी में इस्तेमाल किया गया है। क्योंकि कुछ भी पूरी तरह से मुफ़्त नहीं होता। कहीं न कहीं कोई न कोई बिल तो ज़रूर होता है, चाहे वो आपकी नींद ही क्यों न हो। 😴
7) प्रदर्शन और स्केलिंग - विलंबता, थ्रूपुट और सच्चाई 🏁
प्रदर्शन को बेहतर बनाना ही वह चरण है जहाँ तैनाती एक कला बन जाती है। लक्ष्य "तेज़" होना नहीं है। लक्ष्य लगातार पर्याप्त रूप से तेज़ होना।
महत्वपूर्ण मापदंड
-
p50 विलंबता: सामान्य उपयोगकर्ता अनुभव
-
p95 / p99 विलंबता: क्रोध उत्पन्न करने वाली पूंछ (स्केल पर पूंछ, एसआरई पुस्तक: वितरित प्रणालियों की निगरानी)
-
थ्रूपुट: प्रति सेकंड अनुरोध (या जनरेटिव मॉडल के लिए प्रति सेकंड टोकन)
-
त्रुटि दर: स्पष्ट है, लेकिन फिर भी कभी-कभी इसे नज़रअंदाज़ कर दिया जाता है।
-
संसाधन उपयोग: सीपीयू, जीपीयू, मेमोरी, वीआरएएम (एसआरई पुस्तक: वितरित प्रणालियों की निगरानी)
खींचने के लिए सामान्य लीवर
-
बैच में
संयोजित करें। यह थ्रूपुट के लिए बेहतरीन है, लेकिन इसका अधिक उपयोग करने पर लेटेंसी प्रभावित हो सकती है। (ट्राइटन: डायनामिक बैचिंग) -
क्वांटाइजेशन
(कम परिशुद्धता, जैसे INT8) से अनुमान लगाने की गति बढ़ सकती है और मेमोरी कम हो सकती है। इससे सटीकता में थोड़ी कमी आ सकती है। हालांकि, आश्चर्यजनक रूप से कभी-कभी ऐसा नहीं होता। (प्रशिक्षण के बाद क्वांटाइजेशन) -
ONNX एक्सपोर्ट, ग्राफ ऑप्टिमाइज़र, TensorRT-जैसे फ्लो का संकलन/ऑप्टिमाइज़ेशन । शक्तिशाली, लेकिन डिबगिंग थोड़ी मुश्किल हो सकती है 🌶️ ( ONNX , ONNX रनटाइम मॉडल ऑप्टिमाइज़ेशन )
-
जाते
हैं (या आप एम्बेडिंग को कैश कर सकते हैं), तो आप बहुत बचत कर सकते हैं। -
ऑटोस्केलिंग
सीपीयू/जीपीयू उपयोग, कतार की गहराई या अनुरोध दर के आधार पर स्केल करती है। कतार की गहराई को कम करके आंका जाता है। (कुबेरनेट्स एचपीए)
एक अजीबोगरीब लेकिन सटीक सलाह: उत्पादन के लिए उपयुक्त पेलोड आकार से मापें। छोटे परीक्षण पेलोड आपको धोखा दे सकते हैं। वे पहले तो विनम्रता से मुस्कुराते हैं, लेकिन बाद में धोखा दे देते हैं।.
8) निगरानी और अवलोकनशीलता - बिना सोचे-समझे काम न करें 👀📈
मॉडल मॉनिटरिंग का मतलब सिर्फ अपटाइम मॉनिटरिंग नहीं है। आप यह जानना चाहते हैं कि:
-
सेवा अच्छी है
-
मॉडल सही व्यवहार कर रहा है
-
डेटा में विचलन हो रहा है
-
भविष्यवाणियाँ कम भरोसेमंद होती जा रही हैं (वर्टेक्स एआई मॉडल मॉनिटरिंग का अवलोकन, अमेज़न सेजमेकर मॉडल मॉनिटर)
किन चीजों की निगरानी करनी है (न्यूनतम व्यवहार्य सेट)
सेवा स्वास्थ्य
-
अनुरोधों की संख्या, त्रुटि दर, विलंबता वितरण (एसआरई पुस्तक: वितरित प्रणालियों की निगरानी)
-
संतृप्ति (सीपीयू/जीपीयू/मेमोरी)
-
कतार की लंबाई और कतार में बिताया गया समय
मॉडल व्यवहार
-
इनपुट फ़ीचर वितरण (बुनियादी सांख्यिकी)
-
एम्बेडिंग मानदंड (एम्बेडिंग मॉडल के लिए)
-
आउटपुट वितरण (विश्वास, वर्ग मिश्रण, स्कोर रेंज)
-
इनपुट पर विसंगति का पता लगाना (गलत इनपुट, गलत आउटपुट)
डेटा विचलन और अवधारणा विचलन
-
ड्रिफ्ट अलर्ट कार्रवाई योग्य होने चाहिए (वर्टेक्स एआई: फीचर स्क्यू और ड्रिफ्ट की निगरानी करें, अमेज़ॅन सेजमेकर मॉडल मॉनिटर)
-
स्पैम अलर्ट से बचें - यह लोगों को हर चीज को नजरअंदाज करना सिखाता है।
लॉगिंग करें, लेकिन "हर चीज़ को हमेशा के लिए लॉग करने" वाला तरीका नहीं 🪵
लकड़ी का लट्ठा:
-
अनुरोध आईडी
-
मॉडल संस्करण
-
स्कीमा सत्यापन परिणाम (ओपनएपीआई: ओपनएपीआई क्या है?)
-
न्यूनतम संरचित पेलोड मेटाडेटा (कच्ची व्यक्तिगत पहचान जानकारी नहीं) (एनआईएसटी एसपी 800-122)
निजता के प्रति सावधान रहें। आप नहीं चाहेंगे कि आपके लॉग आपके डेटा लीक का कारण बनें। (एनआईएसटी एसपी 800-122)
9) CI/CD और रोलआउट रणनीतियाँ - मॉडलों को वास्तविक रिलीज़ की तरह मानें 🧱🚦
यदि आप विश्वसनीय डिप्लॉयमेंट चाहते हैं, तो एक पाइपलाइन बनाएं। भले ही वह सरल ही क्यों न हो।.
एक ठोस प्रवाह
-
प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग के लिए यूनिट परीक्षण
-
ज्ञात इनपुट-आउटपुट "गोल्डन सेट" के साथ एकीकरण परीक्षण
-
लोड टेस्ट बेसलाइन (यहां तक कि हल्के वजन वाले टेस्ट के लिए भी)
-
आर्टिफैक्ट (कंटेनर + मॉडल) बनाएं (डॉकर बिल्ड के सर्वोत्तम तरीके)
-
स्टेजिंग पर तैनात करें
-
ट्रैफ़िक के एक छोटे से हिस्से के लिए कैनरी रिलीज़ (Canary Release)
-
धीरे-धीरे वृद्धि करें
-
प्रमुख सीमा बिंदुओं पर स्वचालित रोलबैक (ब्लू-ग्रीन डिप्लॉयमेंट)
ऐसे कार्यान्वयन पैटर्न जो आपके मानसिक संतुलन को बनाए रखें
-
कैनरी: पहले 1-5% ट्रैफिक के लिए रिलीज़ करें (कैनरी रिलीज़)
-
ब्लू-ग्रीन: नए संस्करण को पुराने संस्करण के साथ चलाएं, तैयार होने पर पलट दें (ब्लू-ग्रीन डिप्लॉयमेंट)
-
शैडो टेस्टिंग: नए मॉडल पर वास्तविक ट्रैफ़िक भेजें लेकिन परिणामों का उपयोग न करें (मूल्यांकन के लिए बेहतरीन) (माइक्रोसॉफ्ट: शैडो टेस्टिंग)
और अपने एंडपॉइंट्स या रूट को मॉडल वर्जन के अनुसार वर्शन करें। भविष्य में आप खुद को धन्यवाद देंगे। वर्तमान में भी आप चुपचाप धन्यवाद देंगे।.
10) सुरक्षा, गोपनीयता और "कृपया जानकारी लीक न करें" 🔐🙃
सुरक्षाकर्मी अक्सर बिन बुलाए मेहमान की तरह देर से आते हैं। बेहतर है कि उन्हें पहले ही बुला लिया जाए।.
व्यावहारिक चेकलिस्ट
-
प्रमाणीकरण और प्राधिकरण (कौन मॉडल को कॉल कर सकता है?)
-
दर सीमा निर्धारण (दुरुपयोग और आकस्मिक तूफानों से सुरक्षा) (एपीआई गेटवे थ्रॉटलिंग)
-
गुप्त सुरक्षा प्रबंधन (कोड में कोई कुंजी नहीं, कॉन्फ़िगरेशन फ़ाइलों में भी कोई कुंजी नहीं...) (AWS सीक्रेट्स मैनेजर, कुबेरनेट्स सीक्रेट्स)
-
नेटवर्क नियंत्रण (निजी सबनेट, सेवा-से-सेवा नीतियां)
-
ऑडिट लॉग (विशेषकर संवेदनशील पूर्वानुमानों के लिए)
-
डेटा न्यूनीकरण (केवल वही संग्रहित करें जो आवश्यक हो) (एनआईएसटी एसपी 800-122)
यदि मॉडल व्यक्तिगत डेटा को छूता है:
-
पहचानकर्ताओं को संपादित करें या हैश करें
-
कच्चे पेलोड को लॉग करने से बचें (NIST SP 800-122)
-
प्रतिधारण नियमों को परिभाषित करें
-
दस्तावेज़ डेटा प्रवाह (उबाऊ, लेकिन सुरक्षात्मक)
इसके अलावा, जनरेटिव मॉडल के लिए प्रॉम्प्ट इंजेक्शन और आउटपुट दुरुपयोग भी मायने रख सकते हैं। जोड़ें: (OWASP Top 10 for LLM Applications, OWASP: Prompt Injection)
-
इनपुट सैनिटाइजेशन नियम
-
जहां उपयुक्त हो, आउटपुट फ़िल्टरिंग
-
टूल कॉलिंग या डेटाबेस कार्यों के लिए दिशानिर्देश
कोई भी प्रणाली परिपूर्ण नहीं होती, लेकिन आप उसे कम नाजुक बना सकते हैं।.
11) आम गलतियाँ (यानी आम जाल) 🪤
ये हैं कुछ क्लासिक्स:
-
प्रशिक्षण-सेवा विषमता:
प्रशिक्षण और उत्पादन के बीच पूर्व-प्रसंस्करण भिन्न होता है। अचानक सटीकता गिर जाती है और किसी को पता नहीं चलता कि ऐसा क्यों होता है। (टेन्सरफ्लो डेटा सत्यापन: प्रशिक्षण-सेवा विषमता का पता लगाना) -
स्कीमा सत्यापन नहीं।
एक अपस्ट्रीम परिवर्तन सब कुछ बिगाड़ देता है। और हमेशा स्पष्ट रूप से नहीं... (JSON स्कीमा, ओपनएपीआई: ओपनएपीआई क्या है?) -
टेल लेटेंसी को नजरअंदाज करते हुए,
p99 वह जगह है जहां उपयोगकर्ता गुस्से में होते हैं। (बड़े पैमाने पर टेल लेटेंसी) -
लागत को भूल जाना
ऐसा है जैसे अपने घर की सारी बत्तियाँ जलाकर छोड़ देना, लेकिन उन बत्तियों के बल्ब पैसों के बने हों। -
कोई वापसी योजना नहीं।
“हम बस पुनः तैनाती कर लेंगे” कोई योजना नहीं है। यह तो आशा का झूठा आवरण है। (नीली-हरी तैनाती) -
केवल अपटाइम की निगरानी करना:
मॉडल गलत होने पर भी सेवा चालू रह सकती है। यह शायद और भी बुरा है। (वर्टेक्स एआई: फीचर स्क्यू और ड्रिफ्ट की निगरानी करें, अमेज़न सेजमेकर मॉडल मॉनिटर)
अगर आप इसे पढ़ रहे हैं और सोच रहे हैं कि "हाँ, हम भी ऐसा ही करते हैं", तो आपका स्वागत है। इस क्लब में स्नैक्स और थोड़ा-बहुत तनाव भी है। 🍪
12) सारांश - बिना अपना दिमाग खराब किए एआई मॉडल कैसे तैनात करें 😄✅
तैनाती ही वह चरण है जहां एआई एक वास्तविक उत्पाद बन जाता है। यह आकर्षक नहीं है, लेकिन यहीं पर विश्वास अर्जित किया जाता है।.
संक्षिप्त सारांश
-
सबसे पहले अपना परिनियोजन पैटर्न तय करें (रीयल-टाइम, बैच, स्ट्रीमिंग, एज) 🧭 (अमेज़ॅन सेजमेकर बैच ट्रांसफ़ॉर्म, क्लाउड डेटाफ़्लो स्ट्रीमिंग मोड, लाइटआरटी ऑन-डिवाइस इन्फ़रेंस)
-
पुनरुत्पादन क्षमता के लिए पैकेज (हर चीज़ का संस्करण बनाएं, जिम्मेदारी से कंटेनरीकरण करें) 📦 (डॉकर कंटेनर)
-
प्रदर्शन संबंधी आवश्यकताओं के आधार पर सेवा रणनीति चुनें (सरल एपीआई बनाम मॉडल सर्वर) 🧰 (फास्टएपीआई, ट्राइटन: डायनामिक बैचिंग)
-
p95/p99 विलंबता को मापें, केवल औसत को नहीं 🏁 (बड़े पैमाने पर टेल)
-
सेवा की स्थिति और मॉडल के व्यवहार की निगरानी जोड़ें 👀 (SRE पुस्तक: वितरित प्रणालियों की निगरानी, वर्टेक्स एआई मॉडल निगरानी)
-
कैनरी या ब्लू-ग्रीन के साथ सुरक्षित रूप से रोल आउट करें और रोलबैक को आसान रखें 🚦 (कैनरी रिलीज़, ब्लू-ग्रीन डिप्लॉयमेंट)
-
सुरक्षा और गोपनीयता को पहले दिन से ही शामिल करें 🔐 (AWS सीक्रेट्स मैनेजर, NIST SP 800-122)
-
इसे नीरस, पूर्वानुमानित और दस्तावेजीकृत रखें - नीरसता ही सुंदरता है 😌
और हाँ, AI मॉडल को डिप्लॉय करना शुरू में जलती हुई गेंदों को उछालने जैसा लग सकता है। लेकिन एक बार जब आपका पाइपलाइन स्थिर हो जाता है, तो यह अजीब तरह से संतोषजनक हो जाता है। जैसे किसी अव्यवस्थित दराज को आखिरकार व्यवस्थित करना... बस फर्क इतना है कि दराज में प्रोडक्शन ट्रैफिक है।
वास्तविक दुनिया का उदाहरण: सपोर्ट टिकट ट्राइएज मॉडल को लागू करना
परिदृश्य
एक काल्पनिक लेकिन वास्तविक SaaS कंपनी की कल्पना कीजिए जिसमें 12 सपोर्ट एजेंट हैं और प्रति सप्ताह लगभग 900 ग्राहक टिकट आते हैं। टीम चाहती है कि एक AI मॉडल मानव एजेंट द्वारा उत्तर देने से पहले आने वाले टिकटों को श्रेणी, तात्कालिकता और सुझाए गए रूटिंग के आधार पर वर्गीकृत करे।.
यह पूरी तरह से स्वचालित सपोर्ट बॉट नहीं है। यह मॉडल ग्राहकों को जवाब नहीं भेजता है। यह केवल टिकटों को तेजी से रूट करने, जोखिम भरे मामलों को चिह्नित करने और एजेंटों को एक स्पष्ट शुरुआती बिंदु प्रदान करने में मदद करता है।.
यहां सबसे अच्छा परिनियोजन पैटर्न आमतौर पर रीयल-टाइम एपीआई अनुमान। प्रत्येक नया टिकट हेल्पडेस्क में आता है, एआई सेवा कुछ सौ मिलीसेकंड के भीतर उसका स्कोर निर्धारित करती है, और हेल्पडेस्क अनुमानित श्रेणी, प्राथमिकता, विश्वास स्कोर और मॉडल संस्करण को संग्रहीत करता है।
सहायक को क्या चाहिए
उपयोगी सुझाव:
टिकट विषय
टिकट निकाय
ग्राहक योजना प्रकार
खाता क्षेत्र
उत्पाद क्षेत्र, यदि पहले से ज्ञात हो
पिछले 30 दिनों में टिकटों की संख्या
सहायक नियम:
यदि ग्राहक संदेशों में व्यक्तिगत डेटा शामिल है तो उन्हें कभी भी लॉग न करें।
बिल संबंधी विवादों, कानूनी धमकियों, खाता हटाने के अनुरोधों और सुरक्षा संबंधी मुद्दों को मानवीय समीक्षा के लिए भेजें।
केवल तभी ऑटो-रूट करें जब कॉन्फिडेंस लेवल एक निर्धारित सीमा से ऊपर हो, जैसे कि 0.85।
प्रत्येक भविष्यवाणी के साथ मॉडल संस्करण को संग्रहीत करें
मॉडल सेवा धीमी या अनुपलब्ध होने की स्थिति में मैन्युअल ट्राइएज का सहारा लें।
उदाहरण निर्देश
आप एक सपोर्ट टिकट ट्राइएज असिस्टेंट हैं। प्रत्येक टिकट को एक श्रेणी में वर्गीकृत करें: बिलिंग, लॉगिन, बग रिपोर्ट, फ़ीचर अनुरोध, खाता रद्द करना, सुरक्षा या अन्य।.
श्रेणी, तात्कालिकता स्तर, विश्वास स्कोर, संक्षिप्त कारण और अनुशंसित सहायता कतार लौटाएँ।.
अधूरी जानकारी को मनगढ़ंत तरीके से पेश न करें। यदि शिकायत में कानूनी, सुरक्षा संबंधी, भुगतान विफलता, खाता विलोपन या ग्राहक के गुस्से से संबंधित भाषा का प्रयोग किया गया है, तो उसे मानवीय समीक्षा के लिए चिह्नित करें।.
यदि विश्वास का स्तर 0.85 से कम है, तो अनुशंसित कतार के रूप में "मैन्युअल समीक्षा" लौटाएँ।.
उदाहरण आउटपुट
कमजोर आउटपुट:
श्रेणी: बग
प्राथमिकता: उच्च
सहायता के लिए भेजें।
बेहतर आउटपुट:
श्रेणी: लॉगिन
तात्कालिकता: मध्यम
विश्वास स्तर: 0.91
अनुशंसित कतार: खाता पहुँच
कारण: पासवर्ड रीसेट करने के बाद ग्राहक अपने खाते तक पहुँच नहीं पा रहा है। किसी सुरक्षा खतरे या भुगतान संबंधी समस्या का उल्लेख नहीं है।
मानवीय समीक्षा आवश्यक: नहीं
मॉडल संस्करण: ticket-triage-v1.3
बेहतर आउटपुट का ऑडिट करना आसान होता है क्योंकि इसमें कॉन्फिडेंस स्कोर, रूटिंग निर्णय, कारण और मॉडल संस्करण शामिल होते हैं।.
इसका परीक्षण कैसे करें
मॉडल पर लाइव ट्रैफिक भेजने से पहले, वास्तविक लेकिन गुमनाम टिकटों का एक छोटा "गोल्डन सेट" बनाएं।.
एक सरल परीक्षण सेट में निम्नलिखित शामिल हो सकते हैं:
50 बिलिंग टिकट
50 लॉगिन टिकट
50 बग रिपोर्ट
30 रद्द करने के अनुरोध
20 सुरक्षा-संवेदनशील टिकट
20 भ्रामक या मिश्रित श्रेणी के टिकट
तो जाँच:
क्या मॉडल मानव समीक्षक के समान श्रेणी का चयन करता है?
क्या यह सुरक्षा, कानूनी और रद्द करने संबंधी शिकायतों को सही ढंग से आगे बढ़ाता है?
क्या आत्मविश्वास का स्तर कम होने पर यह "मैन्युअल समीक्षा" का विकल्प देता है?
क्या p95 की लेटेंसी टीम के लक्ष्य से कम रहती है?
क्या मॉडल अनुपलब्ध होने पर सेवा सुरक्षित रूप से विफल हो जाती है?
रोलआउट के लिए, पहले शैडो टेस्टिंग का उपयोग करें। नए मॉडल को वास्तविक टिकट भेजें, लेकिन अभी इसके पूर्वानुमानों का उपयोग न करें। कुछ दिनों तक इसके आउटपुट की तुलना सामान्य मानवीय विश्लेषण से करें। यदि परिणाम स्थिर हैं, तो 5% कैनरी रिलीज़, फिर 25%, और फिर 100% पर आगे बढ़ें।.
परिणाम
वर्कफ़्लो का उपयोग करने से पहले और बाद में 100 नमूना टिकटों के समय के आधार पर प्राप्त उदाहरण परिणाम:
मैन्युअल ट्राइएज का समय प्रति टिकट 6 मिनट से घटकर 1 मिनट 40 सेकंड हो गया।
टीम ने 100 टिकटों पर लगभग 7.2 घंटे की बचत की।
220 टिकटों के गोल्डन सेट में मानव समीक्षक के साथ श्रेणी समझौते का प्रतिशत 87% था।
सुरक्षा संबंधी 20 टेस्ट टिकटों में से 100% को मानवीय समीक्षा के लिए आगे बढ़ाया गया।
उत्पादन-जैसे पेलोड पर p95 की विलंबता 480 मिलीसेकंड थी।
p99 की विलंबता 910 मिलीसेकंड थी।
पुराने मॉडल का एंडपॉइंट कैनरी रिलीज़ के दौरान चालू रहने के कारण रोलबैक का समय 2 मिनट से कम था।
ये संख्याएँ सार्वभौमिक मानक नहीं हैं। ये उदाहरण के तौर पर मापे गए माप हैं जिन्हें एक टीम ट्राइएज कार्यों के समय का आकलन करके, लेबल किए गए परीक्षण सेट के विरुद्ध भविष्यवाणियों की तुलना करके और वास्तविक टिकट पेलोड के साथ एंडपॉइंट का लोड-परीक्षण करके दोहरा सकती है।.
क्या गलत हो सकता है?
सबसे बड़ा जोखिम मॉडल पर अत्यधिक भरोसा करना है। "कम अर्जेंसी" के रूप में चिह्नित टिकट में भी एक गंभीर सुरक्षा समस्या शामिल हो सकती है, खासकर यदि ग्राहक अस्पष्ट रूप से लिखता है।.
अन्य सामान्य गलतियाँ:
ऐसे पॉलिश किए गए टेस्ट टिकटों का उपयोग करना जो वास्तविक ग्राहक टिकटों से मेल नहीं खाते।
व्यक्तिगत डेटा सहित ग्राहकों के सभी संदेशों को लॉग करना
प्रत्येक भविष्यवाणी के साथ मॉडल संस्करण को संग्रहीत नहीं करना
विश्वास कम होने पर भी हर टिकट को स्वचालित रूप से रूट करना।
मैनुअल फ़ॉलबैक क्यू को भूल जाना
औसत विलंबता को मापना लेकिन p95 और p99 को अनदेखा करना
सपोर्ट टीम द्वारा कतारों में बदलाव करने के बाद भी पुरानी श्रेणियों को मॉडल में बने रहने देना।
व्यावहारिक निष्कर्ष
एक सफल एआई डिप्लॉयमेंट के लिए शुरुआत में बहुत बड़ा होना ज़रूरी नहीं है। एक सीमित वर्कफ़्लो, एक स्पष्ट इंटरफ़ेस, एक बेहतरीन टेस्ट सेट और एक सुरक्षित रोलबैक पाथ से शुरू करें। यदि मॉडल जोखिम को छिपाए बिना समय बचाता है, तो आपके पास एक ऐसा डिप्लॉयमेंट है जिसे बढ़ाया जा सकता है।.
अक्सर पूछे जाने वाले प्रश्न
उत्पादन में एआई मॉडल को तैनात करने का क्या अर्थ है?
किसी एआई मॉडल को तैनात करने में आमतौर पर केवल एक प्रेडिक्शन एपीआई उपलब्ध कराने से कहीं अधिक कार्य शामिल होते हैं। व्यवहार में, इसमें मॉडल और उसकी निर्भरताओं को पैकेज करना, एक सर्विंग पैटर्न (रीयल-टाइम, बैच, स्ट्रीमिंग या एज) का चयन करना, विश्वसनीयता के साथ स्केल करना, स्वास्थ्य और विचलन की निगरानी करना और सुरक्षित रोलआउट और रोलबैक पथ स्थापित करना शामिल है। एक सुदृढ़ तैनाती लोड के तहत अनुमानित रूप से स्थिर रहती है और कुछ गलत होने पर निदान योग्य बनी रहती है।.
रियल-टाइम, बैच, स्ट्रीमिंग या एज डिप्लॉयमेंट में से कैसे चुनें
भविष्यवाणियों की आवश्यकता कब होगी और आप किन सीमाओं के अंतर्गत काम करते हैं, इसके आधार पर परिनियोजन पैटर्न चुनें। रीयल-टाइम API उन इंटरैक्टिव अनुभवों के लिए उपयुक्त हैं जहाँ विलंबता मायने रखती है। बैच स्कोरिंग तब सबसे अच्छा काम करती है जब विलंब स्वीकार्य हो और लागत दक्षता सबसे महत्वपूर्ण हो। स्ट्रीमिंग निरंतर इवेंट प्रोसेसिंग के लिए उपयुक्त है, विशेष रूप से जब डिलीवरी संबंधी नियम जटिल हो जाते हैं। एज परिनियोजन ऑफ़लाइन संचालन, गोपनीयता या अति-विलंबता आवश्यकताओं के लिए आदर्श है, हालाँकि अपडेट और हार्डवेयर में होने वाले बदलावों को प्रबंधित करना कठिन हो जाता है।.
“मेरे लैपटॉप पर काम करता है” जैसी तैनाती विफलताओं से बचने के लिए किस प्रकार का संस्करण उपयोग करें?
मॉडल के वज़नों से कहीं अधिक का संस्करण बनाएं। आमतौर पर, आपको एक संस्करणित मॉडल आर्टिफैक्ट (टोकेनाइज़र या लेबल मैप सहित), प्रीप्रोसेसिंग और फ़ीचर लॉजिक, इन्फ़रेंस कोड, और संपूर्ण रनटाइम वातावरण (पायथन/सीयूडीए/सिस्टम लाइब्रेरी) की आवश्यकता होगी। मॉडल को टैग किए गए संस्करणों और स्कीमा अपेक्षाओं, मूल्यांकन नोट्स और ज्ञात सीमाओं का वर्णन करने वाले हल्के मेटाडेटा के साथ एक रिलीज़ आर्टिफैक्ट के रूप में मानें।.
चाहे इसे एक सरल FastAPI-शैली सेवा के साथ तैनात किया जाए या एक समर्पित मॉडल सर्वर के साथ?
एक साधारण ऐप सर्वर (फास्टएपीआई-शैली का दृष्टिकोण) शुरुआती उत्पादों या सरल मॉडलों के लिए अच्छा काम करता है क्योंकि इसमें रूटिंग, प्रमाणीकरण और एकीकरण पर आपका पूरा नियंत्रण रहता है। एक मॉडल सर्वर (टॉर्चसर्व या एनवीडिया ट्राइटन-शैली का) बेहतर बैचिंग, समवर्तीता और जीपीयू दक्षता प्रदान कर सकता है। कई टीमें एक हाइब्रिड मॉडल का उपयोग करती हैं: अनुमान के लिए एक मॉडल सर्वर और प्रमाणीकरण, अनुरोध शेपिंग और दर सीमाओं के लिए एक पतली एपीआई परत।.
सटीकता को प्रभावित किए बिना लेटेंसी और थ्रूपुट को कैसे बेहतर बनाया जाए
सबसे पहले, वास्तविक पेलोड के साथ प्रोडक्शन जैसे हार्डवेयर पर p95/p99 लेटेंसी को मापें, क्योंकि छोटे परीक्षण भ्रामक परिणाम दे सकते हैं। सामान्य उपायों में बैचिंग (बेहतर थ्रूपुट, संभावित रूप से खराब लेटेंसी), क्वांटाइजेशन (छोटा और तेज़, कभी-कभी सटीकता में मामूली समझौता), संकलन और अनुकूलन प्रवाह (ONNX/TensorRT जैसा), और बार-बार इनपुट या एम्बेडिंग को कैश करना शामिल हैं। क्यू डेप्थ के आधार पर ऑटोस्केलिंग भी टेल लेटेंसी को बढ़ने से रोक सकती है।.
“एंडपॉइंट चालू है” के अलावा और किस प्रकार की निगरानी की आवश्यकता है?
केवल अपटाइम पर्याप्त नहीं है, क्योंकि कोई सेवा देखने में तो ठीक लग सकती है, लेकिन उसकी पूर्वानुमान गुणवत्ता कमज़ोर हो सकती है। कम से कम, अनुरोधों की संख्या, त्रुटि दर और विलंबता वितरण के साथ-साथ CPU/GPU/मेमोरी और कतार समय जैसे संतृप्ति संकेतों की निगरानी करें। मॉडल के व्यवहार के लिए, बुनियादी विसंगति संकेतों के साथ-साथ इनपुट और आउटपुट वितरण पर नज़र रखें। अनावश्यक अलर्ट के बजाय कार्रवाई शुरू करने वाले ड्रिफ्ट चेक जोड़ें, और अनुरोध ID, मॉडल संस्करण और स्कीमा सत्यापन परिणामों को लॉग करें।.
नए मॉडल संस्करणों को सुरक्षित रूप से कैसे लागू करें और तेजी से रिकवर कैसे करें
मॉडल को पूर्ण रिलीज़ की तरह मानें, जिसमें प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग का परीक्षण करने वाली CI/CD पाइपलाइन हो, "गोल्डन सेट" के विरुद्ध एकीकरण जांच करे और लोड बेसलाइन स्थापित करे। रोलआउट के लिए, कैनरी रिलीज़ ट्रैफ़िक को धीरे-धीरे बढ़ाती हैं, जबकि ब्लू-ग्रीन रिलीज़ तत्काल बैकअप के लिए एक पुराना संस्करण लाइव रखती हैं। शैडो टेस्टिंग उपयोगकर्ताओं को प्रभावित किए बिना वास्तविक ट्रैफ़िक पर नए मॉडल का मूल्यांकन करने में मदद करती है। रोलबैक एक प्राथमिक तंत्र होना चाहिए, न कि बाद में सोचा जाने वाला विकल्प।.
एआई मॉडल को तैनात करना सीखते समय सबसे आम गलतियाँ
ट्रेनिंग-सर्विंग असंतुलन इसका एक प्रमुख उदाहरण है: ट्रेनिंग और प्रोडक्शन के बीच प्रीप्रोसेसिंग अलग-अलग होती है, और परफॉर्मेंस धीरे-धीरे खराब होती जाती है। एक और आम समस्या स्कीमा वैलिडेशन की कमी है, जहां अपस्ट्रीम में बदलाव इनपुट को सूक्ष्म तरीकों से प्रभावित करता है। टीमें टेल लेटेंसी को कम आंकती हैं और औसत पर अधिक ध्यान केंद्रित करती हैं, लागत को नजरअंदाज करती हैं (निष्क्रिय जीपीयू की लागत तेजी से बढ़ती है), और रोलबैक प्लानिंग छोड़ देती हैं। केवल अपटाइम की निगरानी करना विशेष रूप से जोखिम भरा है, क्योंकि "चालू लेकिन गलत" होना बंद होने से भी बदतर हो सकता है।.
संदर्भ
-
अमेज़न वेब सर्विसेज़ (AWS) - अमेज़न सेजमेकर: रीयल-टाइम इन्फ़रेंस - docs.aws.amazon.com
-
अमेज़न वेब सर्विसेज (AWS) - अमेज़न सेजमेकर बैच ट्रांसफ़ॉर्म - docs.aws.amazon.com
-
अमेज़न वेब सर्विसेज (AWS) - अमेज़न सेजमेकर मॉडल मॉनिटर - docs.aws.amazon.com
-
अमेज़न वेब सर्विसेज (AWS) - API गेटवे अनुरोध थ्रॉटलिंग - docs.aws.amazon.com
-
अमेज़न वेब सर्विसेज (AWS) - AWS सीक्रेट्स मैनेजर: परिचय - docs.aws.amazon.com
-
अमेज़न वेब सर्विसेज (AWS) - AWS लैम्डा निष्पादन वातावरण जीवनचक्र - docs.aws.amazon.com
-
गूगल क्लाउड - वर्टेक्स एआई: किसी एंडपॉइंट पर मॉडल को डिप्लॉय करना - docs.cloud.google.com
-
गूगल क्लाउड - वर्टेक्स एआई मॉडल मॉनिटरिंग का अवलोकन - docs.cloud.google.com
-
गूगल क्लाउड - वर्टेक्स एआई: फीचर स्क्यू और ड्रिफ्ट की निगरानी करें - docs.cloud.google.com
-
गूगल क्लाउड ब्लॉग - डेटाफ्लो: एक्ज़ैक्टली-वन्स बनाम एट-लीस्ट-वन्स स्ट्रीमिंग मोड - cloud.google.com
-
गूगल क्लाउड - क्लाउड डेटाफ्लो स्ट्रीमिंग मोड - docs.cloud.google.com
-
गूगल एसआरई बुक - वितरित प्रणालियों की निगरानी - sre.google
-
गूगल रिसर्च - द टेल एट स्केल - research.google
-
LiteRT (Google AI) - LiteRT सिंहावलोकन - ai.google.dev
-
LiteRT (Google AI) - LiteRT ऑन-डिवाइस अनुमान - ai.google.dev
-
डॉकर - कंटेनर क्या है? - docs.docker.com
-
डॉकर - डॉकर बिल्ड के सर्वोत्तम तरीके - docs.docker.com
-
कुबेरनेट्स - कुबेरनेट्स रहस्य - कुबेरनेट्स.आईओ
-
Kubernetes - हॉरिजॉन्टल पॉड ऑटोस्केलिंग - kubernetes.io
-
मार्टिन फाउलर - कैनरी रिलीज़ - martinfowler.com
-
मार्टिन फाउलर - ब्लू-ग्रीन डिप्लॉयमेंट - martinfowler.com
-
ओपनएपीआई पहल - ओपनएपीआई क्या है? - openapis.org
-
JSON स्कीमा - (संदर्भित साइट) - json-schema.org
-
प्रोटोकॉल बफ़र्स - प्रोटोकॉल बफ़र्स का अवलोकन - protobuf.dev
-
FastAPI - (संदर्भित साइट) - fastapi.tiangolo.com
-
एनवीडिया - ट्राइटन: डायनामिक बैचिंग और समवर्ती मॉडल निष्पादन - docs.nvidia.com
-
एनवीडिया - ट्राइटन: समवर्ती मॉडल निष्पादन - docs.nvidia.com
-
एनवीडिया - ट्राइटन इन्फरेंस सर्वर दस्तावेज़ - docs.nvidia.com
-
PyTorch - TorchServe दस्तावेज़ - docs.pytorch.org
-
BentoML - परिनियोजन के लिए पैकेजिंग - docs.bentoml.com
-
रे - रे सर्व दस्तावेज़ - docs.ray.io
-
TensorFlow - प्रशिक्षण के बाद परिमाणीकरण (TensorFlow मॉडल अनुकूलन) - tensorflow.org
-
TensorFlow - TensorFlow डेटा सत्यापन: प्रशिक्षण-सेवा विषमता का पता लगाना - tensorflow.org
-
ONNX - (संदर्भित साइट) - onnx.ai
-
ONNX रनटाइम - मॉडल अनुकूलन - onnxruntime.ai
-
एनआईएसटी (राष्ट्रीय मानक एवं प्रौद्योगिकी संस्थान) - एनआईएसटी एसपी 800-122 - csrc.nist.gov
-
arXiv - मॉडल रिपोर्टिंग के लिए मॉडल कार्ड - arxiv.org
-
माइक्रोसॉफ्ट - शैडो टेस्टिंग - microsoft.github.io
-
OWASP - LLM आवेदनों के लिए OWASP की शीर्ष 10 सूची - owasp.org
-
OWASP GenAI सुरक्षा परियोजना - OWASP: प्रॉम्प्ट इंजेक्शन - genai.owasp.org