संक्षिप्त उत्तर: एआई प्रशिक्षण के लिए एनवीडिया जीपीयू का उपयोग करने से पहले, nvidia-smi का उपयोग करके ड्राइवर और जीपीयू की उपस्थिति की पुष्टि करें , फिर एक संगत फ्रेमवर्क/सीयूडीए स्टैक स्थापित करें और एक छोटा "मॉडल + बैच ऑन सीयूडीए" परीक्षण चलाएं। यदि मेमोरी की कमी की समस्या आती है, तो बैच का आकार कम करें और मिश्रित परिशुद्धता का उपयोग करें, साथ ही उपयोग, मेमोरी और तापमान की निगरानी करते रहें।
चाबी छीनना:
बुनियादी जांच: nvidia-smi; फ्रेमवर्क स्थापित करने से पहले ड्राइवर की दृश्यता को ठीक करें।
स्टैक संगतता: क्रैश और अस्थिर इंस्टॉलेशन से बचने के लिए ड्राइवर, CUDA रनटाइम और फ्रेमवर्क संस्करणों को संरेखित रखें।
छोटी सी सफलता: प्रयोगों को बड़े पैमाने पर करने से पहले पुष्टि करें कि सिंगल फॉरवर्ड पास CUDA पर चलता है।
VRAM अनुशासन: बड़े मॉडलों को फिट करने के लिए मिश्रित परिशुद्धता, ग्रेडिएंट संचय और चेकपॉइंटिंग पर निर्भर रहें।
निगरानी की आदत: उपयोग, मेमोरी पैटर्न, बिजली और तापमान पर नज़र रखें ताकि आप बाधाओं को समय रहते पहचान सकें।
इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:
🔗 एआई एजेंट कैसे बनाएं
अपने एजेंट के वर्कफ़्लो, टूल्स, मेमोरी और सुरक्षा उपायों को डिज़ाइन करें।.
🔗 एआई मॉडल को कैसे तैनात करें
वातावरण स्थापित करें, मॉडल को पैकेज करें और विश्वसनीय रूप से उत्पादन के लिए भेजें।.
🔗 AI प्रदर्शन को कैसे मापें
मापदंड चुनें, मूल्यांकन करें और समय के साथ प्रदर्शन पर नज़र रखें।.
🔗 एआई की मदद से कार्यों को स्वचालित कैसे करें
प्रॉम्प्ट, वर्कफ़्लो और इंटीग्रेशन की मदद से दोहराव वाले कामों को स्वचालित करें।.
1) समग्र परिप्रेक्ष्य - जब आप "जीपीयू पर प्रशिक्षण" करते हैं तो आप वास्तव में क्या कर रहे होते हैं 🧠⚡
जब आप एआई मॉडल को प्रशिक्षित करते हैं, तो आप अधिकतर मैट्रिक्स गणित की जटिल प्रक्रियाओं से गुजर रहे होते हैं। जीपीयू इसी तरह के समानांतर कार्य के लिए बने होते हैं, इसलिए PyTorch, TensorFlow और JAX जैसे फ्रेमवर्क इस जटिल कार्य को जीपीयू पर स्थानांतरित कर सकते हैं। (PyTorch CUDA दस्तावेज़, TensorFlow इंस्टालेशन (pip), JAX त्वरित शुरुआत)
व्यवहार में, "प्रशिक्षण के लिए NVIDIA GPU का उपयोग करना" का आमतौर पर मतलब होता है:
-
आपके मॉडल पैरामीटर (ज्यादातर) GPU VRAM में रहते हैं।
-
आपके बैच हर चरण में रैम से वीआरएएम में स्थानांतरित हो जाते हैं।
-
आपका फॉरवर्ड पास और बैकप्रॉप CUDA कर्नेल पर चलता है (CUDA प्रोग्रामिंग गाइड)।
-
आपके ऑप्टिमाइज़र अपडेट GPU पर होते हैं (आदर्श रूप से)।
-
आप तापमान, मेमोरी और उपयोग की निगरानी करते हैं ताकि कुछ भी ज़्यादा गर्म न हो जाए 🔥 (NVIDIA nvidia-smi दस्तावेज़)
अगर यह सब आपको बहुत ज्यादा लग रहा है, तो चिंता न करें। यह मुख्य रूप से एक चेकलिस्ट है और कुछ आदतें हैं जो आप समय के साथ विकसित करते हैं।.
2) एक अच्छे NVIDIA GPU AI प्रशिक्षण सेटअप में क्या खूबियां होनी चाहिए? 🤌
यह "जली पर घर मत बनाओ" वाला सेक्शन है। NVIDIA GPU का उपयोग करके AI ट्रेनिंग के लिए वो है जो कम झंझट वाला हो। कम झंझट वाला सेटअप स्थिर होता है। स्थिर सेटअप तेज़ होता है। तेज़ का मतलब है... तेज़ 😄
एक सुदृढ़ प्रशिक्षण व्यवस्था में आमतौर पर निम्नलिखित विशेषताएं होती हैं:
-
आपके बैच आकार + मॉडल + ऑप्टिमाइज़र स्थितियों के लिए पर्याप्त VRAM
-
VRAM सूटकेस की जगह की तरह है। आप इसे बेहतर तरीके से पैक कर सकते हैं, लेकिन आप असीमित सामान नहीं पैक कर सकते।.
-
-
एक संगत सॉफ़्टवेयर स्टैक (ड्राइवर + CUDA रनटाइम + फ़्रेमवर्क संगतता) (PyTorch Get Started (CUDA चयनकर्ता), TensorFlow install (pip))
-
तेज़ स्टोरेज (बड़े डेटासेट के लिए NVMe बहुत मददगार होता है)
-
पर्याप्त सीपीयू और रैम ताकि डेटा लोडिंग के दौरान जीपीयू पर संसाधनों की कमी न हो (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)
-
कूलिंग और पावर क्षमता (जब तक ऐसा नहीं होता तब तक इसे कम आंका जाता है 😬)
-
पुनरुत्पादनीय वातावरण (venv/conda या कंटेनर) ताकि अपग्रेड अव्यवस्थित न हों (NVIDIA कंटेनर टूलकिट का अवलोकन)
और एक और बात जिसे लोग नजरअंदाज कर देते हैं:
-
निगरानी की एक आदत - आप जीपीयू मेमोरी और उसके उपयोग की जांच उसी तरह करते हैं जैसे गाड़ी चलाते समय शीशे में देखते हैं। (एनवीडिया nvidia-smi दस्तावेज़)
3) तुलनात्मक तालिका - एनवीडिया जीपीयू के साथ प्रशिक्षण के लोकप्रिय तरीके (कुछ अपवादों सहित) 📊
नीचे एक संक्षिप्त गाइड दी गई है जिससे आप आसानी से समझ सकते हैं कि कौन सा विकल्प आपके लिए उपयुक्त है। कीमतें केवल अनुमानित हैं (क्योंकि वास्तविकता भिन्न हो सकती है), और हाँ, इनमें से एक सेल जानबूझकर थोड़ा अव्यवस्थित है।.
| उपकरण / दृष्टिकोण | के लिए सर्वश्रेष्ठ | कीमत | यह (ज्यादातर) काम क्यों करता है? |
|---|---|---|---|
| PyTorch (वैनिला) PyTorch | अधिकांश लोग, अधिकांश परियोजनाएँ | मुक्त | लचीला, विशाल इकोसिस्टम, आसान डिबगिंग - और हां, हर किसी की अपनी राय होती है। |
| PyTorch लाइटनिंग लाइटनिंग डॉक्स | टीमें, संरचित प्रशिक्षण | मुक्त | अनावश्यक कोड कम करता है, लूप को साफ-सुथरा बनाता है; कभी-कभी "जादू" जैसा लगता है, जब तक कि यह काम करना बंद नहीं कर देता। |
| हगिंग फेस ट्रांसफॉर्मर्स + ट्रेनर ट्रेनर डॉक्स | एनएलपी + एलएलएम फाइन-ट्यूनिंग | मुक्त | प्रशिक्षण में बैटरी पहले से ही शामिल हैं, बेहतरीन डिफ़ॉल्ट सेटिंग्स, त्वरित सफलता 👍 |
| एक्सेलरेट एक्सेलरेट डॉक्स | बिना किसी परेशानी के मल्टी-जीपीयू | मुक्त | इससे DDP कम झंझट भरा हो जाता है, और सब कुछ दोबारा लिखे बिना स्केल अप करने के लिए अच्छा है। |
| डीपस्पीड ज़ीरो दस्तावेज़ | बड़े मॉडल, मेमोरी ट्रिक्स | मुक्त | जीरो, ऑफलोड, स्केलिंग - ये सब थोड़ा पेचीदा लग सकता है, लेकिन जब ये सही से काम करने लगे तो बहुत संतोषजनक होता है। |
| TensorFlow + Keras TF इंस्टॉल | उत्पादन-जैसी पाइपलाइनें | मुक्त | बेहतरीन टूलिंग, बढ़िया कार्यान्वयन का इतिहास; कुछ लोग इसे पसंद करते हैं, कुछ चुपचाप नापसंद करते हैं। |
| JAX + Flax JAX क्विकस्टार्ट / Flax दस्तावेज़ | अनुसंधान + गति के दीवाने | मुक्त | XLA कंपाइलेशन बेहद तेज़ हो सकता है, लेकिन डिबगिंग थोड़ी जटिल लग सकती है। |
| एनवीडिया नेमो नेमो का अवलोकन | भाषण + एलएलएम वर्कफ़्लो | मुक्त | NVIDIA द्वारा अनुकूलित स्टैक, बढ़िया रेसिपी - ऐसा लगता है जैसे किसी शानदार ओवन में खाना बना रहे हों 🍳 |
| डॉकर + एनवीडिया कंटेनर टूलकिट का संक्षिप्त विवरण | पुनरुत्पादनीय वातावरण | मुक्त | “मेरे मशीन पर काम करता है” बदलकर “हमारी मशीनों पर काम करता है” हो जाता है (ज्यादातर, फिर से) |
4) पहला चरण - पुष्टि करें कि आपका जीपीयू ठीक से दिखाई दे रहा है 🕵️♂️
एक दर्जन चीजें इंस्टॉल करने से पहले, बुनियादी बातों की जांच कर लें।.
आप चाहते हैं कि ये बातें सच हों:
-
मशीन जीपीयू को पहचान लेती है।
-
एनवीडिया ड्राइवर सही ढंग से स्थापित हो गया है।
-
जीपीयू किसी और काम में फंसा नहीं है।
-
आप इस पर विश्वसनीय रूप से क्वेरी कर सकते हैं।
क्लासिक चेक इस प्रकार है:
-
nvidia-smi(NVIDIA nvidia-smi दस्तावेज़)
आप जो खोज रहे हैं:
-
जीपीयू का नाम (उदाहरण के लिए, आरटीएक्स, ए-सीरीज़, आदि)
-
ड्राइवर संस्करण
-
स्मृति प्रयोग
-
चल रही प्रक्रियाएं (एनवीडिया nvidia-smi दस्तावेज़)
अगर nvidia-smi विफल हो जाता है, तो वहीं रुक जाएं। अभी फ्रेमवर्क इंस्टॉल न करें। यह ठीक वैसा ही है जैसे बिना प्लग लगाए ओवन में ब्रेड पकाने की कोशिश करना। (एनवीडिया सिस्टम मैनेजमेंट इंटरफेस (एनवीएसएमआई))
एक छोटी सी मानवीय टिप्पणी: कभी-कभी nvidia-smi काम करता है, लेकिन फिर भी आपका प्रशिक्षण विफल हो जाता है क्योंकि आपके फ्रेमवर्क द्वारा उपयोग किया जाने वाला CUDA रनटाइम ड्राइवर की अपेक्षाओं से मेल नहीं खाता। इसमें आपकी कोई गलती नहीं है। यह बस... ऐसी ही स्थिति है 😭 (PyTorch Get Started (CUDA selector), TensorFlow install (pip))
5) सॉफ्टवेयर स्टैक का निर्माण करें - ड्राइवर, CUDA, cuDNN, और "संगतता संबंधी सभी आवश्यक चीज़ें" 💃
लोग यहीं पर घंटों बर्बाद कर देते हैं। इसका उपाय यह है: एक रास्ता चुनें और उस पर टिके रहें।
विकल्प ए: फ्रेमवर्क-बंडल्ड CUDA (अक्सर सबसे आसान)
कई PyTorch बिल्ड अपने स्वयं के CUDA रनटाइम के साथ आते हैं, जिसका अर्थ है कि आपको पूरे सिस्टम में CUDA टूलकिट स्थापित करने की आवश्यकता नहीं है। आपको बस एक संगत NVIDIA ड्राइवर की आवश्यकता होती है। (PyTorch आरंभ करें (CUDA चयनकर्ता), PyTorch के पिछले संस्करण (CUDA व्हील्स))
फायदे:
-
कम गतिशील पुर्जे
-
आसान इंस्टॉलेशन
-
प्रत्येक वातावरण में अधिक पुनरुत्पादनीय
दोष:
-
अगर आप अलग-अलग वातावरणों को लापरवाही से मिलाते हैं, तो आप भ्रमित हो सकते हैं।
विकल्प बी: सिस्टम CUDA टूलकिट (अधिक नियंत्रण)
आप सिस्टम पर CUDA टूलकिट इंस्टॉल करते हैं और सब कुछ इसके अनुरूप सेट करते हैं। (CUDA टूलकिट दस्तावेज़)
फायदे:
-
कस्टम बिल्ड के लिए अधिक नियंत्रण, कुछ विशेष टूलिंग
-
कुछ कार्यों को संकलित करने के लिए उपयोगी।
दोष:
-
संस्करणों को बेमेल करने और चुपचाप रोने के और भी तरीके
मानव संदर्भ में, cuDNN और NCCL
-
cuDNN डीप लर्निंग प्रिमिटिव्स (कन्वोल्यूशन, RNN बिट्स, आदि) की गति बढ़ाता है (NVIDIA cuDNN दस्तावेज़)
-
NCCL एक तेज़ "GPU-से-GPU संचार" लाइब्रेरी है जिसका उपयोग मल्टी-GPU प्रशिक्षण के लिए किया जाता है (NCCL का अवलोकन)।
यदि आप मल्टी-जीपीयू ट्रेनिंग करते हैं, तो एनसीसीएल आपका सबसे अच्छा दोस्त है - और कभी-कभी आपका नखरेबाज़ रूममेट भी। (एनसीसीएल का अवलोकन)
6) आपका पहला GPU प्रशिक्षण रन (PyTorch उदाहरण की मानसिकता के साथ) ✅🔥
NVIDIA GPU का उपयोग करके AI प्रशिक्षण कैसे करें , इस प्रक्रिया का पालन करने के लिए आपको पहले किसी बड़े प्रोजेक्ट की आवश्यकता नहीं है। आपको बस एक छोटी सी सफलता की आवश्यकता है।
मुख्य विचार:
-
डिवाइस का पता लगाएं
-
मॉडल को जीपीयू में ले जाएं
-
टेंसरों को जीपीयू में स्थानांतरित करें
-
वहां फॉरवर्ड पास रन की पुष्टि करें (PyTorch CUDA डॉक्स)
जिन चीजों की मैं हमेशा पहले ही अच्छी तरह से जांच कर लेता हूँ:
-
torch.cuda.is_available()Trueलौटाता है ( torch.cuda.is_available ) -
next(model.parameters()).deviceसे पता चलता है किपर काम करता है(PyTorch फोरम: CUDA पर मॉडल की जांच करें) -
सिंगल बैच फॉरवर्ड पास में कोई त्रुटि नहीं आती।
-
ट्रेनिंग शुरू करने पर GPU मेमोरी बढ़ जाती है (यह एक अच्छा संकेत है!) (NVIDIA nvidia-smi docs)
आम तौर पर पूछे जाने वाले सवाल कि "यह धीमा क्यों है?"
-
आपका डेटालोडर बहुत धीमा है (जीपीयू निष्क्रिय अवस्था में प्रतीक्षा कर रहा है) (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)
-
आप डेटा को जीपीयू में स्थानांतरित करना भूल गए (ओह!)
-
बैच का आकार बहुत छोटा है (जीपीयू का उपयोग कम हो रहा है)
-
आप प्रशिक्षण चरण में भारी मात्रा में सीपीयू प्रीप्रोसेसिंग कर रहे हैं।
हाँ, अगर डेटा ही मुख्य बाधा है तो आपका GPU अक्सर "ज्यादा व्यस्त नहीं" दिखेगा। यह ठीक वैसा ही है जैसे किसी रेस कार ड्राइवर को काम पर रखना और फिर उसे हर लैप के बाद ईंधन के लिए इंतजार करवाना।.
7) वीआरएएम का खेल - बैच साइज, मिक्स्ड प्रेसिजन और विस्फोट से बचाव 💥🧳
अधिकांश व्यावहारिक प्रशिक्षण समस्याओं का मूल कारण मेमोरी से संबंधित होता है। यदि आप कोई एक कौशल सीखना चाहते हैं, तो VRAM प्रबंधन सीखें।.
मेमोरी के उपयोग को कम करने के त्वरित तरीके
-
मिश्रित परिशुद्धता (FP16/BF16)
-
आमतौर पर इससे गति में भी काफी वृद्धि होती है। लगभग हर तरह से फ़ायदेमंद 😌 (PyTorch AMP दस्तावेज़, TensorFlow मिक्स्ड प्रेसिजन गाइड)
-
-
ग्रेडिएंट संचय
-
कई चरणों में ग्रेडिएंट्स को संचित करके बड़े बैच आकार का अनुकरण करें (ट्रांसफॉर्मर्स प्रशिक्षण दस्तावेज़ (ग्रेडिएंट संचय, fp16))
-
-
छोटी अनुक्रम लंबाई / फसल का आकार
-
क्रूर लेकिन प्रभावी
-
-
सक्रियण चेकपॉइंटिंग
-
मेमोरी के लिए कंप्यूट का आदान-प्रदान करें (पिछली प्रक्रिया के दौरान सक्रियणों की पुनर्गणना करें) (torch.utils.checkpoint)
-
-
हल्के ऑप्टिमाइज़र का उपयोग करें
-
कुछ ऑप्टिमाइज़र अतिरिक्त स्टेट्स स्टोर करते हैं जो VRAM का उपयोग करते हैं।
-
"बंद करने के बाद भी VRAM भरी क्यों रहती है?" वाला पल
फ्रेमवर्क अक्सर मेमोरी कैश करते हैं । यह सामान्य बात है। देखने में यह डरावना लग सकता है, लेकिन हमेशा मेमोरी लीक होना जरूरी नहीं है। आप इसके पैटर्न को पहचानना सीख जाते हैं। (PyTorch CUDA सिमेंटिक्स: कैशिंग एलोकेटर)
व्यावहारिक आदत:
-
आवंटित और आरक्षित मेमोरी (फ्रेमवर्क-विशिष्ट) देखें (PyTorch CUDA सिमेंटिक्स: कैशिंग एलोकेटर)
-
पहले डरावने नंबर को देखकर घबराइएगा मत 😅
8) जीपीयू को सही तरीके से काम करने लायक बनाएं - प्रदर्शन में सुधार करना आपके समय के लायक है 🏎️
“जीपीयू ट्रेनिंग को चालू करना” पहला कदम है। इसे तेज़ गति से दूसरा कदम है।
उच्च-प्रभाव अनुकूलन
-
बैच का आकार बढ़ाएं (जब तक दर्द न हो, फिर थोड़ा कम कर दें)
-
पिंड मेमोरी का उपयोग करें (होस्ट से डिवाइस पर तेज़ कॉपी) (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड, पायटॉर्च पिन_मेमोरी/नॉन_ब्लॉकिंग ट्यूटोरियल)
-
डेटालोडर वर्कर्स की संख्या बढ़ाएँ (सावधान रहें, बहुत अधिक संख्या में वर्कर्स का उपयोग करने से नुकसान हो सकता है) (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)
-
GPU को निष्क्रिय रहने से बचाने के लिए बैचों को पहले से ही तैयार कर लें।
-
उपलब्ध होने पर फ्यूज्ड ऑप्स / ऑप्टिमाइज्ड कर्नेल का उपयोग करें
-
मिक्स्ड प्रेसिजन का उपयोग करें (फिर से, यह इतना अच्छा है) (पायटॉर्च एएमपी डॉक्स)
सबसे अनदेखी बाधा
आपका स्टोरेज और प्रीप्रोसेसिंग पाइपलाइन। यदि आपका डेटासेट विशाल है और धीमी डिस्क पर संग्रहीत है, तो आपका GPU एक महंगा स्पेस हीटर बन जाता है। एक बहुत ही उन्नत, बहुत ही चमकदार स्पेस हीटर।.
साथ ही, एक छोटी सी बात स्वीकारनी है: मैंने एक मॉडल को एक घंटे तक "ऑप्टिमाइज़" किया, लेकिन बाद में पता चला कि लॉगिंग ही समस्या की जड़ थी। बहुत ज़्यादा प्रिंट करने से ट्रेनिंग धीमी हो सकती है। जी हाँ, ऐसा हो सकता है।.
9) मल्टी-जीपीयू ट्रेनिंग - डीडीपी, एनसीसीएल और बिना किसी गड़बड़ी के स्केलिंग 🧩🤝
जब आपको अधिक गति या बड़े मॉडल चाहिए होते हैं, तो आप मल्टी-जीपीयू का विकल्प चुनते हैं। यहीं से मामला दिलचस्प हो जाता है।.
सामान्य दृष्टिकोण
-
डेटा पैरेलल (डीडीपी)
-
जीपीयू में बैचों को विभाजित करें, ग्रेडिएंट को सिंक्रनाइज़ करें
-
आमतौर पर यह डिफ़ॉल्ट "अच्छा" विकल्प होता है (PyTorch DDP दस्तावेज़)
-
-
मॉडल समानांतर / टेंसर समानांतर
-
मॉडल को जीपीयू में विभाजित करें (बहुत बड़े मॉडल के लिए)
-
-
पाइपलाइन समानांतर
-
मॉडल की परतों को चरणों में विभाजित करें (असेंबली लाइन की तरह, लेकिन टेंसर के लिए)।
-
यदि आप शुरुआत कर रहे हैं, तो DDP-शैली का प्रशिक्षण सबसे उपयुक्त है। (PyTorch DDP ट्यूटोरियल)
मल्टी-जीपीयू के लिए व्यावहारिक सुझाव
-
सुनिश्चित करें कि जीपीयू की क्षमताएं समान हों (मिश्रण से बाधा उत्पन्न हो सकती है)।
-
इंटरकनेक्ट देखें: सिंक-हैवी वर्कलोड के लिए NVLink बनाम PCIe का महत्व (NVIDIA NVLink अवलोकन, NVIDIA NVLink दस्तावेज़)
-
प्रति जीपीयू बैच आकार को संतुलित रखें
-
सीपीयू और स्टोरेज को नज़रअंदाज़ न करें - मल्टी-जीपीयू डेटा बॉटलनेक को बढ़ा सकता है।
और हाँ, NCCL त्रुटियाँ किसी रहस्य में लिपटी पहेली की तरह लग सकती हैं, जिसमें यह सवाल भी शामिल हो कि "अब क्यों?" आप शापित नहीं हैं। शायद। (NCCL अवलोकन)
10) निगरानी और प्रोफाइलिंग - वो गैर-आकर्षक काम जो आपके घंटों की बचत करता है 📈🧯
शुरुआत में आपको फैंसी डैशबोर्ड की जरूरत नहीं है। आपको बस यह समझने की जरूरत है कि कब कुछ गड़बड़ है।.
ध्यान देने योग्य प्रमुख संकेत
-
जीपीयू का उपयोग: क्या यह लगातार उच्च रहता है या इसमें उतार-चढ़ाव आते हैं?
-
मेमोरी का उपयोग: स्थिर, बढ़ रहा है, या अनियमित है?
-
बिजली की खपत: असामान्य रूप से कम होने का मतलब कम उपयोग हो सकता है
-
तापमान: लगातार उच्च तापमान प्रदर्शन को प्रभावित कर सकता है।
-
सीपीयू उपयोग: डेटा पाइपलाइन संबंधी समस्याएं यहां दिखाई देती हैं (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)
मानसिकता का विश्लेषण (सरल संस्करण)
-
यदि जीपीयू का उपयोग कम हो रहा है - तो यह डेटा या सीपीयू की बाधा का संकेत है।
-
यदि GPU उच्च प्रदर्शन करता है लेकिन धीमा है - तो यह कर्नेल की अक्षमता, परिशुद्धता या मॉडल आर्किटेक्चर की समस्या हो सकती है।
-
यदि प्रशिक्षण की गति अचानक कम हो जाती है - थर्मल थ्रॉटलिंग, बैकग्राउंड प्रोसेस, इनपुट/आउटपुट में रुकावटें
मुझे पता है, निगरानी करना नीरस लगता है। लेकिन यह दांतों को साफ करने जैसा है। पहले झंझट होता है, फिर अचानक आपकी जिंदगी बेहतर हो जाती है।.
11) समस्या निवारण - आम समस्याएं (और कुछ कम आम समस्याएं) 🧰😵💫
यह खंड मूल रूप से यही है: "वही पांच मुद्दे, हमेशा के लिए।"
समस्या: CUDA में मेमोरी की कमी
समाधान:
-
बैच का आकार कम करें
-
मिक्स्ड प्रेसिजन का उपयोग करें (PyTorch AMP दस्तावेज़, TensorFlow मिक्स्ड प्रेसिजन गाइड)
-
ग्रेडिएंट संचय (ट्रांसफॉर्मर प्रशिक्षण दस्तावेज़ (ग्रेडिएंट संचय, fp16))
-
चेकपॉइंट सक्रियण (torch.utils.checkpoint)
-
अन्य जीपीयू प्रक्रियाओं को बंद करें
समस्या: प्रशिक्षण अनजाने में सीपीयू पर चलने लगता है
समाधान:
-
सुनिश्चित करें कि मॉडल को
CUDAमें स्थानांतरित कर दिया गया है -
यह सुनिश्चित करें कि टेंसर
CUDAमें स्थानांतरित हो गए हैं -
फ्रेमवर्क डिवाइस कॉन्फ़िगरेशन की जाँच करें (PyTorch CUDA दस्तावेज़)
समस्या: असामान्य क्रैश या अवैध मेमोरी एक्सेस
समाधान:
-
ड्राइवर और रनटाइम संगतता की पुष्टि करें (PyTorch Get Started (CUDA चयनकर्ता), TensorFlow install (pip))
-
एक स्वच्छ वातावरण का प्रयास करें
-
कस्टम ऑपरेशंस को कम करें
-
पुनरुत्पादन करने के लिए लगभग निश्चित सेटिंग्स के साथ पुनः चलाएँ
समस्या: अपेक्षा से धीमी गति
समाधान:
-
डेटालोडर थ्रूपुट की जांच करें (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)
-
बैच का आकार बढ़ाएँ
-
लॉगिंग कम करें
-
मिक्स्ड प्रेसिजन को सक्षम करें (PyTorch AMP दस्तावेज़)
-
प्रोफ़ाइल चरण समय विभाजन
समस्या: मल्टी-जीपीयू हैंग हो जाता है
समाधान:
-
सही बैकएंड सेटिंग्स की पुष्टि करें (PyTorch डिस्ट्रीब्यूटेड डॉक्स)
-
एनसीसीएल पर्यावरण कॉन्फ़िगरेशन की सावधानीपूर्वक जाँच करें (एनसीसीएल अवलोकन)
-
पहले सिंगल जीपीयू का परीक्षण करें
-
सुनिश्चित करें कि नेटवर्क/इंटरकनेक्ट ठीक से काम कर रहा है।
एक छोटी सी बात और: कभी-कभी समस्या का समाधान कंप्यूटर को रीबूट करना ही होता है। यह थोड़ा अजीब लग सकता है, लेकिन इससे काम बन जाता है। कंप्यूटर ऐसे ही होते हैं।.
12) लागत और व्यावहारिकता - बिना ज्यादा सोचे-समझे सही NVIDIA GPU और सेटअप का चयन करना 💸🧠
हर प्रोजेक्ट के लिए सबसे शक्तिशाली जीपीयू की आवश्यकता नहीं होती। कभी-कभी पर्याप्त जीपीयू ही काफी होता है।
यदि आप मध्यम आकार के मॉडलों को बेहतर बना रहे हैं
-
VRAM और स्थिरता को प्राथमिकता दें
-
मिक्स्ड प्रेसिजन बहुत मददगार होता है (PyTorch AMP डॉक्स, TensorFlow मिक्स्ड प्रेसिजन गाइड)
-
अक्सर एक ही शक्तिशाली जीपीयू से काम चल जाता है।
यदि आप बड़े मॉडल को शुरू से प्रशिक्षित कर रहे हैं
-
आपको कई जीपीयू या बहुत बड़ी वीआरएएम की आवश्यकता होगी।
-
आपको NVLink और संचार गति के बारे में जानकारी चाहिए होगी (NVIDIA NVLink का अवलोकन, NCCL का अवलोकन)।
-
आप संभवतः मेमोरी ऑप्टिमाइज़र (ZeRO, ऑफलोड, आदि) का उपयोग करेंगे (DeepSpeed ZeRO दस्तावेज़, Microsoft Research: ZeRO/DeepSpeed)
यदि आप प्रयोग कर रहे हैं
-
आप तीव्र पुनरावृति चाहते हैं
-
GPU पर सारा पैसा खर्च करके स्टोरेज और RAM की कमी न होने दें।
-
एक संतुलित प्रणाली असंतुलित प्रणाली से (ज्यादातर मामलों में) बेहतर होती है।
और सच तो यह है कि आप "परफेक्ट" हार्डवेयर चुनने में हफ़्तों बर्बाद कर सकते हैं। पहले कुछ ऐसा बनाएं जो काम करे, उसकी माप लें, फिर उसमें बदलाव करें। असली समस्या फीडबैक लूप का न होना है।.
समापन टिप्पणी - बिना अपना दिमाग खराब किए NVIDIA GPU का उपयोग करके AI प्रशिक्षण कैसे करें 😌✅
अगर आप इस गाइड से कुछ और नहीं, तो सीखें:
-
सुनिश्चित करें कि
nvidia-smiठीक से काम कर रहा है (NVIDIA nvidia-smi दस्तावेज़ देखें) -
एक स्वच्छ सॉफ़्टवेयर मार्ग चुनें (फ़्रेमवर्क-बंडल्ड CUDA अक्सर सबसे आसान होता है) (PyTorch Get Started (CUDA चयनकर्ता))
-
स्केल बढ़ाने से पहले एक छोटे जीपीयू प्रशिक्षण रन को मान्य करें (torch.cuda.is_available)
-
VRAM को इस तरह प्रबंधित करें जैसे कि यह सीमित भंडारगृह हो।
-
मिक्स्ड प्रेसिजन का उपयोग शुरुआत में ही करें - यह केवल "उन्नत तकनीक" नहीं है (PyTorch AMP दस्तावेज़, TensorFlow मिक्स्ड प्रेसिजन गाइड)।
-
यदि यह धीमा है, तो जीपीयू को दोष देने से पहले डेटालोडर और आई/ओ पर संदेह करें (पायटॉर्च परफॉर्मेंस ट्यूनिंग गाइड)।
-
मल्टी-जीपीयू शक्तिशाली तो है लेकिन जटिलता भी बढ़ाता है - धीरे-धीरे विस्तार करें (पायटॉर्च डीडीपी दस्तावेज़, एनसीसीएल अवलोकन)।
-
उपयोग और तापमान की निगरानी करें ताकि समस्याओं का जल्द पता चल सके (एनवीडिया nvidia-smi दस्तावेज़)
एनवीडिया जीपीयू पर ट्रेनिंग लेना उन कौशलों में से एक है जो पहले तो मुश्किल लगता है, लेकिन फिर अचानक सब कुछ सामान्य हो जाता है। बिल्कुल ड्राइविंग सीखने की तरह। शुरू में सब कुछ शोरगुल भरा और उलझन भरा लगता है और आप स्टीयरिंग व्हील को बहुत कसकर पकड़ लेते हैं। फिर एक दिन आप आराम से गाड़ी चला रहे होते हैं, कॉफी की चुस्की ले रहे होते हैं और बैच साइज की समस्या को ऐसे सुलझा रहे होते हैं जैसे यह कोई बड़ी बात ही न हो।.
वास्तविक दुनिया का उदाहरण: एक NVIDIA GPU पर एक छोटे इमेज क्लासिफायर को प्रशिक्षित करना 🧪🖼️
परिदृश्य
कल्पना कीजिए कि एक छोटी ई-कॉमर्स टीम एक इमेज क्लासिफायर को प्रशिक्षित करना चाहती है जो उत्पाद की तस्वीरों को पांच श्रेणियों में वर्गीकृत करता है: जूते, बैग, जैकेट, घड़ियां और सहायक उपकरण।.
वे किसी विशाल मॉडल को बिल्कुल नए सिरे से प्रशिक्षित नहीं कर रहे हैं। वे एक पूर्व-प्रशिक्षित विज़न मॉडल को एक सिंगल एनवीडिया जीपीयू पर फाइन-ट्यून कर रहे हैं, ताकि टीम जल्दी से यह परीक्षण कर सके कि क्या यह विचार बड़े पैमाने पर लागू करने योग्य है।.
लक्ष्य सीधा-सादा है: जीपीयू सेटअप के काम करने को साबित करना, CUDA की गड़बड़ी से बचना और बड़े हार्डवेयर या क्लाउड रन पर पैसा खर्च करने से पहले एक दोहराने योग्य प्रशिक्षण लूप बनाना।.
सेटअप को क्या चाहिए
इस तरह के परीक्षण के लिए, आपको निम्नलिखित की आवश्यकता होगी:
एक ऐसी मशीन जिसमें एक NVIDIA GPU और बैच साइज़ के लिए पर्याप्त VRAM हो।
nvidia-smi कमांड से एक कार्यशील NVIDIA ड्राइवर की पुष्टि हो गई है।
PyTorch, TensorFlow या JAX के लिए एक स्वच्छ Python वातावरण
एक छोटा लेबलयुक्त छवि डेटासेट, जिसे आदर्श रूप से प्रशिक्षण, सत्यापन और परीक्षण फ़ोल्डरों में विभाजित किया गया हो।
तुलना के लिए एक बेसलाइन सीपीयू टाइमिंग रन
एक सरल लॉगिंग शीट जिसमें चरण समय, जीपीयू मेमोरी, जीपीयू उपयोग, तापमान और सत्यापन सटीकता शामिल है।
सही तरीके से प्रशिक्षण देने से पहले, टीम को एक छोटा CUDA स्मोक टेस्ट चलाना चाहिए: एक बैच लोड करें, मॉडल और बैच को CUDA में ले जाएं, एक फॉरवर्ड पास चलाएं, और nvidia-smi में GPU मेमोरी में वृद्धि की पुष्टि करें।.
उदाहरण निर्देश
एक व्यावहारिक परियोजना निर्देश कुछ इस प्रकार हो सकता है:
एक प्री-ट्रेन्ड ResNet-स्टाइल मॉडल का उपयोग करके एक छोटे प्रोडक्ट इमेज क्लासिफायर को ट्रेन करें। सबसे पहले यह सुनिश्चित करें कि nvidia-smi GPU को देख पा रहा है। फिर पूर्ण ट्रेनिंग से पहले एक बैच CUDA टेस्ट चलाएँ। यदि समर्थित हो तो मिक्स्ड प्रेसिजन का उपयोग करें। बैच साइज़ 32 से शुरू करें, GPU मेमोरी स्थिर रहने पर ही बढ़ाएँ, और प्रत्येक रन के बाद स्टेप टाइम, GPU मेमोरी उपयोग, GPU यूटिलाइज़ेशन, तापमान और वैलिडेशन एक्यूरेसी को लॉग करें। यदि CUDA आउट-ऑफ-मेमोरी त्रुटि आती है, तो मॉडल में बदलाव करने से पहले बैच साइज़ कम करें।.
इसका परीक्षण कैसे करें
एक उपयुक्त परीक्षण योजना इस प्रकार होगी:
-
nvidia-smi कमांड चलाएं और GPU का नाम, ड्राइवर संस्करण, निष्क्रिय मेमोरी उपयोग और तापमान रिकॉर्ड करें।.
-
डेटासेट और मॉडल कोड के सही ढंग से काम करने की पुष्टि करने के लिए एक बैच का सीपीयू परीक्षण चलाएँ।.
-
इसी एक बैच वाले परीक्षण को CUDA पर चलाएँ।.
-
बैच साइज 32 के साथ 200 स्टेप्स का अभ्यास करें।.
-
मिश्रित परिशुद्धता सक्षम करके दोहराएँ।.
-
बैच साइज 64 का उपयोग तभी करें जब पहले रन के बाद पर्याप्त VRAM हेडस्पेस उपलब्ध हो।.
-
वैलिडेशन एक्यूरेसी, औसत स्टेप टाइम, पीक वीआरएएम और जीपीयू तापमान की तुलना करें।.
अच्छा परिणाम केवल "प्रशिक्षण हो गया" नहीं होता। अच्छा परिणाम यह होता है कि "जीपीयू पर प्रशिक्षण हुआ, गति में सुधार हुआ, मेमोरी स्थिर रही, और सब कुछ पुनः स्थापित किए बिना कल भी परीक्षण दोहराया जा सकता है"।.
परिणाम
उदाहरण के तौर पर प्राप्त परिणाम, प्रशिक्षण को सीपीयू से एकल एनवीडिया जीपीयू में स्थानांतरित करने से पहले और बाद में तीन छोटे 200-चरण परीक्षणों के समय के आधार पर हैं:
केवल सीपीयू आधारित आधारभूत समय: प्रति प्रशिक्षण चरण 3.4 सेकंड
FP32 के साथ GPU: प्रति प्रशिक्षण चरण 0.42 सेकंड
मिश्रित परिशुद्धता वाला जीपीयू: प्रति प्रशिक्षण चरण 0.28 सेकंड
बैच साइज 32 के साथ अधिकतम GPU मेमोरी: 5.8 GB
बैच साइज 64 के साथ अधिकतम GPU मेमोरी: 10.9 GB
बैच आकार 96: CUDA मेमोरी की कमी के कारण विफल रहा
स्थिर संचालन के दौरान GPU का उपयोग: 76% से 91%
स्थिर परिचालन के दौरान तापमान: 67°C से 73°C
संक्षिप्त परीक्षण के बाद सत्यापन सटीकता: FP32 के साथ 82%, मिश्रित परिशुद्धता के साथ 82.4%
इस उदाहरण अनुमान में, मिश्रित परिशुद्धता ने FP32 GPU रन की तुलना में चरण समय को लगभग 33% तक कम कर दिया, जबकि सत्यापन सटीकता लगभग समान रही। टीम ने प्रत्येक प्रशिक्षण चरण के समय का आकलन करके, रन के दौरान nvidia-smi की जाँच करके और प्रत्येक परीक्षण के बाद सत्यापन सटीकता को सहेजकर इन संख्याओं की पुष्टि की।.
क्या गलत हो सकता है?
सबसे आम गलती है बहुत जल्दी स्केलिंग करना। यदि एक बैच का CUDA परीक्षण विफल हो जाता है, तो पूर्ण प्रशिक्षण चलाने से यह समस्या जादुई रूप से ठीक नहीं हो जाएगी।.
अन्य आसान जाल:
कई CUDA संस्करण स्थापित करना और यह न जानना कि फ्रेमवर्क कौन सा संस्करण उपयोग कर रहा है
मॉडल को CUDA में स्थानांतरित करना लेकिन बैचों को CPU पर ही रखना
एक बार तो सही चलने वाला लेकिन कुछ चरणों के बाद क्रैश होने वाला बैच आकार चुनना।
VRAM का उपयोग कर रही अन्य प्रक्रियाओं को अनदेखा करना
डेटालोडर के धीमे होने पर जीपीयू को दोष देना
एक ही डेटासेट, बैच आकार और मॉडल का उपयोग किए बिना CPU और GPU रन की तुलना करना
शुरुआती कुछ अनुमानों की समीक्षा किसी इंसान द्वारा भी की जानी चाहिए। अगर लेबल अस्पष्ट हैं, क्लास असंतुलित हैं, या मॉडल उत्पाद के प्रकार के बजाय पृष्ठभूमि रंग जैसे शॉर्टकट सीख रहा है, तो तेज़ प्रशिक्षण का कोई खास फायदा नहीं है।.
व्यावहारिक निष्कर्ष
एक विश्वसनीय NVIDIA GPU प्रशिक्षण प्रक्रिया छोटे स्तर से शुरू होती है: पहले ड्राइवर की कार्यक्षमता को सिद्ध करें, फिर CUDA की कार्यक्षमता को सिद्ध करें, फिर एक बैच की कार्यक्षमता को सिद्ध करें, और अंत में बैच का आकार और प्रशिक्षण अवधि धीरे-धीरे बढ़ाएँ। सबसे तेज़ सेटअप वह नहीं है जिसमें कागज़ पर सबसे प्रभावशाली GPU हो - बल्कि वह है जो आपको अनावश्यक वर्ज़न, VRAM और डेटालोडर समस्याओं पर घंटों बर्बाद किए बिना स्थिर और मापने योग्य परिणाम देता है।.
अक्सर पूछे जाने वाले प्रश्न
एनवीडिया जीपीयू पर एआई मॉडल को प्रशिक्षित करने का क्या अर्थ है?
एनवीडिया जीपीयू पर प्रशिक्षण का अर्थ है कि आपके मॉडल पैरामीटर और प्रशिक्षण बैच जीपीयू वीआरएएम में रहते हैं, और जटिल गणितीय प्रक्रियाएं (फॉरवर्ड पास, बैकप्रॉप, ऑप्टिमाइज़र चरण) CUDA कर्नेल के माध्यम से निष्पादित होती हैं। व्यवहार में, इसका मतलब अक्सर यह सुनिश्चित करना होता है कि मॉडल और टेंसर CUDA, फिर मेमोरी, उपयोग और तापमान पर नज़र रखना ताकि थ्रूपुट स्थिर बना रहे।
कुछ और इंस्टॉल करने से पहले यह कैसे सुनिश्चित करें कि NVIDIA GPU ठीक से काम कर रहा है
nvidia-smi से शुरुआत करें । इससे GPU का नाम, ड्राइवर संस्करण, वर्तमान मेमोरी उपयोग और चल रही सभी प्रक्रियाओं की जानकारी मिलनी चाहिए। यदि nvidia-smi विफल हो जाता है, तो PyTorch/TensorFlow/JAX पर काम न करें - पहले ड्राइवर की दृश्यता की समस्या को हल करें। GPU प्रशिक्षण के लिए यह एक बुनियादी जांच है, जैसे कि सिस्टम सही से काम कर रहा है या नहीं।
सिस्टम CUDA और PyTorch के साथ आने वाले CUDA में से चयन करना
एक आम तरीका फ्रेमवर्क-बंडल्ड CUDA (जैसे कई PyTorch व्हील्स) का उपयोग करना है क्योंकि इससे जटिलता कम हो जाती है - आपको मुख्य रूप से एक संगत NVIDIA ड्राइवर की आवश्यकता होती है। पूर्ण सिस्टम CUDA टूलकिट स्थापित करने से अधिक नियंत्रण मिलता है (कस्टम बिल्ड, कंपाइलिंग ऑपरेशन), लेकिन इससे संस्करण बेमेल और भ्रामक रनटाइम त्रुटियों की संभावना भी बढ़ जाती है।.
NVIDIA GPU के साथ भी ट्रेनिंग धीमी क्यों हो सकती है?
अक्सर, इनपुट पाइपलाइन के कारण GPU पर पर्याप्त संसाधन नहीं पहुँच पाते। डेटालोडर में देरी, प्रशिक्षण चरण के दौरान CPU द्वारा भारी प्रीप्रोसेसिंग, छोटे बैच आकार या धीमी स्टोरेज क्षमता, ये सभी एक शक्तिशाली GPU को निष्क्रिय हीटर की तरह व्यवहार करने पर मजबूर कर सकते हैं। मॉडल को दोष देने से पहले, डेटालोडर वर्कर्स की संख्या बढ़ाना, पिंड मेमोरी को सक्षम करना, प्रीफ़ेचिंग जोड़ना और लॉगिंग को कम करना आम तौर पर उठाए जाने वाले पहले कदम होते हैं।.
NVIDIA GPU ट्रेनिंग के दौरान “CUDA आउट ऑफ मेमोरी” त्रुटियों को कैसे रोकें
अधिकांश समस्याओं का समाधान VRAM से संबंधित है: बैच का आकार कम करें, मिक्स्ड प्रेसिजन (FP16/BF16) को सक्षम करें, ग्रेडिएंट एक्यूमुलेशन का उपयोग करें, सीक्वेंस की लंबाई/क्रॉप का आकार छोटा करें, या एक्टिवेशन चेकपॉइंटिंग का उपयोग करें। साथ ही, मेमोरी का उपयोग करने वाली अन्य GPU प्रक्रियाओं की भी जाँच करें। कुछ परीक्षण और त्रुटि होना सामान्य बात है - व्यावहारिक GPU प्रशिक्षण में VRAM बजटिंग एक महत्वपूर्ण आदत बन जाती है।.
ट्रेनिंग स्क्रिप्ट समाप्त होने के बाद भी VRAM भरा हुआ क्यों दिख सकता है?
स्पीड बढ़ाने के लिए फ्रेमवर्क अक्सर GPU मेमोरी को कैश करते हैं, इसलिए एलोकेटेड मेमोरी कम होने पर भी रिज़र्व्ड मेमोरी का स्तर ऊंचा रह सकता है। यह मेमोरी लीक जैसा लग सकता है, लेकिन अक्सर यह कैशिंग एलोकेटर के डिज़ाइन के अनुसार काम करने का नतीजा होता है। व्यावहारिक तरीका यह है कि किसी एक चिंताजनक स्थिति पर ध्यान केंद्रित करने के बजाय समय के साथ इस पैटर्न को ट्रैक किया जाए और "एलोकेटेड बनाम रिज़र्व्ड" की तुलना की जाए।.
यह कैसे सुनिश्चित करें कि कोई मॉडल चुपचाप सीपीयू पर प्रशिक्षण नहीं ले रहा है?
शुरुआत में ही जांच लें: torch.cuda.is_available() True रिटर्न करता है या नहीं , इसकी पुष्टि करें, next(model.parameters()).device में cuda दिख रहा है या नहीं, इसकी जांच करें और बिना किसी त्रुटि के एक फॉरवर्ड पास चलाएं। यदि परफॉर्मेंस बहुत धीमी लग रही है, तो यह भी सुनिश्चित करें कि आपके बैच GPU पर ट्रांसफर हो रहे हैं। मॉडल को ट्रांसफर करते समय गलती से डेटा छूट जाना आम बात है।
मल्टी-जीपीयू प्रशिक्षण में प्रवेश करने का सबसे सरल मार्ग
डेटा पैरेलल (डीडीपी-शैली प्रशिक्षण) अक्सर सबसे अच्छा पहला कदम होता है: जीपीयू में बैचों को विभाजित करें और ग्रेडिएंट्स को सिंक्रनाइज़ करें। एक्सेलरेट जैसे टूल पूर्ण पुनर्लेखन के बिना मल्टी-जीपीयू को कम जटिल बना सकते हैं। अतिरिक्त चर - एनसीसीएल संचार, इंटरकनेक्ट अंतर (एनवीलिंक बनाम पीसीआईई), और बढ़े हुए डेटा बॉटलनेक - की अपेक्षा करें, इसलिए एक ठोस सिंगल-जीपीयू रन के बाद धीरे-धीरे स्केल करना बेहतर होता है।.
एनवीडिया जीपीयू ट्रेनिंग के दौरान किन बातों पर नज़र रखनी चाहिए ताकि समस्याओं को समय रहते पकड़ा जा सके
GPU उपयोग, मेमोरी उपयोग (स्थिर बनाम बढ़ता हुआ), बिजली की खपत और तापमान पर नज़र रखें - थ्रॉटलिंग से गति धीरे-धीरे कम हो सकती है। CPU उपयोग पर भी नज़र रखें, क्योंकि डेटा पाइपलाइन की समस्याएँ अक्सर सबसे पहले यहीं दिखाई देती हैं। यदि उपयोग में उतार-चढ़ाव हो रहा है या यह कम है, तो I/O या डेटालोडर में समस्या की आशंका करें; यदि उपयोग अधिक है लेकिन स्टेप टाइम अभी भी धीमा है, तो कर्नेल, प्रेसिजन मोड और स्टेप-टाइम ब्रेकडाउन की प्रोफाइलिंग करें।.
संदर्भ
-
एनवीडिया - एनवीडिया nvidia-smi दस्तावेज़ - docs.nvidia.com
-
एनवीडिया - एनवीडिया सिस्टम मैनेजमेंट इंटरफेस (एनवीएसएमआई) - developer.nvidia.com
-
एनवीडिया - एनवीडिया एनवीलिंक का अवलोकन - nvidia.com
-
PyTorch - PyTorch का उपयोग शुरू करें (CUDA चयनकर्ता) - pytorch.org
-
PyTorch - PyTorch CUDA दस्तावेज़ - docs.pytorch.org
-
TensorFlow - TensorFlow इंस्टॉल करना (pip) - tensorflow.org
-
JAX - JAX क्विकस्टार्ट - docs.jax.dev
-
हगिंग फेस - ट्रेनर डॉक्स - huggingface.co
-
लाइटनिंग एआई - लाइटनिंग डॉक्स - lightning.ai
-
DeepSpeed - ZeRO दस्तावेज़ - deepspeed.readthedocs.io
-
माइक्रोसॉफ्ट रिसर्च - माइक्रोसॉफ्ट रिसर्च: ZeRO/DeepSpeed - microsoft.com
-
PyTorch फ़ोरम - PyTorch फ़ोरम: CUDA पर मॉडल की जाँच करें - discuss.pytorch.org