संक्षिप्त उत्तर: एक एआई डेटा सेंटर एक उच्च-घनत्व वाला स्थान होता है जहाँ बिजली, शीतलन, फैब्रिक और स्टोरेज को मॉडल को प्रशिक्षित करने और सेवा प्रदान करने के लिए व्यवस्थित किया जाता है, न कि अतिरिक्त जीपीयू वाला एक सर्वर रूम। चिप्स को प्रसिद्धि मिलती है; इमारत तय करती है कि वे काम करेंगे या नहीं। यदि इमेज को बाहर नहीं ले जाया जा सकता है, तो एक छोटा सेल तैयार करें; अधिकांश टीमों को किराए पर लेना चाहिए।
चाबी छीनना:
चिप्स बनाम भवन: बिजली, शीतलन, सामग्री और भंडारण यह तय करते हैं कि त्वरक काम करते हैं या नहीं।
महल नहीं, स्थान: जब डेटा को बाहर ले जाना संभव न हो तो दो रैक को रेट्रोफिट करें; कैंपस न खरीदें।
माध्य बनाम माध्यिका: आठ परीक्षणों में, माध्यिका ने पुनः आरंभ की संख्या को छिपा दिया; 18 घंटे के माध्य का उपयोग करें।
दुरुपयोग प्रतिरोध: मिश्रित हॉल में दो रैक के लिए पीयूई का उल्लेख न करें।
उदाहरण के तौर पर परिणाम: आठ रन एक छोटा नक्शा है, न कि उत्पादन में 50% की बचत।

इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:
🔗 क्या एआई विश्वसनीय है? वीडियो और प्रश्नोत्तरी:
एक आकर्षक वीडियो और इंटरैक्टिव प्रश्नोत्तरी के माध्यम से एआई की विश्वसनीयता का अन्वेषण करें।
🔗 दैनिक जीवन में एआई का उपयोग कैसे करें?
जानें कि एआई रोजमर्रा के कार्यों और दिनचर्या को कैसे सरल बना सकता है।
🔗 कार्यस्थल पर एआई का उपयोग कैसे करें?
कार्यस्थल पर उत्पादकता बढ़ाने के लिए एआई का उपयोग करने के व्यावहारिक तरीके जानें।
🔗 बुद्धिमत्ता स्वयं सोच सकती है?
यह समझें कि क्या कृत्रिम बुद्धिमत्ता वास्तव में स्वतंत्र रूप से सोच या तर्क कर सकती है।
यह एक "सामान्य" डेटा सेंटर से किस प्रकार भिन्न है?
परंपरागत हॉल कई छोटी-छोटी सेवाओं में मिश्रित कार्यभार और अपटाइम के लिए अनुकूलित होते हैं। आप रिडंडेंसी के बारे में तो निश्चित रूप से चिंतित रहते हैं, और PUE ( कंप्यूट के एक वाट को डिलीवर करने के लिए भवन द्वारा खर्च की जाने वाली अतिरिक्त ऊर्जा) की। आप आमतौर पर हर कॉरिडोर को ऐसे रैक के चारों ओर डिज़ाइन नहीं करते जो पोर्टेबल हीटर फ़ार्म की तरह व्यवहार करता हो।
एआई साइटें अनुपात को उलट देती हैं। घनत्व बढ़ जाता है। नेटवर्क एक ऐसा ताना-बाना बन जाता है जिसके बिना प्रशिक्षण कार्य अधूरा रह जाता है। भंडारण को चेकपॉइंट्स को चालू रखना होता है, अन्यथा एक्सीलरेटर निष्क्रिय पड़े रहते हैं, जैसे ट्रैफिक जाम में फंसे घोड़े।.
एक सांस्कृतिक अंतर भी है। एंटरप्राइज़ ऑपरेशंस टिकट और बदलाव विंडो के बारे में सोचते हैं। एआई ऑपरेशंस जॉब क्यू और लंबे समय में किसी नोड के बंद हो जाने पर होने वाली परेशानी के बारे में सोचते हैं। मेरा मानना है कि आप दोनों को "डेटा सेंटर" कह सकते हैं क्योंकि वे हैं ही। यह नाम बस उनकी बुनियादी कार्यप्रणाली को छुपाता है।.
| प्रकार | यह किस लिए बनाया गया है | उत्कृष्ट हार्डवेयर | शक्ति/शीतलन विशेषता | यह किसके लिए उपयुक्त है? | यह क्यों मौजूद है |
|---|---|---|---|---|---|
| पारंपरिक उद्यम डेटा केंद्र | मिश्रित आईटी: डेटाबेस, वर्चुअल मशीन, ईमेल, फाइलें | सीपीयू, सामान्य सर्वर, परिचित स्टोरेज | वायु-आधारित; मध्यम घनत्व; पीयूई एक चर्चा का विषय | रोजमर्रा की प्रणालियों को चलाने वाली कंपनियां | व्यावसायिक ऐप्स को अपडेट रखें |
| एआई प्रशिक्षण क्लस्टर | लंबी, आपस में घनिष्ठ रूप से जुड़ी प्रशिक्षण नौकरियां | सघन एक्सेलेरेटर रैक; जीपीयू इंटरकनेक्ट | उच्च घनत्व; तरल शीतलन या [रियर-डोर हीट एक्सचेंजर](https://datacenters.lbl.gov/sites/default/files/rdhx-doe-femp.pdf) | नौकरी की कतारों में फंसे प्रयोगशालाकर्मी और मॉडल निर्माता | चिप्स को भूखा रखे बिना दौड़ पूरी करें |
| एआई अनुमान सुविधा | मॉडल सेवा; वास्तविक समय और बैच उत्तर | एक्सीलरेटर; महत्वपूर्ण लोड बैलेंसर | अभी भी ज़बरदस्त, बस... थोड़ा कम नाटकीय; तीव्र घनत्व की बजाय विलंबता | ऐसे उत्पाद जिन्हें अब जवाब देना होगा | मॉडल को उपयोगकर्ता के पास रखें |
| हाइब्रिड एआई हॉल | एक ही छत के नीचे प्रशिक्षण और सेवा; खैर - कुछ हद तक। | मिश्रित रैक; बाड़ वाले पूल; साझा कपड़ा | एक ही प्लांट रूम में दो शांत स्वभाव के लोग; यह थोड़ा अजीब हो जाता है। | वे टीमें जो दो कैंपस का खर्च वहन नहीं कर सकतीं | पूंजी सीमित है; जीवन अव्यवस्थित है। |
यह कोई नैतिक क्रम नहीं है। अलग-अलग मशीनें, लेकिन परिवार का नाम एक ही है।.
जीपीयू, एक्सेलेरेटर और बिजली की खपत करने वाला रैक
पारंपरिक ऊंचे फर्श पर चलें तो रैक लगभग शालीन लगते हैं। कृत्रिम बुद्धिमत्ता से बनी कतार में चलें तो ऐसा लगता है मानो वे इमारत को निगल जाना चाहते हों।.
सबसे खास हार्डवेयर कोई स्मार्ट सीपीयू नहीं है। बल्कि यह एक्सेलेरेटर ट्रे है: जीपीयू या अन्य एआई चिप्स, जिन्हें सर्वरों में, फिर रैक में, और फिर पंक्तियों में पैक किया जाता है, जो एक हाई-बैंडविड्थ फैब्रिक साझा करते हैं। जीपीयू इंटरकनेक्ट चिप्स को इस तरह जोड़ते हैं कि वे एक विशाल एक्सेलेरेटर की तरह काम कर सकें; क्लस्टर फैब्रिक भी पंक्ति स्तर पर यही काम करता है। पैरेलल ट्रेनिंग तभी काम करती है जब ये लिंक मजबूत और पूर्वानुमानित बने रहें। अगर ये लिंक खत्म हो जाते हैं, तो आपका "क्लस्टर" महंगे वर्कस्टेशनों का एक ढेर बन जाता है जो एक ही पोस्टकोड साझा करते हैं।
चिप्स के हिसाब से बिजली की खपत होती है। यह कोई भारी-भरकम ऑफिस पीडीयू नहीं है। एक हॉल भर जाने पर आईटी लोड मेगावाट में होता है - मैं कोई मनगढ़ंत संख्या नहीं बता रहा। प्रति रैक घनत्व ही असली पेचीदगी है। कम रैक। हर एक छोटा भट्टी जैसा। सीमित करने वाला कारक अक्सर सबस्टेशन होता है, न कि जीपीयू की मांग। आप जानते ही हैं कि क्या होता है: खरीद विभाग को अधिक एक्सेलरेटर चाहिए; बिजली कंपनी लंबी बातचीत और एक बड़ा चेक चाहती है।.
एक थोड़ा अटपटा उपमा जो मेरे दिमाग से नहीं निकल पा रहा: रैक एक भूखा जानवर है। आप उससे तेज़ दौड़ने वाला रैक पैदा कर सकते हैं। लेकिन फिर भी आपको उसे खिलाना पड़ेगा और उसके मल-मूत्र की सफाई भी करनी पड़ेगी। अगर आप इनमें से कोई भी काम छोड़ दें तो वह एक बहुत महंगा पेपरवेट बनकर रह जाएगा।.
बिजली, गर्मी और शीतलन की समस्या
बिजली अंदर, गर्मी बाहर। यही इस धर्म का मूलमंत्र है।.
उच्च घनत्व वाले रैक गर्मी को इस तरह से बाहर निकालते हैं जैसा हवा को संभालने की कभी जरूरत नहीं पड़ी। आप हवा को और अधिक दबाव से धकेल सकते हैं - पीछे के दरवाजे के हीट एक्सचेंजर, गर्म गलियारे, चतुर नियंत्रण - और यह एक हद तक काम करता है। फिर तरल पदार्थ सामने आता है:
-
शीतलक लूप जो प्लांट रूम को किसी रासायनिक कारखाने जैसा बना देते हैं।
-
कुछ डिज़ाइनों में डूब जाना, जो उन लोगों को भी चौंका देता है जो सोचते हैं कि पानी और सर्वर एक साथ नहीं होने चाहिए।
इसमें कुछ भी आकर्षक नहीं है। यह सब उत्पाद का ही हिस्सा है, क्योंकि एक ऐसा एक्सीलरेटर जो गति को कम करता है, वह एक ऐसी चीज है जिसके लिए आप पहले ही भुगतान कर चुके हैं और जिसका आप पूरी तरह से उपयोग नहीं कर सकते।.
PUE अभी भी मायने रखता है। यह एक अनुपात है, कोई व्यक्तिगत विशेषता नहीं। ऑपरेटर इसके पीछे भागते हैं क्योंकि पंखों और पंपों पर खर्च किया गया प्रत्येक वाट GPU को नहीं मिलता। मैं कोई "सामान्य" आंकड़ा नहीं दूंगा; जलवायु और सीमा निर्धारण के तरीके से इसमें बदलाव होता रहता है, और गलत सटीकता भी बेकार होती है। पानी भी इसमें महत्वपूर्ण भूमिका निभाता है। कुछ पौधे धीरे-धीरे पानी लेते हैं, कुछ तेज़ी से। वाष्पीकरण द्वारा शीतलन तब तक कारगर रहता है जब तक नदी या सूखा इसे राजनीतिक मुद्दा न बना दे।
नेटवर्किंग: हार्डवेयर उतना ही महत्वपूर्ण क्यों है जितना कि चिप्स।
लोग जीपीयू की तस्वीरें लेते हैं। उन्हें स्विच की तस्वीरें लेनी चाहिए।.
प्रशिक्षण एक संवाद है। हजारों एक्सेलरेटर ग्रेडिएंट, पैरामीटर और मॉडल के टुकड़ों का आदान-प्रदान करते हैं, वह भी पूरी तरह से सिंक्रनाइज़्ड तरीके से। अगर नेटवर्क में कोई हलचल होती है, तो पूरा काम सबसे धीमे नेटवर्क पर रुक जाता है। यही कारण है कि AI विशेषज्ञ उच्च-बैंडविड्थ नेटवर्किंग, कम विलंबता और ऐसी संरचनाओं पर विशेष ध्यान देते हैं जो लिंक विफल होने पर बीच में ही रुक न जाएं। इन्फिनिबैंड जैसी संरचनाएं, उसी भूमिका में ईथरनेट, बॉक्स के अंदर GPU इंटरकनेक्ट, और केबलिंग जो पहली बार में ही सही होनी चाहिए।
अनुमान लगाना एक अलग विषय है। मॉडल सर्विंग में टेल लेटेंसी का ध्यान रखा जाता है - यानी धीमे उत्तर का, औसत उत्तर का नहीं। बैच बनाम रियल-टाइम में अंतर स्पष्ट हो जाता है। एक ट्रेनिंग क्लस्टर को व्यापक, सामूहिक और लगभग एक समान गतिविधि। वहीं, एक सर्विंग फ्लीट को कई छोटे अनुरोध और अलगाव चाहिए होता है, ताकि लोड बैलेंसर पर ट्रैफिक जाम न हो।
यहां मेरी एक बड़ी चूक यह है: लोग नेटवर्क को पाइपलाइन और चिप्स को रेस्टोरेंट की तरह समझते हैं। इस इमारत में पाइपलाइन ही रेस्टोरेंट है। अगर आप इस बात को नहीं समझते, तो आपको ऐसी रसोई खरीदनी पड़ेगी जो डिलीवरी नहीं ले सकती।.
प्रशिक्षण बनाम अनुमान: दो इमारतें, कभी-कभी सचमुच
प्रशिक्षण एक अभियान की तरह है। आप एक क्लस्टर बनाते हैं, उसमें डेटा डालते हैं, नियमित रूप से चेकपॉइंट्स की जाँच करते हैं, घंटों या हफ्तों तक उसे चलाते हैं, और उम्मीद करते हैं कि सब कुछ सुचारू रूप से चलता रहे। यह बैच-आधारित, बैंडविड्थ-खपत करने वाला और धैर्यपूर्वक चलने वाला काम है - जब तक कि कोई एक नोड विफल न हो जाए और पूरा काम रुक न जाए। आपस में जुड़े हुए कार्यों में एक भी एक्सेलेरेटर के खराब होने से पूरा काम ठप हो सकता है।.
इन्फ़रेंस एक दुकान की तरह है। पहले से प्रशिक्षित मॉडल अब सवालों के जवाब दे रहे हैं, छवियों का वर्गीकरण कर रहे हैं और टेक्स्ट जनरेट कर रहे हैं। लेटेंसी मायने रखती है। ग्राहक के पास स्थित थोड़ा पुराना एक्सेलरेटर भी महाद्वीप दूर स्थित आधुनिक एक्सेलरेटर से बेहतर प्रदर्शन कर सकता है।.
तो आपको एक विभाजन देखने को मिलता है। प्रशिक्षण परिसर शक्ति, भूमि और घनत्व के पीछे भागते हैं। अनुसंधान केंद्र विलंबता और उपस्थिति के पीछे भागते हैं। हाइब्रिड हॉल भी मौजूद हैं, क्योंकि पूंजी असीमित नहीं है। खैर - हमेशा दो इमारतें नहीं। कभी-कभी एक हॉल जिसमें मखमली रस्सी और दो शीतलन लूप लगे होते हैं।.
यहीं पर कोलोकेशन, हाइपरस्केल कैंपस और ऑन-प्रीम का विभाजन होता है। हाइपरस्केल कंपनियां इतने बड़े पैमाने पर निर्माण करती हैं कि हम बाकी लोगों के सामने फर्नीचर सजाने जैसा लगता है। कोलोकेशन कंपनियां रैक के हिसाब से घनत्व बेचती हैं। ऑन-प्रीम का उपयोग तब किया जाता है जब डेटा को बाहर ले जाना संभव नहीं होता।.
स्टोरेज थ्रूपुट, चेकपॉइंट और हंग्री चिप्स
कोई भी ब्रोशर के कवर पर पैरेलल फाइल सिस्टम की जानकारी नहीं देता।.
ट्रेनिंग डेटा इतनी तेज़ी से आना चाहिए कि जीपीयू निष्क्रिय न रहें। चेकपॉइंट्स समय पर पहुंचने चाहिए ताकि क्रैश होने से पूरा हफ़्ता बर्बाद न हो जाए। मॉडल वेट्स को लोड होना ज़रूरी है, तभी सर्विंग रेप्लिका लाइव हो पाएगी। स्टोरेज थ्रूपुट - सिर्फ़ क्षमता ही नहीं - एक अहम बाधा है। आप एक्सेलरेटर पर बहुत पैसा खर्च कर सकते हैं, लेकिन फिर भी उन्हें वर्चुअल मशीनों के लिए डिज़ाइन किए गए साधारण एरे से भर सकते हैं।.
यह पैटर्न जाना-पहचाना है: एक चमकदार क्लस्टर, एक जॉब क्यू, और आई/ओ वेट जो एक अप्रिय बिल की तरह सामने खड़ा है। डेटा पाथ को क्लस्टर किए बिना कंप्यूट को क्लस्टर करना एक बहुत ही महंगा निष्क्रिय समय पैदा करता है। चिप्स को चालू रखें या स्वीकार करें कि आपने एक मूर्ति खरीद ली है।.
सॉफ्टवेयर, ऑर्केस्ट्रेशन और गैर-आकर्षक ऑप्स लेयर
हार्डवेयर ही मुख्य आकर्षण है। शेड्यूलर ही सारा काम करते हैं।.
अगर जॉब्स को जीपीयू न मिलें, अगर दो टीमें आपस में झगड़ा किए बिना क्लस्टर साझा न कर सकें, अगर असफल रैंक को बदला न जा सके, अगर फर्मवेयर धीरे-धीरे खराब होकर फैब्रिक को पूरी तरह से विफल कर दे, तो एआई डेटा सेंटर बेकार है। ऑर्केस्ट्रेशन, ऑब्जर्वेबिलिटी, पावर कैपिंग - ये वो गैर-आकर्षक ऑपरेशनल लेयर है, जिससे पता चलता है कि यह महत्वपूर्ण है।.
मुझे इस परत से खास लगाव है। और जहां एक गलत तरीके से कॉन्फ़िगर किया गया NIC पूरे दोपहर कूलिंग की समस्या का रूप धारण कर लेता है... तब आपको इसका पता मुश्किल से ही चलता है।.
जब कोई नोड बीच में ही बंद हो जाता है
एक नोड खराब हो जाता है। बदलाव की विंडो अभी भी ट्रेनिंग रन से टकराती हैं, जिन्हें आपके कैलेंडर की परवाह नहीं होती। आप बड़े कामों को एक साथ शेड्यूल करते हैं, अनुमान पूल को अलग करते हैं, और उन विफलताओं के लिए रनबुक लिखते हैं जो शुरू में "काम धीमा है" जैसी लगती हैं, जब तक कि वे "काम पूरी तरह से बंद" जैसी न लगने लगें। रिडंडेंसी अभी भी मायने रखती है - बिजली, कूलिंग, पाथ, स्टोरेज - लेकिन विफलता का तरीका पुराने नौ-घंटे के अपटाइम स्लाइड की तुलना में कम व्यवस्थित है। अनुमान: प्रतिकृति बनाएं, खराब नोड को खाली करें, जवाब देते रहें। ट्रेनिंग को चेकपॉइंट चाहिए, आशावाद नहीं।.
स्थान, पानी, ग्रिड और पड़ोसी
आप इनमें से किसी एक को किसी कॉटेज के बगल में सिर्फ नजारे के लिए नहीं गिराते।.
ग्रिड कनेक्शन अक्सर वास्तविक स्थल चयन प्रक्रिया होती है। सबस्टेशन और अन्य ग्राहकों वाली बिजली कंपनी की तुलना में ज़मीन मिलना आसान है। यदि आप शीतलन के लिए पानी का उपयोग करते हैं, तो बारिश होते ही यह पड़ोसियों के लिए समस्या बन जाता है। शोर। दृश्य विशालता। सीमा बाड़ पर गर्मी। योजना समितियाँ "क्लाउड" के बारे में राय तब बना लेती हैं जब उसे खेत और नदी की आवश्यकता होती है।
लेटेंसी दूसरी दिशा में खींचती है। इन्फरेंस उपयोगकर्ताओं और इंटरकनेक्ट्स के पास रहना पसंद करता है। ट्रेनिंग सस्ते बिजली बाजारों और ठंडे मौसम वाले क्षेत्रों में छिपकर की जा सकती है। उद्योग ऐसे बात करता है मानो कोई एक आदर्श साइट हो। ऐसा नहीं है। प्रेस विज्ञप्ति के साथ समझौता करना पड़ता है।.
बची हुई गर्मी और अनचाही भट्टी
ब्रोशर में यह बात खूब पसंद की जाती है। बेकार की गर्मी को घरों, स्विमिंग पूल, ग्रीनहाउस में पाइप के ज़रिए पहुँचाना; यह एक आकर्षक वाक्य है। कभी-कभी ज़िले का यह लूप सिस्टम सही होता है। कभी-कभी कैंपस गलत जगह पर बना होता है और गर्मी फिर भी हवा में चली जाती है। मुझे ब्रोशर में लिखी बात पर शक है; लेकिन भौतिकी पर नहीं।.
किसे इसकी जरूरत है (और किसे इसके बजाय किराए पर लेना चाहिए)
अधिकांश लोगों को इनमें से किसी एक हॉल का मालिक होने की आवश्यकता नहीं होती है।.
संक्षिप्त सूची:
-
हाइपरस्केलर, क्योंकि उत्पाद ही बेड़ा है।
-
प्रयोगशालाओं में, जब कतार में लगने का समय बाधा बन जाता है, या डेटा बाहर नहीं निकल पाता है
-
किसी बैंक, अस्पताल समूह, सरकार या निर्माता के पास गुप्त डेटासेट हो - चाहे वह ऑन-प्रेम हो या निजी कोलो स्टोरेज में - तो यह तर्कसंगत हो सकता है, भले ही यह एक झंझट भरा काम हो।
बाकी सभी को किराए पर लेना चाहिए। एआई-तैयार घनत्व के साथ कोलोकेशन। एक क्लाउड रिज़र्वेशन। एक प्रबंधित क्लस्टर। आपको पावर प्लांट ऑपरेटर बने बिना एक्सेलरेटर मिल जाते हैं। लेकिन जैसे ही कोई पूछता है कि सुबह 3 बजे कूलेंट लूप के लिए कौन ऑन कॉल है, तो सारा आकर्षण फीका पड़ जाता है।.
मैं मानता हूँ कि इसमें गर्व की बात भी है। क्लस्टर का मालिक होना भविष्यवाणी के साधनों का मालिक होने जैसा लगता है। फिर बिजली का बिल आता है, और गर्व धराशायी हो जाता है।.
यह इमारत किस लिए है?
तो, एआई डेटा सेंटर क्या है? यह एक विशेष, उच्च-घनत्व वाला परिसर है जहाँ एक्सेलरेटर, बिजली, शीतलन, फैब्रिक और स्टोरेज को मॉडल के प्रशिक्षण और सेवा के लिए व्यवस्थित किया जाता है - यह कोई कोने में जीपीयू वाला सामान्य आईटी सिस्टम नहीं है। यह किसी गोदाम जैसा दिखता है। यह गणितीय गणना करने वाले पावर स्टेशन की तरह काम करता है।.
अगर आपको कुछ और याद न रहे तो: चिप्स को प्रसिद्धि मिलती है; सबस्टेशन, कूलेंट और नेटवर्क तय करते हैं कि वे चिप्स एक अच्छा विचार थे या नहीं। प्रशिक्षण और अनुमान एक ही छत के नीचे हो सकते हैं; फिर भी उनके तौर-तरीके अलग-अलग होते हैं। अधिकांश संगठनों को किराए पर लेना चाहिए। कुछ को खुद का भवन बनाना चाहिए। पड़ोसी दोनों ही स्थितियों में ध्यान देंगे।.
बादल के नीचे हमेशा एक इमारत हुआ करती थी। आजकल इमारत के अपने विचार होते हैं।.
वास्तविक दुनिया का उदाहरण: एक दो-रैक वाला प्रशिक्षण कक्ष जहाँ से छवियाँ बाहर नहीं निकल सकतीं।
परिदृश्य
टॉमोस वेस्ट मिडलैंड्स में स्थित 400 कर्मचारियों वाली निर्माता कंपनी केस्ट्रेल प्रेसिजन में इंफ्रास्ट्रक्चर लीड हैं। उनके पास पहले से ही एक छोटा ऑन-प्रेम हॉल है: ईआरपी, फाइल शेयरिंग, वर्चुअल मशीनें, और वह मिश्रित वातावरण जिससे इस लेख की शुरुआत हुई थी। एयर कूलिंग, साधारण ईथरनेट, और एक ऐसा एसएएन जो ऑफिस डिस्क के लिए पूरी तरह से उपयुक्त है।.
मशीन-विज़न टीम को फ़ैक्टरी की तस्वीरों पर एक निरीक्षण मॉडल को प्रशिक्षित करने की आवश्यकता है। ये तस्वीरें परिसर से बाहर नहीं ले जाई जा सकतीं। इनमें एक ऐसी प्रक्रिया दिखाई गई है जिसे कंपनी किसी भी क्लाउड डिस्क पर, यहाँ तक कि निजी डिस्क पर भी, अपलोड नहीं करेगी। खरीद विभाग का समाधान चार डुअल-एक्सेलेरेटर सर्वर और "हमारा एआई डेटा सेंटर" शीर्षक वाली एक स्लाइड है। सर्वर दो मौजूदा रैक में लगाए गए हैं, क्योंकि वहाँ जगह उपलब्ध थी, और जगह की कमी ही मुख्य बाधा प्रतीत हो रही थी।.
ऐसा नहीं है। दो सप्ताह के भीतर ही जीपीयू व्यस्त होने लगते हैं और फिर धीरे-धीरे उनकी गति कम हो जाती है। चेकपॉइंट आने पर एसएएन पर काम रुक-रुक कर चलता है। ग्यारह घंटे बाद एक नोड बंद हो जाता है और काम वहीं रुक जाता है। टोमोस ने चिप्स खरीदने में कोई कमी नहीं छोड़ी है। उसने एक ही पोस्टकोड पर कई महंगे वर्कस्टेशन खरीद लिए हैं। इमारत अभी भी एक एंटरप्राइज हॉल थी।.
उन्हें किसी कैंपस, नए सबस्टेशन या नदी की ज़रूरत नहीं है। उन्हें एक छोटे से सेल की ज़रूरत है जो एक छोटे AI डेटा सेंटर की तरह काम करे: रैक में पर्याप्त बिजली हो, चिप्स को नुकसान पहुंचाए बिना गर्मी बाहर निकल जाए, ट्रेनिंग जॉब के लिए उपयुक्त फ़ैब्रिक हो, चेकपॉइंट रखने की क्षमता हो और नोड के बंद होने पर काम करने के लिए रनबुक हो। क्योंकि इमेज बाहर नहीं जा सकतीं, इसलिए चालीस मिनट दूर कोलो केज किराए पर लेना सही समाधान नहीं है। दो रैक को रेट्रोफिट करना ही सही तरीका है।.
कोशिका को क्या चाहिए
-
उस पंक्ति पर एक मापा हुआ पावर बजट, पीडीयू से, न कि जीपीयू की इच्छा सूची से। यदि अतिरिक्त क्षमता प्रशिक्षण भार पर चारों सर्वरों को चलाने में सक्षम नहीं है, तो बातचीत वहीं समाप्त हो जाती है और वे एक अधिक सघन कोलोरेशन पर विचार करते हैं, न कि किसी चमत्कार पर।
-
इतनी सघनता पर हवा को ठंडा करने की आवश्यकता कभी नहीं पड़ी: यदि हॉल में जगह हो तो पीछे के दरवाजे के हीट एक्सचेंजर लगाए जा सकते हैं, या यदि संभव हो तो एक छोटा लिक्विड लूप लगाया जा सकता है। यदि इनमें से कोई भी विकल्प न हो, तो सर्वर नहीं लगाए जाएंगे।
-
चारों नोड्स के बीच एक समर्पित हाई-बैंडविड्थ फैब्रिक का उपयोग किया जाना चाहिए, न कि ऑफिस के ईथरनेट का। यदि विक्रेता के कैटलॉग में केवल 10 जीबी का स्विच है, तो वह क्लस्टर नहीं है।
-
चेकपॉइंट और ट्रेनिंग शार्ड के लिए स्थानीय तेज़ स्टोरेज, VM SAN के लिए नहीं।
-
एक शेड्यूलर, एक चेकपॉइंट अंतराल और एक लिखित रीस्टार्ट पथ। हार्डवेयर ही मुख्य भूमिका निभाता है। यही मुख्य काम है।
-
फैक्ट्री लाइन के लिए एक अलग, सीमित अनुमान बॉक्स, जो प्रशिक्षण की हलचल से अलग है, क्योंकि सेवा के लिए टेल लेटेंसी और अलगाव की आवश्यकता होती है, न कि सामूहिक संचार की।
-
पावर, जीपीयू क्लॉक, थ्रॉटल इवेंट और जॉब वॉल-क्लॉक को लॉग करने की अनुमति। यदि वे इनकी जांच नहीं कर सकते, तो वे जीपीयू की तस्वीरें लेंगे और स्विच को देखना भूल जाएंगे।
उदाहरण निर्देश
टोमोस ने सुविधाओं के संक्षिप्त विवरण में इसे सामान्य भाषा में इस प्रकार लिखा है:
इसे एआई कैंपस न कहें। मौजूदा हॉल में चार डुअल-एक्सेलेरेटर सर्वरों के लिए दो रैक वाला ट्रेनिंग सेल बनाएं। फ़ैक्टरी इमेज यहीं रहेंगी। सफलता यह है कि चारों नोड थर्मल थ्रॉटल के बिना 12-एपॉक निरीक्षण-प्रशिक्षण प्रक्रिया पूरी करें, मिनटों में चेकपॉइंट लिखें, न कि दसियों मिनट में, और जब हम जानबूझकर किसी रैंक को खत्म करते हैं तो उसी चेकपॉइंट से फिर से शुरू करें। कूलिंग से जीपीयू अपने ट्रेनिंग क्लॉक पर बने रहने चाहिए। नेटवर्किंग एक ऐसा नेटवर्क होना चाहिए जिसे ये चारों बॉक्स साझा करें, न कि ऑफिस स्टैक के बीच से कोई रास्ता। स्टोरेज से चिप्स को डेटा मिलना चाहिए। अगर रियर-डोर हीट एक्सचेंजर फिट नहीं हो सकते, तो बता दें और काम रोक दें। मिक्स्ड हॉल में दो रैक के लिए PUE का अनुमान न लगाएं। वह आंकड़ा दिखावा होगा।.
फिर वह इसे प्रशिक्षण कार्य में ही शामिल कर देता है:
स्थानीय तेज़ पूल के लिए हर 30 मिनट में चेकपॉइंट करें। यदि कोई रैंक समाप्त हो जाती है, तो पिछले पूर्ण चेकपॉइंट से पुनः आरंभ करें। SAN पर प्रतीक्षा न करें। हीट के कारण क्लॉक का समय कम होने पर प्रशिक्षण जारी न रखें। इसे लॉग करें और रुक जाएं ताकि हम रुकावट देख सकें।.
एक अच्छा समय कुछ इस तरह दिखता है: सभी आठ जीपीयू ट्रेनिंग क्लॉक पर चल रहे हैं, चेकपॉइंट फ़ाइल लैंड हो गई है, और जॉब सही ढंग से चल रही है। एक बुरा समय कुछ इस तरह दिखता है: पंखे पूरी रफ्तार से चल रहे हैं, क्लॉक धीमी हैं, दस मिनट बाद चेकपॉइंट का केवल 2% लिखा गया है, और ऑफिस में कोई कह रहा है "क्लस्टर चालू है"। चालू होने का मतलब ट्रेनिंग नहीं है।.
इसका परीक्षण कैसे करें
वे रेट्रोफिट से पहले टेस्ट लिखते हैं, और यही डेमो पर भरोसा न करने का पूरा मकसद है।.
-
वही 12-युग वाली विधि, वही 120,000 निरीक्षण स्टिल, आठ बार परीक्षण।
-
समय की गणना कार्य सबमिट करने से लेकर युग 12 के अंतिम चेकपॉइंट तक, किसी भी पुनः आरंभ सहित, पूर्ण रेसिपी के लिए निर्धारित समय (वॉल क्लॉक टाइम) के आधार पर की जाती है।
-
ऊष्मा पर छूट: रन के दौरान GPU क्लॉक ट्रेनिंग लक्ष्य पर ही बनी रहती है। थ्रॉटल इवेंट विफलता माना जाता है, भले ही काम अंततः पूरा हो जाए।
-
स्टोरेज पर एक विश्लेषण: जॉब लॉग से चेकपॉइंट राइट टाइम, माध्यिका और सबसे खराब समय।
-
कपड़े पर एक पास: जब तक कोई रैंक स्वस्थ है, तब तक काम सामूहिक प्रतीक्षा में नहीं रहता। यदि वे उस प्रतीक्षा को नहीं देख सकते, तो उपकरण तैयार नहीं किए जाते।
-
आठ में से दो रन में जानबूझकर एक निश्चित चरण पर रैंक समाप्त कर दी जाती है, ताकि रीस्टार्ट पथ का परीक्षण किया जा सके।
-
अनुमान लगाना फैक्ट्री लाइन से लेकर बाड़ वाले सर्विंग बॉक्स तक 200 छवियों का एक अलग परीक्षण है। प्रशिक्षण की सफलता को सर्विंग की सफलता के रूप में नहीं गिना जाता है।
-
वे पीडीयू से रैक पावर को 15 मिनट के अंतराल में रिकॉर्ड करते हैं, इसलिए किसी को भी मेगावाट जैसी कोई नई चीज़ गढ़ने की ज़रूरत नहीं पड़ती।
सेल को "एआई-रेडी" कहने की स्वीकृति: 8 में से 8 रेसिपी पूरी हो गईं; 8 में से 0 में थर्मल थ्रॉटल दिखाई दिया; दोनों रुके हुए रन फिर से शुरू हो गए; चेकपॉइंट मिनटों में बने रहे। अगर वे इसमें भी चूक जाते हैं, तो भी उनके पास उन्नत ग्राफिक्स कार्ड वाला सर्वर रूम मौजूद है।.
परिणाम
यह एक काल्पनिक आठ-रन परीक्षण का उदाहरण परिणाम है, न कि प्रकाशित केस्ट्रेल आंकड़ा।.
मान्यताएँ: दो रैक में चार डुअल-एक्सेलेरेटर सर्वर; एक निरीक्षण मॉडल; 120,000 स्टिल्स; एक निश्चित 12-एपॉक रेसिपी के आठ रन; वॉल-क्लॉक में रेसिपी समाप्त होने तक रीस्टार्ट शामिल हैं; थ्रॉटल का अर्थ है ट्रेनिंग क्लॉक से लॉग की गई गिरावट; चेकपॉइंट समय राइट टाइम है, विश टाइम नहीं; रैक पावर पीडीयू सैंपल है, कैंपस पीयूई नहीं।.
रेट्रोफिट से पहले, ऑफिस के ईथरनेट और वीएम एसएएन पर सामान्य एयर-कूल्ड रैक में जीपीयू इस प्रकार थे:
-
8 में से 5 रन पहले ही प्रयास में पूरे हो गए। उन पांचों के बीच औसत समय 14 घंटे रहा।
-
8 में से 3 को लगभग 11 घंटे बाद रुकने के कारण फिर से शुरू करना पड़ा (दो बार एक नोड के पुराने चेकपॉइंट के कारण बंद होने पर, और एक बार चेकपॉइंट के SAN भर जाने पर)। तुरंत पुनः प्रयास किया गया, रात भर इंतजार नहीं किया गया: 11 घंटे बर्बाद हुए और दूसरा प्रयास 14 घंटे का रहा, यानी उन तीन पर रेसिपी पूरी करने में कुल 25 घंटे लगे।
-
आठों व्यंजनों को पूरा करने में लगने वाला औसत समय (पुनः आरंभ किए गए चरणों सहित): 18 घंटे। (पांच व्यंजनों में 14 घंटे और तीन व्यंजनों में 25 घंटे लगे। सभी आठों व्यंजनों का माध्यिका अभी भी 14 है, जिससे पुनः आरंभ किए गए चरण छिप जाएंगे। इसीलिए यहां औसत को आधार रेखा माना गया है।)
-
8 में से 7 परीक्षणों में थर्मल थ्रॉटलिंग दर्ज की गई। कम क्लॉक स्पीड पर औसत समय: 14 घंटे के प्रयास में 3 घंटे।
-
चेकपॉइंट लेखन: औसत 22 मिनट
-
रैंक-किल एक ऐसी परीक्षा नहीं थी जिसे वे पास कर सकें। उनके पास रनबुक नहीं थी। दो आकस्मिक मौतें ही इस घटना की मुख्य वजह थीं।
-
प्रशिक्षण के दौरान दोनों रैकों पर अधिकतम आईटी लोड लगभग 18 किलोवाट था। पंक्ति में पर्याप्त वाट क्षमता थी, लेकिन उसमें कूलिंग या फैब्रिक की सुविधा नहीं थी।
उन दो रैकों पर रियर-डोर हीट एक्सचेंजर, चार नोड्स के बीच एक समर्पित फैब्रिक, चेकपॉइंट के लिए एक छोटा NVMe पूल, 30 मिनट का चेकपॉइंटिंग और एक रीस्टार्ट रनबुक के बाद:
-
8 में से 8 ने पहले प्रयास में ही काम पूरा कर लिया। औसत समय: 9 घंटे
-
थर्मल थ्रॉटल: 0/8
-
चेकपॉइंट लिखने का औसत समय: 90 सेकंड। सबसे खराब समय: 3 मिनट।
-
जानबूझकर रैंक तोड़ने के दोनों प्रयास पिछले 30 मिनट के चेकपॉइंट से फिर से शुरू हुए। इन दोनों प्रयासों में अतिरिक्त समय लगा: लगभग 40 मिनट प्रत्येक, जिसमें निदान भी शामिल है, इसलिए दोनों का कुल समय लगभग 9 घंटे 40 मिनट रहा। आठ स्थिर राउंड का औसत 9 घंटे है।
-
आईटी का अधिकतम भार अभी भी लगभग 18 किलोवाट है। चिप्स वही हैं। लेकिन इमारत का व्यवहार अलग है।
इस नमूने में, किसी रेसिपी को तैयार करने में लगने वाला औसत समय 18 घंटे से घटकर 9 घंटे हो गया, यानी प्रत्येक रेसिपी में 9 घंटे की कमी आई, कुल मिलाकर आठ बार परीक्षण करने पर 72 घंटे लगे। पहली बार में रेसिपी तैयार करने की दर 8 में से 5 से बढ़कर 8 में से 8 हो गई। थ्रॉटल की दर 8 में से 7 से घटकर 8 में से 0 हो गई। यही आखिरी आंकड़ा बताता है कि उन्होंने एक्सीलरेटर खरीदे या पेपरवेट। वे समय में इस बदलाव को उत्पादन में 50% की बचत नहीं कहेंगे। आठ बार परीक्षण करना एक छोटा और आसान काम है।.
ये आंकड़े बताए गए परीक्षण, एक छोटे नमूने, एक मॉडल और एक मिश्रित हॉल पर आधारित एक उदाहरण अनुमान हैं। ये PUE नहीं हैं, न ही कैंपस मेगावाट हैं, और न ही इस बात का प्रमाण हैं कि केस्ट्रेल को किसी खेत में प्रशिक्षण स्थल बनाना चाहिए। लॉग की समीक्षा 9 घंटे के भीतर की गई थी; उन्होंने इसे छिपाया नहीं था। 18 kW का आंकड़ा एक राउंडेड PDU रीडिंग है, न कि यूटिलिटी बिल। उन्होंने 72 घंटों को लागत में परिवर्तित नहीं किया, क्योंकि कारखाने की मिश्रित बिजली दर से एक झूठा व्यावसायिक मामला बन जाता।.
सेवा जांच अलग और छोटी थी: बाड़ वाले बॉक्स में 200 लाइन वाली छवियां, सभी मौके पर ही। यह अनुमान है, प्रशिक्षण नहीं। दोनों को मिलाना हाइब्रिड-हॉल की छोटी सी गलती होती।.
क्या गलत हो सकता है?
-
खरीद विभाग चार सर्वरों को "एआई डेटा सेंटर" कहता रहता है। यह नाम असलियत को छुपाता है, और अगली खरीद उसी खराब सिस्टम के लिए और अधिक जीपीयू की होगी।
-
पीछे के दरवाज़े के एक्सचेंजर लग जाते हैं और कोई भी पानी वाले हिस्से को चालू नहीं करता। पंखे अब भी शोर मचाते हैं। घड़ियाँ अब भी धीमी हो जाती हैं।
-
यह फैब्रिक एक सिंगल स्विच है जिसमें कोई स्पेयर पाथ नहीं है। एक लिंक फेल होने पर "क्लस्टर" फिर से चार वर्कस्टेशन बन जाता है।
-
चेकप्वाइंट SAN पर बने रहते हैं क्योंकि NVMe पूल "चरण दो" था। अगला डेड नोड आने से पहले चरण दो नहीं आता।
-
वे एक मिश्रित हॉल में दो रैक के लिए पीयूई का हवाला देते हैं। जलवायु, सीमा और शेष ईआरपी पंक्ति उस अनुपात को बेमानी बना देती है।
-
प्रशिक्षण और सेवा एक दूसरे के पूरक हैं। चेकपॉइंट पर भीड़भाड़ से फैक्ट्री लाइन को रुकना पड़ता है। यहाँ उत्पाद घनत्व नहीं, बल्कि टेल लेटेंसी है।
-
एक नोड क्रैश हो जाता है और कोई उसे चेकपॉइंट रीस्टार्ट के बजाय अपटाइम टिकट मान लेता है। एंटरप्राइज ऑप्स और एआई ऑप्स के बीच पूरे दोपहर तक अनसुनी बातें चलती रहती हैं।
-
वे एक पिंजरा किराए पर ले सकते थे, लेकिन तस्वीरें उन्हें छोड़ नहीं सकतीं। इस प्रतिबंध को भूल जाने से वे एक ऐसी उलझन भरी बातचीत में खो जाते हैं जिससे उन्हें बाहर निकलना होगा।
व्यावहारिक निष्कर्ष
इस स्वरूप में एक एआई डेटा सेंटर न तो गोदाम है और न ही जीपीयू बिल। यह वह सेल है जो एक्सेलरेटर को अपना काम पूरा करने देता है: वह शक्ति जिसे वे संभाल सकते हैं, निकलने वाली गर्मी, एक ढांचा, एक चेकपॉइंट, और किसी रैंक के विफल होने पर ज़िम्मेदारी संभालने वाला कोई व्यक्ति। केस्ट्रेल को किसी कैंपस की ज़रूरत नहीं थी। उन्हें दिखावा बंद करने के लिए केवल दो रैक की ज़रूरत थी। अधिकांश टीमों को यही तरीका अपनाना चाहिए। कुछ टीमें, जिनके पास एक गुप्त डेटासेट और गर्मी सहन करने वाला हॉल है, उन्हें एक सेल बनाना चाहिए और स्लाइड को अस्वीकार कर देना चाहिए।.
अक्सर पूछे जाने वाले प्रश्न
एआई डेटा सेंटर क्या है?
एक उच्च-घनत्व वाला कंप्यूटिंग केंद्र, जहाँ बिजली, शीतलन, नेटवर्किंग और भंडारण की व्यवस्था समानांतर प्रशिक्षण और मॉडल सर्विंग के लिए की जाती है, न कि सामान्य प्रयोजन वाले सर्वरों की सुव्यवस्थित पंक्तियों के लिए। इसे इस तरह से डिज़ाइन किया गया है कि बड़ी संख्या में एक्सेलेरेटर बिना किसी परेशानी, नेटवर्क पर गति रुकने या डिस्क पर प्रतीक्षा किए बिना मॉडल को प्रशिक्षित और सर्व कर सकें। एक सामान्य उद्यम भवन मिश्रित वातावरण होता है। एक एआई भवन एक ऐसा केंद्र है जहाँ एक्सेलेरेटर, जैसे जीपीयू या टीपीयू-शैली के चिप्स, ही मूल्य की इकाई होते हैं। यह एक गोदाम जैसा दिखता है और गणितीय गणना करने वाले पावर स्टेशन की तरह कार्य करता है।.
एक एआई डेटा सेंटर सामान्य डेटा सेंटर से किस प्रकार भिन्न होता है?
पारंपरिक डेटा सेंटर कई छोटी-छोटी सेवाओं में मिश्रित कार्यभार और अपटाइम को ध्यान में रखते हुए काम करते हैं। AI साइटें इस अनुपात को उलट देती हैं: घनत्व बढ़ जाता है, नेटवर्क एक ऐसा आधार बन जाता है जिसके बिना प्रशिक्षण कार्य अधूरा रहता है, और स्टोरेज को चेकपॉइंट्स को चालू रखना पड़ता है, अन्यथा एक्सेलरेटर निष्क्रिय पड़े रहते हैं। एंटरप्राइज ऑपरेशंस टिकटों और परिवर्तन विंडो के आधार पर काम करते हैं। AI ऑपरेशंस जॉब क्यू और लंबे समय में किसी नोड के बंद हो जाने पर होने वाली परेशानी के आधार पर काम करते हैं। आप दोनों को डेटा सेंटर कह सकते हैं। यह नाम केवल बुनियादी ढांचे को छुपाता है।.
एआई डेटा सेंटर इतनी अधिक बिजली का उपयोग क्यों करते हैं?
सबसे खास हार्डवेयर कोई चालाक सीपीयू नहीं है। बल्कि यह एक्सेलेरेटर ट्रे है: जीपीयू या अन्य एआई चिप्स, जो सर्वरों में, फिर रैक में, और फिर पंक्तियों में पैक किए जाते हैं और एक उच्च-बैंडविड्थ फैब्रिक साझा करते हैं। प्रति रैक घनत्व ही असली ट्विस्ट है: कम रैक, लेकिन हर एक छोटी भट्टी की तरह। एक हॉल भर जाने पर मेगावाट आईटी लोड दिखाई देता है, हालांकि एक सटीक आंकड़ा लगाना व्यर्थ है। सीमित करने वाला कारक अक्सर सबस्टेशन होता है, न कि जीपीयू की विशलिस्ट।.
एआई डेटा केंद्रों को कैसे ठंडा किया जाता है?
उच्च घनत्व वाले रैक गर्मी को इस तरह से बाहर निकालते हैं जैसा हवा को संभालने की कभी ज़रूरत नहीं होती। आप रियर-डोर हीट एक्सचेंजर, गर्म गलियारों और चतुर कंटेनमेंट के ज़रिए हवा को और अधिक तेज़ी से धकेल सकते हैं। फिर आता है लिक्विड कूलिंग: डायरेक्ट-टू-चिप कूलिंग, कूलेंट लूप और कुछ डिज़ाइनों में इमर्शन। एक ऐसा एक्सेलेरेटर जो थ्रॉटल करता है, वह ऐसा है जिसके लिए आप पहले ही भुगतान कर चुके हैं और जिसका आप पूरी तरह से उपयोग नहीं कर सकते। PUE अभी भी मायने रखता है क्योंकि पंखों और पंपों पर खर्च किया गया प्रत्येक वाट वह वाट है जो GPU तक नहीं पहुंचा। पानी भी इस कहानी में शामिल है: कुछ पौधे धीरे-धीरे पीते हैं, कुछ तेज़ी से।.
जीपीयू की तरह नेटवर्किंग भी इतनी महत्वपूर्ण क्यों है?
प्रशिक्षण एक संवाद की तरह है: हजारों एक्सेलरेटर एक साथ मिलकर ग्रेडिएंट, पैरामीटर और मॉडल के टुकड़े साझा करते हैं। अगर नेटवर्क में कोई हलचल होती है, तो पूरा काम सबसे धीमे नेटवर्क पर रुक जाता है। यही कारण है कि AI विशेषज्ञ उच्च-बैंडविड्थ नेटवर्किंग, कम विलंबता, इन्फिनिबैंड जैसे नेटवर्क या उसी भूमिका में ईथरनेट जैसी संरचनाओं और ऐसी टोपोलॉजी पर विशेष ध्यान देते हैं जो किसी लिंक के विफल होने पर बीच में ही न रुकें। अनुमान प्रक्रिया में टेल लेटेंसी, कई छोटे अनुरोध और अलगाव महत्वपूर्ण भूमिका निभाते हैं। इस मामले में, पाइपलाइन ही रेस्टोरेंट है।.
एआई डेटा सेंटर का उपयोग किस लिए किया जाता है: प्रशिक्षण या अनुमान लगाने के लिए?
प्रशिक्षण एक अभियान है: एक क्लस्टर बनाएं, उसमें डेटा डालें, नियमित रूप से चेकपॉइंट की जांच करें और घंटों या हफ्तों तक चलाएं। इन्फरेंस एक दुकान की तरह है: पहले से प्रशिक्षित मॉडल, अब जवाब दे रहे हैं, और लेटेंसी मायने रखती है। प्रशिक्षण केंद्र बिजली, जमीन और घनत्व के पीछे भागते हैं। इन्फरेंस केंद्र लेटेंसी और उपस्थिति के पीछे भागते हैं। हाइब्रिड हॉल इसलिए मौजूद हैं क्योंकि पूंजी असीमित नहीं है, कभी-कभी एक ही हॉल में दो कूलिंग लूप होते हैं। ग्राहक के पास स्थित थोड़ा पुराना एक्सेलेरेटर महाद्वीप दूर स्थित शानदार एक्सेलेरेटर से बेहतर प्रदर्शन कर सकता है।.
एआई डेटा सेंटर में स्टोरेज क्यों महत्वपूर्ण है?
ट्रेनिंग डेटा इतनी तेज़ी से आना चाहिए कि जीपीयू निष्क्रिय न रहें। चेकपॉइंट्स समय पर पहुंचने चाहिए ताकि क्रैश होने से पूरा हफ़्ता बर्बाद न हो जाए। मॉडल वेट्स को लोड होना ज़रूरी है, तभी सर्विंग रेप्लिका लाइव हो पाएगी। स्टोरेज क्षमता ही नहीं, बल्कि स्टोरेज थ्रूपुट भी एक अहम बाधा है। आप एक्सेलरेटर पर बहुत पैसा खर्च कर सकते हैं, लेकिन फिर भी उन्हें वर्चुअल मशीनों के लिए डिज़ाइन किए गए साधारण एरे से भर सकते हैं।.
यदि कोई नोड संचालन के दौरान बंद हो जाए तो क्या होता है?
किसी आपस में जुड़े प्रशिक्षण कार्य में एक भी एक्सेलेरेटर खराब हो जाए तो पूरा काम रुक सकता है। प्रशिक्षण में चेकपॉइंट्स की आवश्यकता होती है, आशावाद की नहीं। इन्फरेंस प्रक्रिया खराब नोड को निष्क्रिय कर देती है, एक प्रतिकृति को उत्तर देने के लिए तैयार रखती है और उसे चालू रखती है। परिवर्तन विंडो अभी भी उन प्रशिक्षण कार्यों से टकराती हैं जिन्हें आपके कैलेंडर की परवाह नहीं होती। बिजली, शीतलन, पथ और भंडारण के लिए अतिरेक अभी भी महत्वपूर्ण है, लेकिन विफलता का तरीका पुराने नौ-घंटे के अपटाइम स्लाइड की तुलना में कम व्यवस्थित है।.
एआई डेटा सेंटर का ग्रिड, जल और पड़ोसियों पर क्या प्रभाव पड़ता है?
ग्रिड कनेक्शन अक्सर साइट चयन की वास्तविक प्रक्रिया होती है। सबस्टेशन और अन्य ग्राहकों वाली बिजली कंपनी की तुलना में ज़मीन का चुनाव आसान होता है। यदि आप शीतलन के लिए पानी का उपयोग करते हैं, तो बारिश तेज़ होने पर यह पड़ोसियों के लिए समस्या बन जाता है, साथ ही शोर, दृश्य विस्तार और सीमा बाड़ पर गर्मी भी एक समस्या है। प्रशिक्षण सस्ते बिजली बाज़ारों और ठंडे मौसमों में छिप सकता है। अनुमान उपयोगकर्ताओं के पास रहना पसंद करता है। कोई भी साइट आदर्श नहीं होती। प्रेस विज्ञप्ति के साथ समझौता करना पड़ता है।.
क्या मुझे एआई डेटा सेंटर का मालिक होना चाहिए, या मुझे इसे किराए पर लेना चाहिए?
अधिकांश लोगों को इनमें से किसी एक हॉल का मालिक होने की आवश्यकता नहीं होती है। हाइपरस्केलर इसलिए निर्माण करते हैं क्योंकि उत्पाद ही उनका मुख्य आधार होता है। प्रयोगशालाएँ तब निर्माण करती हैं जब कतार में लगने वाला समय अड़चन बन जाता है या डेटा बाहर नहीं जा सकता। किसी बैंक, अस्पताल, सरकार या निर्माता जिसके पास गोपनीय डेटासेट है, उसके लिए ऑन-प्रेम या निजी कोलोकेशन सिस्टम उपयुक्त विकल्प हो सकता है। बाकी सभी को किराए पर लेना चाहिए: एआई-रेडी कोलोकेशन, क्लाउड रिज़र्वेशन या प्रबंधित क्लस्टर। आप बिजली संयंत्र संचालक बने बिना ही एक्सेलरेटर प्राप्त कर सकते हैं।.
संदर्भ
-
आईईए - www.iea.org
-
एलबीएनएल - datacenters.lbl.gov
-
द ग्रीन ग्रिड - www.thegreengrid.org
-
एलबीएनएल - datacenters.lbl.gov
-
एलबीएनएल - datacenters.lbl.gov
-
अपटाइम इंस्टीट्यूट - journal.uptimeinstitute.com
-
एनवीडिया - developer.nvidia.com
-
एनवीडिया - docs.nvidia.com
-
एनवीडिया - docs.nvidia.com
-
एनवीडिया - docs.nvidia.com
-
गूगल क्लाउड - docs.cloud.google.com