जेनरेटिव एआई में फाउंडेशन मॉडल क्या हैं?

संक्षिप्त उत्तर: फाउंडेशन मॉडल बड़े, सामान्य प्रयोजन वाले एआई मॉडल होते हैं जिन्हें विशाल, व्यापक डेटासेट पर प्रशिक्षित किया जाता है, और फिर संकेत, फाइन-ट्यूनिंग, टूल्स या पुनर्प्राप्ति के माध्यम से कई कार्यों (लेखन, खोज, कोडिंग, इमेज) के लिए अनुकूलित किया जाता है। यदि आपको विश्वसनीय उत्तर चाहिए, तो उन्हें आधारभूत तकनीक (जैसे RAG), स्पष्ट बाधाओं और जाँचों के साथ प्रयोग करें, न कि उन्हें तात्कालिक रूप से काम करने दें।

चाबी छीनना:

परिभाषा : एक व्यापक रूप से प्रशिक्षित आधार मॉडल का कई कार्यों में पुन: उपयोग किया जाता है, न कि प्रति मॉडल एक कार्य के आधार पर।

अनुकूलन : व्यवहार को निर्देशित करने के लिए प्रॉम्प्टिंग, फाइन-ट्यूनिंग, LoRA/एडैप्टर, RAG और टूल्स का उपयोग करें।

जनरेटिव फिट : ये टेक्स्ट, इमेज, ऑडियो, कोड और मल्टीमॉडल कंटेंट जनरेशन को शक्ति प्रदान करते हैं।

गुणवत्ता संकेत : नियंत्रणीयता, कम मतिभ्रम, बहुआयामी क्षमता और कुशल निष्कर्ष को प्राथमिकता दें।

जोखिम नियंत्रण : शासन और परीक्षण के माध्यम से मतिभ्रम, पूर्वाग्रह, गोपनीयता का उल्लंघन और त्वरित हस्तक्षेप के लिए योजना बनाएं।

इस लेख के बाद आप ये लेख भी पढ़ सकते हैं:

🔗 एआई कंपनी क्या होती है?
समझें कि एआई कंपनियां उत्पाद, टीमें और राजस्व मॉडल कैसे बनाती हैं।.

🔗 एआई कोड कैसा दिखता है?
पायथन मॉडल से लेकर एपीआई तक, एआई कोड के उदाहरण देखें।.

🔗 एआई एल्गोरिदम क्या है?
जानिए एआई एल्गोरिदम क्या होते हैं और वे निर्णय कैसे लेते हैं।.

🔗 एआई तकनीक क्या है?
स्वचालन, विश्लेषण और बुद्धिमान ऐप्स को शक्ति प्रदान करने वाली प्रमुख एआई प्रौद्योगिकियों का अन्वेषण करें।.

---

1) मूलभूत मॉडल - एक स्पष्ट परिभाषा 🧠

एक फाउंडेशन मॉडल एक बड़ा, सामान्य प्रयोजन वाला एआई मॉडल होता है जिसे व्यापक डेटा (आमतौर पर बहुत सारा डेटा) पर प्रशिक्षित किया जाता है ताकि इसे कई कार्यों के लिए अनुकूलित किया जा सके, न कि केवल एक के लिए ( एनआईएसटी , स्टैनफोर्ड सीआरएफएम )।

इसके लिए अलग-अलग मॉडल बनाने के बजाय:

• ईमेल लिखना

• प्रश्नों के उत्तर देना

• पीडीएफ का सारांश बनाना

• छवियों का निर्माण

• समर्थन टिकटों का वर्गीकरण

• भाषाओं का अनुवाद करना

• कोड सुझाव देना

...आप एक बड़ा बेस मॉडल प्रशिक्षित करते हैं जो एक अस्पष्ट सांख्यिकीय तरीके से "दुनिया को सीखता है", फिर आप इसे संकेतों, फाइन-ट्यूनिंग या अतिरिक्त उपकरणों के साथ विशिष्ट नौकरियों के लिए अनुकूलित करते हैं बोम्मासानी एट अल., 2021 )।

दूसरे शब्दों में कहें तो: यह एक सामान्य इंजन जिसे आप नियंत्रित कर सकते हैं।

और हां, मुख्य शब्द "सामान्य" है। यही तो असली बात है।.

---

2) जनरेटिव एआई में फाउंडेशन मॉडल क्या हैं? (वे विशेष रूप से कैसे फिट होते हैं?) 🎨📝

तो, जनरेटिव एआई में फाउंडेशन मॉडल क्या हैं? ये वे मूलभूत मॉडल हैं जो उन प्रणालियों को शक्ति प्रदान करते हैं जो उत्पन्न - पाठ, चित्र, ऑडियो, कोड, वीडियो, और तेजी से... इन सभी का मिश्रण ( एनआईएसटी , एनआईएसटी जनरेटिव एआई प्रोफाइल )।

जेनरेटिव एआई का मतलब सिर्फ "स्पैम/नॉन-स्पैम" जैसे लेबल का अनुमान लगाना नहीं है। इसका मतलब ऐसे आउटपुट तैयार करना है जो देखने में किसी इंसान द्वारा बनाए गए प्रतीत हों।.

• पैराग्राफ

• कविता

• उत्पाद विवरण

• चित्र

• की धुन

• ऐप प्रोटोटाइप

• कृत्रिम आवाजें

• और कभी-कभी अविश्वसनीय रूप से आत्मविश्वास से भरी बकवास 🙃

फाउंडेशन मॉडल विशेष रूप से अच्छे हैं क्योंकि:

• उन्होंने विशाल डेटासेट से व्यापक पैटर्न को आत्मसात कर लिया है ( बोम्मासानी एट अल., 2021 )

• वे नए संकेतों (यहां तक ​​कि विचित्र संकेतों) पर भी लागू हो सकते हैं ( ब्राउन एट अल., 2020 )

• उन्हें शुरू से पुनः प्रशिक्षण दिए बिना दर्जनों आउटपुट के लिए पुन: उपयोग किया जा सकता है ( बोम्मासानी एट अल., 2021 )

ये "बेस लेयर" हैं - जैसे ब्रेड का आटा। आप इससे बैगेट, पिज्जा या सिनेमन रोल बना सकते हैं... यह एकदम सटीक उदाहरण नहीं है, लेकिन आप समझ गए होंगे 😄

---

3) उन्होंने सब कुछ क्यों बदल दिया (और लोग उनके बारे में बात करना क्यों नहीं बंद कर रहे हैं) 🚀

बुनियादी मॉडल से पहले, बहुत सारी एआई कार्य-विशिष्ट थी:

• भावना विश्लेषण के लिए एक मॉडल को प्रशिक्षित करें

• किसी और को अनुवाद के लिए प्रशिक्षित करें

• छवि वर्गीकरण के लिए एक और को प्रशिक्षित करें

• किसी अन्य को नामित इकाई पहचान के लिए प्रशिक्षित करें

वह तरीका कारगर तो था, लेकिन धीमा, महंगा और कुछ हद तक… नाजुक था।.

बुनियादी मॉडलों ने इसे उलट दिया:

• एक बार प्रीट्रेन करें (काफी मेहनत का काम)

• हर जगह पुन: उपयोग (बड़ा लाभ) ( बोम्मासानी एट अल., 2021 )

पुन: उपयोग ही सफलता का गुणक है। कंपनियां एक ही मॉडल परिवार के आधार पर 20 अतिरिक्त फीचर्स विकसित कर सकती हैं, बजाय इसके कि वे हर बार नए सिरे से शुरुआत करें।.

साथ ही, उपयोगकर्ता अनुभव अधिक स्वाभाविक हो गया:

• आप "क्लासिफायर का उपयोग" नहीं करते हैं।

• आप मॉडल से ऐसे बात करते हैं जैसे वह कोई मददगार सहकर्मी हो जो कभी सोता नहीं ☕🤝

कभी-कभी यह उस सहकर्मी की तरह भी होता है जो आत्मविश्वास से हर बात को गलत समझता है, लेकिन कोई बात नहीं। विकास तो होता ही है।.

---

4) मूल विचार: पूर्व-प्रशिक्षण + अनुकूलन 🧩

लगभग सभी मूलभूत मॉडल एक पैटर्न का अनुसरण करते हैं ( स्टैनफोर्ड सीआरएफएम , एनआईएसटी ):

पूर्व-प्रशिक्षण (इंटरनेट से जानकारी प्राप्त करने का चरण) 📚

इस मॉडल को स्व-पर्यवेक्षित शिक्षण ( NIST ) का उपयोग करके विशाल, व्यापक डेटासेट पर प्रशिक्षित किया जाता है। भाषा मॉडल के लिए, इसका आमतौर पर मतलब होता है लुप्त शब्दों या अगले टोकन की भविष्यवाणी करना ( डेवलिन एट अल., 2018 , ब्राउन एट अल., 2020 )।

उद्देश्य इसे एक ही कार्य सिखाना नहीं है। उद्देश्य इसे सामान्य निरूपण :

• व्याकरण

• तथ्य (एक प्रकार से)

• तर्क पैटर्न (कभी-कभी)

• लेखन शैलियाँ

• कोड संरचना

• सामान्य मानवीय इरादा

अनुकूलन (व्यावहारिक बनाने का चरण) 🛠️

फिर आप इसे निम्नलिखित में से एक या अधिक का उपयोग करके अनुकूलित करते हैं:

• निर्देश देना (सरल भाषा में निर्देश)

• निर्देश अनुकूलन (निर्देशों का पालन करने के लिए प्रशिक्षण देना) ( वेई एट अल., 2021 )

• फाइन-ट्यूनिंग (आपके डोमेन डेटा पर प्रशिक्षण)

• LoRA / एडेप्टर (हल्के ट्यूनिंग तरीके) ( हू एट अल., 2021 )

• RAG (पुनर्प्राप्ति-संवर्धित पीढ़ी - मॉडल आपके दस्तावेज़ों से परामर्श करता है) ( लुईस एट अल., 2020 )

• टूल का उपयोग (फ़ंक्शन कॉल करना, आंतरिक सिस्टम ब्राउज़ करना आदि)

इसीलिए एक ही बेस मॉडल रोमांस सीन लिख सकता है... और फिर पांच सेकंड बाद SQL क्वेरी को डीबग करने में मदद कर सकता है 😭

---

5) एक अच्छे फाउंडेशन मॉडल में क्या खूबियां होनी चाहिए? ✅

यह वह हिस्सा है जिसे लोग अक्सर छोड़ देते हैं और बाद में पछताते हैं।.

एक "अच्छा" आधारभूत मॉडल केवल "बड़ा" होना ही काफी नहीं है। बड़ा होना मददगार होता है, यह निश्चित है... लेकिन यह एकमात्र कारण नहीं है। एक अच्छे आधारभूत मॉडल में आमतौर पर निम्नलिखित विशेषताएं होती हैं:

मजबूत सामान्यीकरण 🧠

यह कार्य-विशिष्ट पुनर्प्रशिक्षण की आवश्यकता के बिना कई कार्यों में अच्छा प्रदर्शन करता है ( बोम्मासानी एट अल., 2021 )।

स्टीयरिंग और नियंत्रण क्षमता 🎛️

यह निर्देशों का विश्वसनीय रूप से पालन कर सकता है, जैसे:

• संक्षेप में बोलें

• “बुलेट पॉइंट्स का प्रयोग करें”

• “दोस्ताना लहजे में लिखें”

• “गोपनीय जानकारी का खुलासा न करें”

कुछ मॉडल स्मार्ट तो हैं, लेकिन फिसलन भरे हैं। जैसे शॉवर में साबुन की टिकिया पकड़ने की कोशिश करना। मददगार तो हैं, लेकिन अनिश्चित 😅

मतिभ्रम की कम प्रवृत्ति (या कम से कम स्पष्ट अनिश्चितता) 🧯

कोई भी मॉडल मतिभ्रम से अछूता नहीं है, सिवाय अच्छे मॉडलों के:

• मतिभ्रम कम होता है

• अनिश्चितता को अधिक बार स्वीकार करें

• रिट्रीवल का उपयोग करते समय दिए गए संदर्भ के करीब रहें ( जी एट अल., 2023 , लुईस एट अल., 2020 )

आवश्यकता पड़ने पर अच्छी मल्टीमॉडल क्षमता 🖼️🎧

यदि आप ऐसे सहायक बना रहे हैं जो छवियों को पढ़ते हैं, चार्ट की व्याख्या करते हैं या ऑडियो को समझते हैं, तो मल्टीमॉडल बहुत मायने रखता है ( रैडफोर्ड एट अल., 2021 )।

कुशल अनुमान ⚡

विलंबता और लागत मायने रखती है। एक ऐसा मॉडल जो मजबूत तो हो लेकिन धीमा हो, वह पंचर टायर वाली स्पोर्ट्स कार की तरह है।.

सुरक्षा और संरेखण व्यवहार 🧩

सिर्फ "सब कुछ अस्वीकार करना" ही नहीं, बल्कि:

• हानिकारक निर्देशों से बचें

• पूर्वाग्रह को कम करें

• संवेदनशील विषयों को सावधानीपूर्वक संभालें

• बुनियादी जेलब्रेक प्रयासों का प्रतिरोध (कुछ हद तक...) ( NIST AI RMF 1.0 , NIST जनरेटिव AI प्रोफाइल )

प्रलेखन + पारिस्थितिकी तंत्र 🌱

यह सुनने में नीरस लग सकता है, लेकिन यह सच है:

• उपकरण

• मूल्यांकन हार्नेस

• परिनियोजन विकल्प

• उद्यम नियंत्रण

• फाइन-ट्यूनिंग समर्थन

हाँ, "पारिस्थितिकी तंत्र" एक अस्पष्ट शब्द है। मुझे भी यह शब्द नापसंद है। लेकिन यह मायने रखता है।.

---

6) तुलना तालिका - सामान्य फाउंडेशन मॉडल विकल्प (और वे किस लिए उपयुक्त हैं) 🧾

नीचे एक व्यावहारिक, थोड़ी अपूर्ण तुलनात्मक तालिका दी गई है। यह "एकमात्र सटीक सूची" नहीं है, बल्कि यह कुछ इस तरह है: आम तौर पर लोग क्या चुनते हैं।.

उपकरण / मॉडल प्रकार	श्रोता	कीमत के हिसाब से	यह कैसे काम करता है
स्वामित्वपूर्ण एलएलएम (चैट शैली)	गति और निपुणता चाहने वाली टीमें	उपयोग-आधारित / सदस्यता	निर्देशों का बेहतरीन पालन, शानदार सामान्य प्रदर्शन, आमतौर पर बॉक्स से निकालते ही सबसे बढ़िया 😌
ओपन-वेट एलएलएम (स्वयं-होस्ट करने योग्य)	नियंत्रण चाहने वाले बिल्डर	बुनियादी ढांचे की लागत (और उससे जुड़ी परेशानियां)	अनुकूलन योग्य, गोपनीयता के अनुकूल, स्थानीय रूप से चलाया जा सकता है... अगर आपको आधी रात को प्रयोग करना पसंद है तो।
विसरण छवि जनरेटर	रचनात्मक, डिजाइन टीमें	लगभग मुफ़्त से लेकर सशुल्क तक	उत्कृष्ट छवि संश्लेषण, शैली विविधता, पुनरावृत्ति कार्यप्रवाह (साथ ही: उंगलियां शायद काम न कर रही हों) ✋😬 ( हो एट अल., 2020 , रोम्बाच एट अल., 2021 )
मल्टीमॉडल “दृष्टि-भाषा” मॉडल	ऐसे ऐप्स जो इमेज और टेक्स्ट पढ़ते हैं	उपयोग आधारित	यह आपको छवियों, स्क्रीनशॉट, आरेखों के बारे में प्रश्न पूछने की अनुमति देता है - आश्चर्यजनक रूप से उपयोगी ( रैडफोर्ड एट अल., 2021 )
एम्बेडिंग फाउंडेशन मॉडल	खोजें + RAG सिस्टम	प्रति कॉल कम लागत	यह टेक्स्ट को अर्थपूर्ण खोज, क्लस्टरिंग और अनुशंसा के लिए वैक्टर में परिवर्तित करता है - शांत एमवीपी ऊर्जा ( कार्पुखिन एट अल., 2020 , डौज़ एट अल., 2024 )
स्पीच-टू-टेक्स्ट फाउंडेशन मॉडल	कॉल सेंटर, निर्माता	उपयोग-आधारित / स्थानीय	तेज़ प्रतिलेखन, बहुभाषी समर्थन, शोरगुल वाले ऑडियो के लिए पर्याप्त (आमतौर पर) 🎙️ ( फुसफुसाहट )
टेक्स्ट-टू-स्पीच फाउंडेशन मॉडल	उत्पाद टीमें, मीडिया	उपयोग आधारित	प्राकृतिक आवाज निर्माण, आवाज शैलियाँ, वर्णन - ये सब बेहद वास्तविक लग सकते हैं ( शेन एट अल., 2017 )
कोड-केंद्रित एलएलएम	डेवलपर्स	उपयोग-आधारित / सदस्यता	कोड पैटर्न, डिबगिंग, रिफैक्टरिंग में बेहतर हूं... फिर भी मन की बात नहीं पढ़ पाता 😅

ध्यान दें कि "फाउंडेशन मॉडल" का मतलब केवल "चैटबॉट" नहीं है। एम्बेडिंग और स्पीच मॉडल भी फाउंडेशन मॉडल की तरह हो सकते हैं, क्योंकि वे व्यापक हैं और विभिन्न कार्यों में पुन: प्रयोज्य हैं ( बोम्मासानी एट अल., 2021 , एनआईएसटी )।

---

7) गहन अवलोकन: भाषा के आधारभूत मॉडल कैसे सीखते हैं (वाइब संस्करण) 🧠🧃

भाषा आधारभूत मॉडल (जिन्हें अक्सर एलएलएम कहा जाता है) आमतौर पर पाठ के विशाल संग्रह पर प्रशिक्षित होते हैं। वे टोकन की भविष्यवाणी करके सीखते हैं ( ब्राउन एट अल., 2020 )। बस इतना ही। इसमें कोई रहस्यमयी जादू नहीं है।

लेकिन जादू यह है कि टोकन की भविष्यवाणी करने से मॉडल को संरचना ( सीएसईटी ) सीखने के लिए मजबूर होना पड़ता है:

• व्याकरण और वाक्यविन्यास

• विषय संबंध

• तर्क-समान पैटर्न (कभी-कभी)

• विचार के सामान्य क्रम

• लोग चीजों को कैसे समझाते हैं, बहस करते हैं, माफी मांगते हैं, बातचीत करते हैं, सिखाते हैं

यह कुछ ऐसा है जैसे लाखों लोगों की बातचीत की नकल करना सीखना, बिना यह समझे कि इंसान कैसे बात करते हैं। सुनने में तो ऐसा लगता है कि यह तरीका काम नहीं करेगा... फिर भी यह काम करता रहता है।.

एक हल्की-फुल्की अतिशयोक्ति: यह मूलतः मानव लेखन को एक विशाल संभाव्यतावादी मस्तिष्क में संकुचित करने जैसा है।
वैसे, यह उपमा थोड़ी अटपटी है। लेकिन चलिए आगे बढ़ते हैं 😄

---

8) गहन विश्लेषण: विसरण मॉडल (छवियां अलग-अलग तरीके से क्यों काम करती हैं) 🎨🌀

इमेज फाउंडेशन मॉडल अक्सर प्रसार विधियों का उपयोग करते हैं ( हो एट अल., 2020 , रोम्बाच एट अल., 2021 )।

मोटा-मोटा अंदाज़ा इस प्रकार है:

1. छवियों में तब तक शोर जोड़ें जब तक कि वे मूल रूप से टीवी स्टैटिक जैसी न हो जाएं।

2. उस शोर को चरण-दर-चरण उलटने के लिए एक मॉडल को प्रशिक्षित करें।

3. उत्पादन के समय, शोर से शुरू करें और एक संकेत द्वारा निर्देशित छवि में "शोर रहित" करें ( हो एट अल., 2020 )

इसीलिए इमेज जनरेशन किसी फोटो को "डेवलप" करने जैसा लगता है, बस फर्क इतना है कि फोटो में एक ड्रैगन सुपरमार्केट के गलियारे में स्नीकर्स पहने खड़ा है 🛒🐉

प्रसार मॉडल अच्छे होते हैं क्योंकि:

• वे उच्च गुणवत्ता वाले दृश्य उत्पन्न करते हैं।

• उन्हें पाठ के माध्यम से काफी हद तक निर्देशित किया जा सकता है।

• वे पुनरावृत्ति परिशोधन (विवरण, इनपेंटिंग, अपस्केलिंग) का समर्थन करते हैं ( रोम्बाच एट अल., 2021 )

उन्हें कभी-कभी इन समस्याओं का भी सामना करना पड़ता है:

• छवियों के अंदर पाठ का प्रतिपादन

• सूक्ष्म शारीरिक संरचना संबंधी विवरण

• विभिन्न दृश्यों में पात्रों की एकरूप पहचान (इसमें सुधार हो रहा है, लेकिन अभी भी)

---

9) करीब से देखें: मल्टीमॉडल फाउंडेशन मॉडल (पाठ + चित्र + ऑडियो) 👀🎧📝

मल्टीमॉडल फाउंडेशन मॉडल का उद्देश्य कई प्रकार के डेटा को समझना और उनसे परिणाम उत्पन्न करना है:

• मूलपाठ

• इमेजिस

• ऑडियो

• वीडियो

• कभी-कभी सेंसर जैसे इनपुट ( एनआईएसटी जनरेटिव एआई प्रोफाइल )

वास्तविक जीवन में यह क्यों मायने रखता है:

• ग्राहक सहायता स्क्रीनशॉट को समझ सकती है

• अभिगम्यता उपकरण छवियों का वर्णन कर सकते हैं

• शैक्षिक ऐप्स आरेखों की व्याख्या कर सकते हैं।

• रचनाकार प्रारूपों को तेजी से रीमिक्स कर सकते हैं

• व्यावसायिक उपकरण डैशबोर्ड के स्क्रीनशॉट को "पढ़" सकते हैं और उसका सारांश प्रस्तुत कर सकते हैं।

आंतरिक रूप से देखा जाए तो, मल्टीमॉडल सिस्टम अक्सर प्रतिनिधित्वों को संरेखित करते हैं:

• किसी छवि को एम्बेडिंग में बदलें

• टेक्स्ट को एम्बेडिंग में बदलें

• एक साझा स्थान सीखें जहाँ "बिल्ली" बिल्ली के पिक्सेल से मेल खाती है 😺 ( रैडफोर्ड एट अल., 2021 )

यह हमेशा सुरुचिपूर्ण नहीं होता। कभी-कभी इसे रजाई की तरह सिलकर बनाया जाता है। लेकिन यह काम करता है।.

---

10) फाइन-ट्यूनिंग बनाम प्रॉम्प्टिंग बनाम RAG (बेस मॉडल को कैसे अनुकूलित किया जाता है) 🧰

यदि आप किसी विशिष्ट क्षेत्र (कानूनी, चिकित्सा, ग्राहक सेवा, आंतरिक ज्ञान) के लिए एक आधारभूत मॉडल को व्यावहारिक बनाने की कोशिश कर रहे हैं, तो आपके पास कुछ विकल्प हैं:

संकेत देना 🗣️

सबसे तेज़ और सबसे सरल।.

• फायदे: प्रशिक्षण की आवश्यकता नहीं, तुरंत बदलाव संभव

• नकारात्मक पक्ष: असंगत हो सकता है, संदर्भ की सीमाएं, तात्कालिक समस्या की नाजुकता

बारीक समायोजन 🎯

अपने उदाहरणों पर मॉडल को और प्रशिक्षित करें।.

• फायदे: अधिक सुसंगत व्यवहार, बेहतर डोमेन भाषा, प्रॉम्प्ट की लंबाई कम कर सकते हैं

• कमियां: लागत, डेटा गुणवत्ता संबंधी आवश्यकताएं, ओवरफिटिंग का जोखिम, रखरखाव

हल्का ट्यूनिंग (LoRA / एडेप्टर) 🧩

फाइन-ट्यूनिंग का अधिक कुशल संस्करण ( हू एट अल., 2021 )।

• फायदे: सस्ता, मॉड्यूलर, बदलना आसान

• कमियां: अभी भी प्रशिक्षण प्रणाली और मूल्यांकन की आवश्यकता है

RAG (पुनर्प्राप्ति-संवर्धित पीढ़ी) 🔎

यह मॉडल आपके ज्ञान भंडार से प्रासंगिक दस्तावेज़ प्राप्त करता है और उनका उपयोग करके उत्तर देता है ( लुईस एट अल., 2020 )।

• फायदे: नवीनतम जानकारी, आंतरिक संदर्भ (यदि आप इसे लागू करते हैं), कम पुनर्प्रशिक्षण

• कमियां: डेटा पुनर्प्राप्ति की गुणवत्ता इसे सफल या असफल बना सकती है, इसके लिए अच्छे चंकिंग और एम्बेडिंग की आवश्यकता होती है।

सच कहूँ तो, कई सफल सिस्टम प्रॉम्प्टिंग और RAG को मिलाकर काम करते हैं। इसमें थोड़ा-बहुत बदलाव करना बहुत असरदार होता है, लेकिन हमेशा ज़रूरी नहीं। लोग इसे बहुत जल्दी अपना लेते हैं क्योंकि यह सुनने में प्रभावशाली लगता है 😅

---

11) जोखिम, सीमाएं और "कृपया इसे अंधाधुंध इस्तेमाल न करें" वाला भाग 🧯😬

फाउंडेशन मॉडल शक्तिशाली तो होते हैं, लेकिन पारंपरिक सॉफ्टवेयर की तरह स्थिर नहीं होते। वे कुछ हद तक… एक प्रतिभाशाली प्रशिक्षु की तरह होते हैं जिसमें आत्मविश्वास की कमी होती है।.

योजना बनाते समय ध्यान रखने योग्य प्रमुख सीमाएँ:

मतिभ्रम 🌀

मॉडल निम्नलिखित का आविष्कार कर सकते हैं:

• फर्जी स्रोत

• गलत तथ्य

• तर्कसंगत लेकिन गलत कदम ( जी एट अल., 2023 )

निवारण उपाय:

• ग्राउंडेड कॉन्टेक्स्ट के साथ RAG ( लुईस एट अल., 2020 )

• प्रतिबंधित आउटपुट (स्कीमा, टूल कॉल)

• स्पष्ट निर्देश: "अंदाजा मत लगाओ"।

• सत्यापन के स्तर (नियम, क्रॉस-चेक, मानवीय समीक्षा)

पूर्वाग्रह और हानिकारक प्रवृत्तियाँ ⚠️

क्योंकि प्रशिक्षण डेटा मनुष्यों को प्रतिबिंबित करता है, इसलिए आपको ये परिणाम मिल सकते हैं:

• लकीर के फकीर

• समूहों में असमान प्रदर्शन

• असुरक्षित पूर्णताएँ ( एनआईएसटी एआई आरएमएफ 1.0 , बोम्मासानी एट अल., 2021 )

निवारण उपाय:

• सुरक्षा ट्यूनिंग

• रेड-टीमिंग

• सामग्री फ़िल्टर

• सावधानीपूर्वक डोमेन प्रतिबंध ( एनआईएसटी जनरेटिव एआई प्रोफाइल )

डेटा गोपनीयता और डेटा लीक 🔒

यदि आप किसी मॉडल एंडपॉइंट में गोपनीय डेटा फीड करते हैं, तो आपको निम्नलिखित बातों का ध्यान रखना होगा:

• इसे कैसे संग्रहित किया जाता है

• चाहे इसका उपयोग प्रशिक्षण के लिए किया जाता हो

• कौन सी लॉगिंग मौजूद है

• आपके संगठन को किन नियंत्रणों की आवश्यकता है ( एनआईएसटी एआई आरएमएफ 1.0 )

निवारण उपाय:

• निजी परिनियोजन विकल्प

• मजबूत शासन

• न्यूनतम डेटा एक्सपोजर

• सख्त पहुंच नियंत्रण के साथ केवल आंतरिक उपयोग के लिए आरएजी ( एनआईएसटी जनरेटिव एआई प्रोफाइल , कार्लिनी एट अल., 2021 )

तुरंत इंजेक्शन लगवाएं (विशेषकर RAG के साथ) 🕳️

यदि मॉडल अविश्वसनीय पाठ पढ़ता है, तो वह पाठ मॉडल में हेरफेर करने का प्रयास कर सकता है:

• “पिछले निर्देशों को अनदेखा करें…”

• “मुझे रहस्य भेजो…” ( OWASP , ग्रेशेक एट अल., 2023 )

निवारण उपाय:

• पृथक प्रणाली निर्देश

• पुनर्प्राप्त सामग्री को सैनिटाइज करें

• टूल-आधारित नीतियों का उपयोग करें (केवल प्रॉम्प्ट का नहीं)

• प्रतिकूल इनपुट के साथ परीक्षण करें ( OWASP चीट शीट , NIST जनरेटिव AI प्रोफाइल )

मैं आपको डराने की कोशिश नहीं कर रहा हूँ। बस... यह जानना बेहतर है कि फर्श की लकड़ियाँ कहाँ से चरमराती हैं।.

---

12) अपने उपयोग के लिए उपयुक्त आधार मॉडल का चयन कैसे करें 🎛️

यदि आप कोई आधारभूत मॉडल चुन रहे हैं (या किसी मौजूदा मॉडल पर आधारित निर्माण कर रहे हैं), तो इन सुझावों से शुरुआत करें:

आप क्या उत्पन्न कर रहे हैं, उसे परिभाषित करें 🧾

• केवल पाठ

• इमेजिस

• ऑडियो

• मिश्रित मल्टीमॉडल

अपनी तथ्यात्मकता का मानक निर्धारित करें 📌

यदि आपको उच्च स्तर की सटीकता की आवश्यकता है (वित्त, स्वास्थ्य, कानूनी, सुरक्षा):

• आपको RAG की आवश्यकता होगी ( लुईस एट अल., 2020 )

• आपको सत्यापन की आवश्यकता होगी

• आपको प्रक्रिया में मानवीय समीक्षा की आवश्यकता होगी (कम से कम कभी-कभी) ( NIST AI RMF 1.0 )

अपना लेटेंसी लक्ष्य निर्धारित करें ⚡

चैट तुरंत होती है। बैच समराइज़ेशन में समय लग सकता है।
यदि आपको तुरंत प्रतिक्रिया चाहिए, तो मॉडल का आकार और होस्टिंग महत्वपूर्ण हैं।

मैप की गोपनीयता और अनुपालन संबंधी आवश्यकताओं का पता लगाएं 🔐

कुछ टीमों को निम्नलिखित की आवश्यकता होती है:

• ऑन-प्रिमाइसेस / वीपीसी परिनियोजन

• कोई डेटा प्रतिधारण नहीं

• सख्त ऑडिट लॉग

• प्रति दस्तावेज़ पहुंच नियंत्रण ( NIST AI RMF 1.0 , NIST जनरेटिव AI प्रोफ़ाइल )

बजट को संतुलित रखें - और धैर्य बनाए रखें 😅

सेल्फ-होस्टिंग नियंत्रण तो देती है लेकिन जटिलता बढ़ाती है।
मैनेज्ड एपीआई आसान तो हैं लेकिन महंगे हो सकते हैं और उनमें अनुकूलन की सुविधा कम होती है।

एक छोटा सा व्यावहारिक सुझाव: पहले किसी आसान चीज़ से प्रोटोटाइप बनाएं, फिर बाद में उसे और कठिन बनाएं। "परफेक्ट" सेटअप से शुरुआत करने से आमतौर पर सब कुछ धीमा हो जाता है।.

---

13) जनरेटिव एआई में फाउंडेशन मॉडल क्या हैं? (त्वरित मानसिक मॉडल) 🧠✨

चलिए इस विषय पर फिर से चर्चा करते हैं। जनरेटिव एआई में फाउंडेशन मॉडल क्या हैं?

वे हैं:

• व्यापक डेटा पर प्रशिक्षित बड़े, सामान्य मॉडल ( एनआईएसटी , स्टैनफोर्ड सीआरएफएम )

• सामग्री (पाठ, चित्र, ऑडियो आदि) उत्पन्न करने में सक्षम ( एनआईएसटी जनरेटिव एआई प्रोफाइल )

• संकेतों, सूक्ष्म समायोजन और पुनर्प्राप्ति के माध्यम से कई कार्यों के लिए अनुकूलनीय ( बोम्मासानी एट अल., 2021 )

• अधिकांश आधुनिक जनरेटिव एआई उत्पादों को शक्ति प्रदान करने वाली आधारभूत परत

वे कोई एक आर्किटेक्चर या ब्रांड नहीं हैं। वे मॉडलों की एक श्रेणी हैं जो एक प्लेटफॉर्म की तरह व्यवहार करते हैं।.

एक साधारण सा किचन किसी कैलकुलेटर से ज़्यादा एक रसोई की तरह होता है। इसमें आप कई तरह के व्यंजन बना सकते हैं। अगर आप ध्यान नहीं देंगे तो टोस्ट जल भी सकता है... लेकिन फिर भी यह रसोई काफी काम की है 🍳🔥

---

14) सारांश और मुख्य निष्कर्ष ✅🙂

फाउंडेशन मॉडल जनरेटिव एआई के पुन: प्रयोज्य इंजन हैं। इन्हें व्यापक रूप से प्रशिक्षित किया जाता है, फिर संकेत, सूक्ष्म समायोजन और पुनर्प्राप्ति के माध्यम से विशिष्ट कार्यों के लिए अनुकूलित किया जाता है ( एनआईएसटी , स्टैनफोर्ड सीआरएफएम )। ये अद्भुत, अव्यवस्थित, शक्तिशाली और कभी-कभी हास्यास्पद भी हो सकते हैं - सब कुछ एक साथ।

सारांश:

• आधारभूत मॉडल = सामान्य प्रयोजन आधार मॉडल ( एनआईएसटी )

• जनरेटिव एआई = सामग्री निर्माण, न कि केवल वर्गीकरण ( एनआईएसटी जनरेटिव एआई प्रोफाइल )

• अनुकूलन विधियाँ (प्रॉम्प्टिंग, आरएजी, ट्यूनिंग) इसे व्यावहारिक बनाती हैं ( लुईस एट अल., 2020 , हू एट अल., 2021 )

• किसी मॉडल का चयन करते समय सटीकता, लागत, विलंबता, गोपनीयता और सुरक्षा जैसे पहलुओं पर विचार करना आवश्यक है ( NIST AI RMF 1.0 )।

अगर आप जनरेटिव एआई का इस्तेमाल करके कुछ भी बना रहे हैं, तो बुनियादी मॉडल को समझना अनिवार्य है। यह पूरी इमारत की नींव है... और हां, कभी-कभी यह नींव थोड़ी डगमगाती भी है 😅

अक्सर पूछे जाने वाले प्रश्न

सरल शब्दों में, मूलभूत मॉडल

फाउंडेशन मॉडल एक बड़ा, सामान्य प्रयोजन वाला एआई मॉडल होता है जिसे व्यापक डेटा पर प्रशिक्षित किया जाता है ताकि इसे कई कार्यों के लिए पुन: उपयोग किया जा सके। प्रत्येक कार्य के लिए एक नया मॉडल बनाने के बजाय, आप एक मजबूत "आधार" मॉडल से शुरुआत करते हैं और आवश्यकतानुसार इसे अनुकूलित करते हैं। यह अनुकूलन अक्सर प्रॉम्प्टिंग, फाइन-ट्यूनिंग, रिट्रीवल (आरएजी) या टूल्स के माध्यम से होता है। इसका मूल विचार व्यापकता और नियंत्रणीयता है।.

फाउंडेशन मॉडल पारंपरिक कार्य-विशिष्ट एआई मॉडल से किस प्रकार भिन्न होते हैं?

परंपरागत एआई अक्सर प्रत्येक कार्य के लिए एक अलग मॉडल को प्रशिक्षित करता है, जैसे कि भावना विश्लेषण या अनुवाद। फाउंडेशन मॉडल इस पैटर्न को उलट देते हैं: एक बार प्रीट्रेन करें, फिर इसे कई सुविधाओं और उत्पादों में पुन: उपयोग करें। इससे दोहराव वाले प्रयासों को कम किया जा सकता है और नई क्षमताओं की डिलीवरी में तेजी लाई जा सकती है। हालांकि, इसका नुकसान यह है कि जब तक आप प्रतिबंध और परीक्षण नहीं जोड़ते, तब तक ये क्लासिक सॉफ़्टवेयर की तुलना में कम पूर्वानुमानित हो सकते हैं।.

जनरेटिव एआई में मूलभूत मॉडल

जनरेटिव एआई में, फाउंडेशन मॉडल आधारभूत प्रणालियाँ होती हैं जो टेक्स्ट, इमेज, ऑडियो, कोड या मल्टीमॉडल आउटपुट जैसी नई सामग्री उत्पन्न कर सकती हैं। ये केवल लेबलिंग या वर्गीकरण तक सीमित नहीं हैं; ये ऐसे उत्तर उत्पन्न करते हैं जो मानव निर्मित कार्यों से मिलते-जुलते हैं। प्रीट्रेनिंग के दौरान व्यापक पैटर्न सीखने के कारण, ये कई प्रकार के प्रॉम्प्ट और फॉर्मेट को संभाल सकते हैं। ये अधिकांश आधुनिक जनरेटिव अनुभवों की "आधार परत" हैं।.

प्रीट्रेनिंग के दौरान फाउंडेशन मॉडल कैसे सीखते हैं

अधिकांश भाषा आधारभूत मॉडल अगले शब्द या पाठ में छूटे हुए शब्दों जैसे संकेतों का अनुमान लगाकर सीखते हैं। यह सरल उद्देश्य उन्हें व्याकरण, शैली और व्याख्या के सामान्य पैटर्न जैसी संरचनाओं को आत्मसात करने के लिए प्रेरित करता है। वे दुनिया भर के ज्ञान को भी आत्मसात कर सकते हैं, हालांकि यह हमेशा विश्वसनीय नहीं होता। इसका परिणाम एक मजबूत सामान्य प्रतिनिधित्व होता है जिसे आप बाद में विशिष्ट कार्यों की ओर निर्देशित कर सकते हैं।.

प्रॉम्प्टिंग, फाइन-ट्यूनिंग, LoRA और RAG के बीच अंतर

निर्देश देकर व्यवहार को नियंत्रित करने का सबसे तेज़ तरीका प्रॉम्प्टिंग है, लेकिन यह अस्थिर हो सकता है। फाइन-ट्यूनिंग से मॉडल को आपके उदाहरणों पर और अधिक प्रशिक्षित किया जाता है ताकि व्यवहार अधिक सुसंगत हो, लेकिन इससे लागत और रखरखाव बढ़ जाता है। LoRA/एडैप्टर एक हल्का फाइन-ट्यूनिंग दृष्टिकोण है जो अक्सर सस्ता और अधिक मॉड्यूलर होता है। RAG प्रासंगिक दस्तावेज़ों को पुनः प्राप्त करता है और मॉडल को उस संदर्भ का उपयोग करके उत्तर देने के लिए कहता है, जिससे नवीनता और आधारभूतता बनाए रखने में मदद मिलती है।.

फाइन-ट्यूनिंग के बजाय RAG का उपयोग कब करें

जब आपको अपने मौजूदा दस्तावेज़ों या आंतरिक ज्ञान भंडार पर आधारित उत्तरों की आवश्यकता होती है, तो RAG अक्सर एक बेहतर विकल्प होता है। यह मॉडल को निर्माण के समय प्रासंगिक संदर्भ प्रदान करके अनुमान लगाने की प्रवृत्ति को कम कर सकता है। जब आपको एकरूप शैली, विषयवस्तु की शब्दावली या ऐसा व्यवहार चाहिए जो प्रॉम्प्टिंग से विश्वसनीय रूप से प्राप्त नहीं किया जा सकता, तो फाइन-ट्यूनिंग अधिक उपयुक्त है। कई व्यावहारिक प्रणालियाँ फाइन-ट्यूनिंग का उपयोग करने से पहले प्रॉम्प्टिंग + RAG का संयोजन करती हैं।.

मतिभ्रम को कैसे कम करें और अधिक विश्वसनीय उत्तर कैसे प्राप्त करें

एक सामान्य तरीका यह है कि मॉडल को रिट्रीवल (RAG) के साथ ग्राउंड किया जाए ताकि यह दिए गए संदर्भ के करीब रहे। आप स्कीमा के साथ आउटपुट को सीमित भी कर सकते हैं, महत्वपूर्ण चरणों के लिए टूल कॉल की आवश्यकता कर सकते हैं, और स्पष्ट "अनुमान न लगाएं" निर्देश जोड़ सकते हैं। सत्यापन परतें भी महत्वपूर्ण हैं, जैसे नियम जांच, क्रॉस-चेकिंग और उच्च जोखिम वाले उपयोग मामलों के लिए मानवीय समीक्षा। मॉडल को डिफ़ॉल्ट रूप से सत्य के स्रोत के बजाय एक संभाव्यता सहायक के रूप में मानें।.

उत्पादन में फाउंडेशन मॉडल के साथ सबसे बड़े जोखिम

सामान्य जोखिमों में मतिभ्रम, प्रशिक्षण डेटा से पक्षपातपूर्ण या हानिकारक पैटर्न और संवेदनशील डेटा के गलत प्रबंधन के कारण गोपनीयता का उल्लंघन शामिल हैं। सिस्टम प्रॉम्प्ट इंजेक्शन के प्रति भी संवेदनशील हो सकते हैं, विशेष रूप से जब मॉडल दस्तावेज़ों या वेब सामग्री से अविश्वसनीय पाठ पढ़ता है। आमतौर पर, इन जोखिमों से बचाव के उपायों में शासन, रेड-टीमिंग, एक्सेस कंट्रोल, सुरक्षित प्रॉम्प्टिंग पैटर्न और संरचित मूल्यांकन शामिल होते हैं। इन जोखिमों के लिए बाद में पैच लगाने की बजाय पहले से ही योजना बनाएं।.

RAG प्रणालियों में त्वरित इंजेक्शन और इसका महत्व

प्रॉम्प्ट इंजेक्शन तब होता है जब अविश्वसनीय टेक्स्ट निर्देशों को ओवरराइड करने की कोशिश करता है, जैसे "पिछले निर्देशों को अनदेखा करें" या "गुप्त जानकारी प्रकट करें"। RAG में, प्राप्त दस्तावेज़ों में ये दुर्भावनापूर्ण निर्देश हो सकते हैं, और यदि आप सावधान नहीं हैं तो मॉडल इनका पालन कर सकता है। एक सामान्य तरीका है सिस्टम निर्देशों को अलग करना, प्राप्त सामग्री को सैनिटाइज़ करना और केवल प्रॉम्प्ट के बजाय टूल-आधारित नीतियों पर निर्भर रहना। प्रतिकूल इनपुट के साथ परीक्षण करने से कमजोरियों का पता चलता है।.

अपने उपयोग के मामले के लिए आधार मॉडल का चयन कैसे करें

सबसे पहले यह तय करें कि आपको क्या जनरेट करना है: टेक्स्ट, इमेज, ऑडियो, कोड या मल्टीमॉडल आउटपुट। फिर सटीकता का मानक निर्धारित करें - उच्च सटीकता वाले डोमेन में अक्सर ग्राउंडिंग (RAG), सत्यापन और कभी-कभी मानवीय समीक्षा की आवश्यकता होती है। विलंबता और लागत पर विचार करें, क्योंकि एक मजबूत मॉडल जो धीमा या महंगा हो, उसे लागू करना मुश्किल हो सकता है। अंत में, गोपनीयता और अनुपालन आवश्यकताओं को परिनियोजन विकल्पों और नियंत्रणों से जोड़ें।.

संदर्भ

1. राष्ट्रीय मानक एवं प्रौद्योगिकी संस्थान (एनआईएसटी) - फाउंडेशन मॉडल (शब्दावली) - csrc.nist.gov

2. राष्ट्रीय मानक एवं प्रौद्योगिकी संस्थान (एनआईएसटी) - एनआईएसटी एआई 600-1: जनरेटिव एआई प्रोफाइल - nvlpubs.nist.gov

3. राष्ट्रीय मानक एवं प्रौद्योगिकी संस्थान (एनआईएसटी) - एनआईएसटी एआई 100-1: एआई जोखिम प्रबंधन ढांचा (एआई आरएमएफ 1.0) - nvlpubs.nist.gov

4. स्टैनफोर्ड सेंटर फॉर रिसर्च ऑन फाउंडेशन मॉडल्स (सीआरएफएम) - रिपोर्ट - crfm.stanford.edu

5. arXiv - फाउंडेशन मॉडल के अवसरों और जोखिमों पर (बोम्मासानी एट अल., 2021) - arxiv.org

6. arXiv - भाषा मॉडल कुछ ही चरणों में सीखने वाले होते हैं (ब्राउन एट अल., 2020) - arxiv.org

7. arXiv - ज्ञान-गहन एनएलपी कार्यों के लिए पुनर्प्राप्ति-संवर्धित पीढ़ी (लुईस एट अल., 2020) - arxiv.org

8. arXiv - LoRA: बड़े भाषा मॉडलों का निम्न-श्रेणी अनुकूलन (हू एट अल., 2021) - arxiv.org

9. arXiv - BERT: भाषा समझने के लिए डीप बिडायरेक्शनल ट्रांसफॉर्मर्स का प्री-ट्रेनिंग (डेवलिन एट अल., 2018) - arxiv.org

10. arXiv - फाइन-ट्यून्ड लैंग्वेज मॉडल जीरो-शॉट लर्नर्स हैं (वी एट अल., 2021) - arxiv.org

11. एसीएम डिजिटल लाइब्रेरी - प्राकृतिक भाषा निर्माण में मतिभ्रम का सर्वेक्षण (जी एट अल., 2023) - dl.acm.org

12. arXiv - प्राकृतिक भाषा पर्यवेक्षण से हस्तांतरणीय दृश्य मॉडल सीखना (रैडफोर्ड एट अल., 2021) - arxiv.org

13. arXiv - डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स का डीनोइजिंग (हो एट अल., 2020) - arxiv.org

14. arXiv - लेटेंट डिफ्यूजन मॉडल के साथ उच्च-रिज़ॉल्यूशन छवि संश्लेषण (रोम्बाच एट अल., 2021) - arxiv.org

15. arXiv - ओपन-डोमेन प्रश्नोत्तर के लिए सघन पैसेज रिट्रीवल (कार्पुखिन एट अल., 2020) - arxiv.org

16. arXiv - द फ़ैस लाइब्रेरी (डौज़ एट अल., 2024) - arxiv.org

17. ओपनएआई - व्हिस्पर का परिचय - openai.com

18. arXiv - मेल स्पेक्ट्रोग्राम भविष्यवाणियों पर वेवनेट को कंडीशनिंग करके प्राकृतिक टीटीएस संश्लेषण (शेन एट अल., 2017) - arxiv.org

19. सेंटर फॉर सिक्योरिटी एंड इमर्जिंग टेक्नोलॉजी (सीएसईटी), जॉर्जटाउन यूनिवर्सिटी - अगले शब्द की भविष्यवाणी की आश्चर्यजनक शक्ति: बड़े भाषा मॉडल की व्याख्या (भाग 1) - cset.georgetown.edu

20. USENIX - बड़े भाषा मॉडलों से प्रशिक्षण डेटा निकालना (कार्लिनी एट अल., 2021) - usenix.org

21. OWASP - LLM01: त्वरित इंजेक्शन - genai.owasp.org

22. arXiv - आपकी अपेक्षा से कहीं अधिक: अनुप्रयोग-एकीकृत बड़े भाषा मॉडलों के लिए नवीन प्रॉम्प्ट इंजेक्शन खतरों का एक व्यापक विश्लेषण (ग्रेशेक एट अल., 2023) - arxiv.org

23. OWASP चीट शीट सीरीज़ - LLM प्रॉम्प्ट इंजेक्शन प्रिवेंशन चीट शीट - cheatsheetseries.owasp.org

आधिकारिक एआई असिस्टेंट स्टोर पर नवीनतम एआई खोजें

हमारे बारे में