...

पहले क्यों योजना बनाएं

वियतनामी LLM का fine-tuning केवल एक training command चलाना नहीं है। 84GB GPU एक सीमित संसाधन है, इसलिए पहले अनुमान न बनाने पर memory खत्म हो सकती है, runtime लंबा हो सकता है और लागत बढ़ सकती है। स्पष्ट योजना सही मॉडल आकार, training configuration और serving दृष्टिकोण चुनने में मदद करती है।

7B-32B मॉडल आकार चुनना

एक या कुछ 84GB कार्ड के साथ, 7B-32B सीमा पर विचार करने लायक है। 7B मॉडल आमतौर पर चलाने में आसान होते हैं और छोटे datasets या त्वरित प्रयोगों के लिए उपयुक्त हैं। 7B-32B सीमा के बड़े मॉडल बेहतर गुणवत्ता दे सकते हैं, लेकिन context length, batch size और अपडेट किए जा रहे parameters की संख्या पर कड़े नियंत्रण की आवश्यकता होती है। यदि केवल एक कार्ड है, तो quantization या adapters के साथ mid-sized मॉडल को प्राथमिकता दें। यदि कुछ कार्ड हैं, तो 32B पर विचार कर सकते हैं, लेकिन training और serving दोनों pipelines को ध्यान में रखना होगा।

LoRA/QLoRA और 84GB GPU Memory

LoRA/QLoRA केवल parameters के एक उपसमूह को अपडेट करके memory घटाता है। QLoRA आमतौर पर quantization का उपयोग कर base weights को low precision पर रखता है, जबकि adapter अतिरिक्त updates सीखता है। यह दृष्टिकोण 84GB कार्ड पर 27B या 32B मॉडल का fine-tuning करते समय विशेष रूप से उपयोगी है। हालांकि, memory केवल कुल parameter count पर निर्भर नहीं करता। Prompt length, batch size, gradient checkpointing, adapters की संख्या और parameter type—all महत्वपूर्ण हैं। इसलिए, scale-up करने से पहले पहले एक छोटी configuration चलाएं।

GPU समय और लागत का अनुमान

लागत का अनुमान इस प्रकार किया जा सकता है: कार्डों की संख्या × 2.5 USD/hour/card, फिर runtime से गुणा करें। चलाए जाने से पहले steps, epochs, batch size, sample length और throughput का अनुमान लगाएं। वास्तविक speed और memory उपयोग मापने के लिए एक छोटा test set चलाएं। एक कार्ड के साथ runtime लंबा हो सकता है; कुछ कार्डों के साथ scaling efficiency और synchronization complexity को ध्यान में रखें। केवल hourly price पर ध्यान न दें; data preparation, training, evaluation से deployment तक कुल समय की गणना करें।

वियतनामी Data की तैयारी

Data fine-tuning की गुणवत्ता निर्धारित करता है। आपको encoding, diacritics, abbreviations, instructions और context को normalize करना होगा। अलग-अलग training, validation और evaluation sets बनाएं। Data वास्तविक use cases का प्रतिनिधित्व करे: customer support, summarization, classification, instruction generation या document processing। duplicates और low-quality data हटाएं। यदि data सीमित है, तो छोटे set से मॉडल को बहुत कुछ सीखने के बजाय light fine-tuning को प्राथमिकता दें, जिसे prompt engineering या RAG के साथ जोड़ा जा सकता है।

vLLM के साथ Evaluation और Serving

Fine-tuning के बाद, validation set, business criteria और manual checks का उपयोग करके evaluate करें। latency, throughput, error rate और user experience को monitor करें। Training के बाद inference serving के लिए vLLM एक उपयुक्त विकल्प है। इसे configure करते समय 84GB कार्ड, context length, concurrent requests और stability को ध्यान में रखें। यदि कुछ कार्ड उपयोग कर रहे हैं, तो production से पहले scalability का परीक्षण करें।

Strapi Vietnam दृष्टिकोण

Strapi Vietnam के operational experience के आधार पर, हम एक single card पर internal use के लिए 27B FP8 मॉडल चला रहे हैं। यह दर्शाता है कि 84GB GPU के साथ, FP8 format में 27B मॉडल reasonable configuration के साथ internal serving के लिए feasible हो सकता है। Fine-tuning की योजना बनाते समय, Strapi Vietnam आमतौर पर mid-sized मॉडल से शुरू करता है, LoRA/QLoRA के साथ memory को नियंत्रित करता है, small-scale tests चलाता है, और फिर data और training time को scale-up करता है। मुख्य बात सबसे बड़े मॉडल आकार को नहीं, बल्कि quality, cost और operations के बीच संतुलन खोजना है।