วางแผน Fine-Tuning LLM ภาษาเวียดนามบน GPU 84GB

ทำไมต้องวางแผนก่อน

การ Fine-Tuning LLM ภาษาเวียดนามไม่ใช่เพียงการรันคำสั่งฝึกโมเดล GPU 84GB เป็นทรัพยากรที่มีจำกัด หากไม่มีประมาณการล่วงหน้า อาจเกิดปัญหาหน่วยความจำไม่พอ ระยะเวลาใช้งานนานขึ้น และต้นทุนสูงขึ้น แผนงานที่ชัดเจนช่วยให้เลือกขนาดโมเดล การตั้งค่าการฝึก และแนวทางให้บริการได้อย่างเหมาะสม

การเลือกขนาดโมเดล 7B-32B

เมื่อมีกราฟิกการ์ด 84GB หนึ่งหรือหลายใบ ช่วง 7B-32B เป็นตัวเลือกที่ควรพิจารณา โมเดล 7B มักใช้งานง่าย เหมาะกับชุดข้อมูลขนาดเล็กหรือการทดลองเบื้องต้น โมเดลขนาดใหญ่กว่าในช่วง 7B-32B อาจให้คุณภาพดีกว่า แต่ต้องควบคุมความยาวบริบท ขนาด batch และจำนวนพารามิเตอร์ที่ต้องการอัปเดตอย่างใกล้ชิด หากมีเพียง 1 ใบ ควรเลือกโมเดลขนาดกลางพร้อม quantization หรือ adapter หากมีหลายใบ อาจพิจารณา 32B แต่ต้องคำนึงถึงทั้งกระบวนการฝึกและกระบวนการให้บริการ

LoRA/QLoRA กับหน่วยความจำ GPU 84GB

LoRA/QLoRA ช่วยลดการใช้หน่วยความจำโดยอัปเดตเฉพาะส่วนหนึ่งของพารามิเตอร์ QLoRA มักใช้ quantization เพื่อให้ weights พื้นฐานมีความละเอียดต่ำ ขณะที่ adapter เรียนรู้การอัปเดตเพิ่มเติม แนวทางนี้เหมาะกับการ Fine-Tuning โมเดล 27B หรือ 32B บนการ์ด 84GB อย่างไรก็ตาม หน่วยความจำไม่ได้ขึ้นกับจำนวนพารามิเตอร์รวมเพียงอย่างเดียว ความยาว prompt ขนาด batch gradient checkpointing จำนวน adapter และประเภทพารามิเตอร์ล้วนมีผล ดังนั้นควรทดสอบการตั้งค่าขนาดเล็กก่อนขยายขนาด

การประมาณเวลา GPU และต้นทุน

ต้นทุนสามารถประมาณได้โดยนำจำนวนการ์ดคูณกับ 2.5 USD/ชั่วโมง/การ์ด แล้วคูณด้วยระยะเวลาใช้งาน ก่อนรัน ควรประมาณจำนวน steps, epochs, ขนาด batch, ความยาวตัวอย่าง และ throughput ทดสอบชุดข้อมูลขนาดเล็กเพื่อวัดความเร็วและการใช้หน่วยความจำจริง หากมี 1 ใบ ระยะเวลาอาจนานขึ้น หากมีหลายใบ ต้องคำนึงถึงประสิทธิภาพการขยายขนาดและความซับซ้อนของการซิงโครไนซ์ ไม่ควรดูเฉพาะราคาต่อชั่วโมง แต่ต้องคำนวณเวลาทั้งหมดตั้งแต่การเตรียมข้อมูล การฝึกโมเดล การประเมินผล ไปจนถึงการนำไปใช้งาน

การเตรียมข้อมูลภาษาเวียดนาม

ข้อมูลกำหนดคุณภาพของการ Fine-Tuning ต้องปรับมาตรฐาน encoding เครื่องหมายวรรณยุกต์ คำย่อ คำสั่ง และบริบท สร้างชุดข้อมูลสำหรับฝึก ตรวจสอบ และประเมินผลแยกกัน ข้อมูลควรสะท้อนการใช้งานจริง เช่น การสนับสนุนลูกค้า การสรุปข้อมูล การจำแนกประเภท การสร้างคำสั่ง หรือการประมวลผลเอกสาร ตัดข้อมูลซ้ำและข้อมูลคุณภาพต่ำ หากข้อมูลมีจำกัด ควรเน้นการ Fine-Tuning แบบเบา ผสมผสานกับ prompt engineering หรือ RAG แทนการบังคับให้โมเดลเรียนรู้มากเกินไปจากชุดข้อมูลขนาดเล็ก

การประเมินผลและการให้บริการด้วย vLLM

หลัง Fine-Tuning แล้ว ควรประเมินผลด้วยชุดข้อมูลตรวจสอบ เกณฑ์ทางธุรกิจ และการตรวจสอบโดยมนุษย์ ติดตาม latency, throughput, อัตราความผิดพลาด และประสบการณ์ของผู้ใช้ vLLM เป็นตัวเลือกที่เหมาะสมสำหรับการให้บริการ inference หลังการฝึกโมเดล เมื่อตั้งค่าควรพิจารณากราฟิกการ์ด 84GB ความยาวบริบท จำนวนคำขอพร้อมกัน และความเสถียร หากใช้หลายใบ ควรทดสอบการขยายขนาดก่อนนำไปใช้งานจริง

มุมมองของ Strapi Vietnam

จากประสบการณ์ดำเนินงานของ Strapi Vietnam เราใช้งานโมเดล 27B FP8 สำหรับงานภายในบนการ์ดใบเดียว ซึ่งแสดงให้เห็นว่า GPU 84GB สามารถรองรับโมเดล 27B ในรูปแบบ FP8 สำหรับการใช้งานภายในได้ด้วยการตั้งค่าที่เหมาะสม เมื่อวางแผน Fine-Tuning Strapi Vietnam มักเริ่มจากโมเดลขนาดกลาง ควบคุมหน่วยความจำด้วย LoRA/QLoRA ทดสอบในระดับเล็กก่อน แล้วจึงขยายขนาดข้อมูลและเวลาฝึกโมเดล สิ่งสำคัญไม่ใช่การไล่ตามขนาดโมเดลที่ใหญ่ที่สุด แต่คือการหาสมดุลระหว่างคุณภาพ ต้นทุน และการดำเนินงาน