84GB GPU에서 베트남어 LLM 파인튜닝 계획

왜 먼저 계획해야 하는가

베트남어 LLM 파인튜닝은 단순히 학습 명령을 실행하는 것이 아닙니다. 84GB GPU는 제한된 리소스이므로 사전 추정이 없으면 메모리 부족, 긴 실행 시간, 비용 증가가 발생할 수 있습니다. 명확한 계획은 적절한 모델 크기, 학습 구성, 서빙 방식을 선택하는 데 도움이 됩니다.

7B-32B 모델 크기 선택

84GB 카드 1장 또는 몇 장을 사용할 경우 7B-32B 범위가 고려 대상입니다. 7B 모델은 일반적으로 실행이 쉽고 작은 데이터셋이나 빠른 실험에 적합합니다. 7B-32B 범위의 더 큰 모델은 더 나은 품질을 제공할 수 있지만, 컨텍스트 길이, 배치 크기, 업데이트되는 매개변수 수에 대한 더 정밀한 제어가 필요합니다. 카드가 1장뿐이라면 양자화 또는 어댑터와 함께 중간 크기 모델을 우선하세요. 카드가 몇 장이라면 32B를 고려할 수 있지만, 학습과 서빙 파이프라인 모두를 고려해야 합니다.

LoRA/QLoRA와 84GB GPU 메모리

LoRA/QLoRA는 일부 매개변수만 업데이트하여 메모리를 줄입니다. QLoRA는 일반적으로 양자화를 결합하여 기본 가중치를 저정밀도로 유지하면서 어댑터가 추가 업데이트를 학습하도록 합니다. 이 방식은 84GB 카드에서 27B 또는 32B 모델을 파인튜닝할 때 특히 유용합니다. 그러나 메모리는 총 매개변수 수에만 의존하지 않습니다. 프롬프트 길이, 배치 크기, 그라디언트 체크포인트링, 어댑터 수, 매개변수 유형 모두 중요합니다. 따라서 확장하기 전에 먼저 작은 구성으로 실행하세요.

GPU 시간과 비용 추정

비용은 카드 수 × 2.5 USD/시간/카드 × 실행 시간으로 추정할 수 있습니다. 실행 전에 스텝 수, 에포크, 배치 크기, 샘플 길이, 처리량을 추정하세요. 작은 테스트셋으로 실제 속도와 메모리 사용량을 측정하세요. 카드 1장에서는 실행 시간이 더 길 수 있고, 카드 몇 장에서는 확장 효율과 동기화 복잡성을 고려해야 합니다. 시간당 가격에만 집중하지 말고, 데이터 준비, 학습, 평가, 배포까지의 총 시간을 계산하세요.

베트남어 데이터 준비

데이터가 파인튜닝 품질을 결정합니다. 인코딩, 성조, 약어, 지시문, 컨텍스트를 정규화해야 합니다. 학습, 검증, 평가 세트를 별도로 구성하세요. 데이터는 실제 사용 사례를 대표해야 합니다: 고객 지원, 요약, 분류, 지시 생성, 문서 처리 등. 중복 데이터와 저품질 데이터를 제거하세요. 데이터가 제한적이라면 작은 데이터셋에서 모델을 과도하게 학습시키지 말고, 가벼운 파인튜닝에 프롬프트 엔지니어링 또는 RAG를 결합하는 것을 우선하세요.

평가와 vLLM 서빙

파인튜닝 후 검증셋, 비즈니스 기준, 수동 점검으로 평가하세요. 지연 시간, 처리량, 오류율, 사용자 경험을 모니터링하세요. 학습 후 추론 서빙에는 vLLM이 적합한 선택입니다. 구성 시 84GB 카드, 컨텍스트 길이, 동시 요청, 안정성을 고려하세요. 카드 몇 장을 사용하는 경우, 프로덕션 전에 확장성을 테스트하세요.

Strapi Vietnam 관점

Strapi Vietnam의 운영 경험에 기반하면, 현재 내부용으로 27B FP8 모델을 단일 카드에서 실행하고 있습니다. 이는 84GB GPU에서 FP8 형식의 27B 모델이 적절한 구성으로 내부 서빙에 실현 가능함을 보여줍니다. 파인튜닝을 계획할 때 Strapi Vietnam은 일반적으로 중간 크기 모델로 시작하고, LoRA/QLoRA로 메모리를 제어하며, 소규모 테스트를 실행한 뒤 데이터와 학습 시간을 확장합니다. 핵심은 가장 큰 모델 크기를 추구하는 것이 아니라, 품질, 비용, 운영 사이의 균형을 찾는 것입니다.