Планирование дообучения вьетнамского LLM на 84GB

Почему сначала планирование

Дообучение вьетнамского LLM — это не просто запуск команды обучения. GPU на 84GB — ограниченный ресурс, поэтому без предварительных оценок можно столкнуться с нехваткой памяти, увеличением времени выполнения и ростом затрат. Чёткий план помогает выбрать подходящий размер модели, конфигурацию обучения и способ развёртывания.

Выбор размера модели 7B-32B

При наличии одной или нескольких карт на 84GB стоит рассматривать диапазон 7B-32B. Модели 7B обычно проще запускать и подходят для небольших наборов данных или быстрых экспериментов. Более крупные модели в диапазоне 7B-32B могут давать лучшее качество, но требуют более строгого контроля длины контекста, размера батча и числа обновляемых параметров. Если у вас одна карта, начните с модели среднего размера с квантованием или адаптерами. Если карт несколько, можно рассмотреть 32B, но нужно учитывать и обучение, и развёртывание.

LoRA/QLoRA и память GPU на 84GB

LoRA/QLoRA снижает потребление памяти, обновляя только часть параметров. QLoRA обычно сочетает квантование, чтобы базовые веса оставались в низкой точности, пока адаптер обучает дополнительные обновления. Этот подход особенно полезен при дообучении моделей 27B или 32B на карте 84GB. Однако память зависит не только от общего числа параметров. Важны длина промпта, размер батча, градиентный чекпоинтинг, количество адаптеров и тип параметров. Поэтому сначала запустите небольшую конфигурацию, прежде чем масштабировать.

Оценка времени GPU и стоимости

Стоимость можно оценить так: количество карт умножить на 2.5 USD/час/карту, затем умножить на время выполнения. Перед запуском оцените число шагов, эпох, размер батча, длину примеров и пропускную способность. Прогоните небольшой тестовый набор, чтобы измерить реальную скорость и потребление памяти. На одной карте время выполнения может быть больше; на нескольких картах учитывайте эффективность масштабирования и сложность синхронизации. Не ориентируйтесь только на почасовую цену: рассчитайте общее время от подготовки данных, обучения и оценки до развёртывания.

Подготовка вьетнамских данных

Данные определяют качество дообучения. Нужно нормализовать кодировку, диакритические знаки, сокращения, инструкции и контекст. Создайте отдельные обучающий, валидационный и оценочный наборы. Данные должны отражать реальные сценарии: поддержка клиентов, суммаризация, классификация, генерация инструкций или обработка документов. Уберите дубликаты и низкокачественные данные. Если данных мало, сделайте ставку на лёгкое дообучение в сочетании с промпт-инжинирингом или RAG, а не заставляйте модель слишком много учиться на малом наборе.

Оценка и развёртывание через vLLM

После дообучения оцените модель по валидационному набору, бизнес-критериям и ручной проверке. Следите за задержкой, пропускной способностью, уровнем ошибок и опытом пользователя. vLLM — подходящий выбор для развёртывания инференса после обучения. При настройке учитывайте карту 84GB, длину контекста, одновременные запросы и стабильность. Если используете несколько карт, протестируйте масштабируемость перед продакшеном.

Перспектива Strapi Vietnam

Опираясь на операционный опыт Strapi Vietnam, мы используем модель 27B FP8 для внутренних задач на одной карте. Это показывает, что на GPU 84GB модель 27B в формате FP8 может быть реалистична для внутреннего развёртывания при разумной конфигурации. При планировании дообучения Strapi Vietnam обычно начинает с модели среднего размера, контролирует память через LoRA/QLoRA, запускает тесты в малом масштабе, а затем масштабирует данные и время обучения. Главное — не гнаться за максимальным размером модели, а найти баланс между качеством, стоимостью и операционной устойчивостью.