Аренда GPU для дообучения LLM
Дообучение LLM (LoRA, QLoRA) это не обучение с нуля. Адаптеры влезают в 24 ГБ. Полный проход по весам 70B+ требует 80 ГБ HBM.
Ниже карты под LoRA и под полный fine-tune. Цены за час.
Сравните цены на аренду видеокарт у 35 провайдеров России, Беларуси и Казахстана
LoRA и QLoRA
Дообучение 7–13B на 24–48 ГБ
RTX 4090
24 ГБGDDR6X
от 17,99 ₽/час
≈ 13 134 ₽ / мес
101 предложение →
RTX A5000
24 ГБGDDR6
от 24,26 ₽/час
≈ 17 710 ₽ / мес
58 предложений →
RTX 5090
32 ГБGDDR7
от 24,84 ₽/час
≈ 18 133 ₽ / мес
99 предложений →
RTX 3090
24 ГБGDDR6X
от 29,17 ₽/час
≈ 21 294 ₽ / мес
31 предложение →
RTX A6000
48 ГБGDDR6
от 97,00 ₽/час
≈ 70 810 ₽ / мес
7 предложений →
L40S
48 ГБGDDR6
от 106,25 ₽/час
vGPU от 12,46 ₽/час
≈ 77 563 ₽ / мес
17 предложений →
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
24 ГБGDDR6X | от 17,99 ₽/час | ≈ 13 134 ₽ | 101 предложение → | ||
24 ГБGDDR6 | от 24,26 ₽/час | ≈ 17 710 ₽ | 58 предложений → | ||
32 ГБGDDR7 | от 24,84 ₽/час | ≈ 18 133 ₽ | 99 предложений → | ||
24 ГБGDDR6X | от 29,17 ₽/час | ≈ 21 294 ₽ | 31 предложение → | ||
48 ГБGDDR6 | от 97,00 ₽/час | ≈ 70 810 ₽ | 7 предложений → | ||
48 ГБGDDR6 | от 106,25 ₽/час vGPU от 12,46 ₽/час | ≈ 77 563 ₽ | 17 предложений → |
Полный fine-tune
70B+ и полный проход по весам
A100
40 ГБHBM2
от 25,90 ₽/час
≈ 18 907 ₽ / мес
12 предложений →
H200
141 ГБHBM3e
от 136,16 ₽/час
≈ 99 397 ₽ / мес
25 предложений →
A100
80 ГБHBM2e
от 185,00 ₽/час
≈ 135 050 ₽ / мес
49 предложений →
H100
80 ГБHBM3
от 242,00 ₽/час
≈ 176 660 ₽ / мес
40 предложений →
| GPU | Память | Применение | ₽/час↑ | ≈ в месяц | |
|---|---|---|---|---|---|
40 ГБHBM2 | от 25,90 ₽/час | ≈ 18 907 ₽ | 12 предложений → | ||
141 ГБHBM3e | от 136,16 ₽/час | ≈ 99 397 ₽ | 25 предложений → | ||
80 ГБHBM2e | от 185,00 ₽/час | ≈ 135 050 ₽ | 49 предложений → | ||
80 ГБHBM3 | от 242,00 ₽/час | ≈ 176 660 ₽ | 40 предложений → |
QLoRA 7-13B: RTX 4090. Полный fine-tune 70B+: A100 80 ГБ или H100.
LoRA на RTX 4090
Для 7-13B хватает 24 ГБ. 70B в QLoRA лучше с 48 ГБ: L40S или A6000. Полный проход по весам: A100 или H100.
LoRA и QLoRA
LoRA дообучает небольшие адаптеры, веса модели заморожены. QLoRA квантует базу и экономит память. Оба способа дешевле полного fine-tune.