H200 NVL
Selectel
141 ГБ
415 800 ₽/мес
48 vCPU / 256 ГБ RAM · Россия
Выделенный сервер H200 NVL
NVIDIA H200 NVL: PCIe-исполнение H200 с 141 ГБ HBM3e и пропускной способностью памяти 4.8 ТБ/с. В выделенном сервере карта достаётся целиком, без шардинга и соседей, поэтому весь объём HBM3e работает на одну задачу.
от 415 800 ₽/мес
Выберите GPU
Перейти →
H200 NVL
Selectel
141 ГБ × 8 = 1128 ГБ
4 091 570 ₽/мес
≈ 511 446 ₽/мес / карта
96 vCPU / 768 ГБ RAM · Россия
Частые вопросы о выделенном сервере с NVIDIA H200 NVL
Чем H200 NVL отличается от H100?+−
Памятью: 141 ГБ HBM3e против 80 ГБ HBM3 и 4.8 ТБ/с против 3.35 ТБ/с. На одну карту помещается больше весов и длинного контекста, поэтому модель, которая на H100 требует двух GPU, на H200 NVL остаётся в одной карте.
Хватит ли 141 ГБ под инференс 70B?+−
В FP16 веса 70B занимают около 140 ГБ, и под KV-кэш с батчем места почти не остаётся. В FP8 или 4-битной квантизации запас уже рабочий: веса, кэш и очередь запросов умещаются на одной карте.
Зачем NVLink, если карта ставится в PCIe-слот?+−
NVLink-мост соединяет карты напрямую и убирает обмен через PCIe и хост-память. Когда модель разложена на несколько NVL, тензорный параллелизм упирается в этот канал, а не в шину слота.
Для каких задач берут H200 NVL?+−
Инференс моделей от 70B, дообучение LoRA и длинный контекст: там, где важен объём на каждой карте, а не NVLink-домен на восемь GPU. Задачи с упором на долю карты под короткие всплески этот сервер перекрывает, им достаточно виртуализации.
H200 NVL и H200 SXM делят один чип, но подключены по-разному: у NVL PCIe и NVLink-мосты между картами, у SXM единый домен на восемь GPU. NVL берут под инференс и дообучение моделей от 70B, где решает объём 141 ГБ на каждой карте, а не связность всего узла.