Выделенный сервер с 8×NVIDIA H200

8 карт H200, это 1128 ГБ суммарной памяти HBM3e: один узел тянет то, что на 8×H100 не влезает. H200, та же архитектура Hopper, что и H100, но с памятью почти в 1,8 раза больше на карту (141 против 80 ГБ), и для обучения это меняет класс задач: крупные модели собираются в одном сервере, без переброса между узлами. В Dedicated-режиме вся память целиком работает на вашу задачу. Тариф у Selectel, 6 500 000 ₽/мес, около 812 500 ₽/мес за одну карту.

8×141 ГБ, это не одна карта на 1128 ГБ: её не существует, сумма складывается из восьми ускорителей. Если карты связаны NVLink, tensor parallelism раскладывает веса по всем восьми H200, и обмен данными идёт по быстрым NVLink-каналам, а не по сети. Если связь только по PCIe, обмен медленнее, и масштабирование хуже. Поэтому объём 1128 ГБ — это сумма связки, а эффективность масштабирования зависит от того, как карты соединены у конкретного провайдера. Для обучения модель в сотни миллиардов параметров распределяется по картам, но через быстрые NVLink-каналы это эффективнее, чем по сетевому коммутатору.

В 1128 ГБ помещается обучение моделей класса 70B в FP16 с большим запасом и модели крупнее, вплоть до ~100B. Для инференса можно держать несколько больших моделей одновременно или одну с очень длинным контекстом. Для подавляющего большинства open-source моделей это конфигурация «влезет целиком», без квантизации и без компромиссов по размеру батча.

По сравнению с 8×H100 (640 ГБ) H200 даёт почти вдвое больше суммарной памяти при той же архитектуре: если 640 ГБ не хватает, H200 закрывает задачу без второго узла. Это дороже: 6 500 000 ₽/мес против 1 785 400 ₽/мес за 8×H100. Если модель помещается в 640 ГБ, 8×H100 дешевле почти вдвое, берите его. А если нужны уже 2+ ТБ суммарной памяти, смотрите B300 (8×288 ГБ = 2304 ГБ), но это сегмент от 5 500 000 ₽/мес.