Выделенный сервер с 8×NVIDIA RTX 6000 PRO

8 карт RTX 6000 PRO, это 768 ГБ суммарного VRAM: редкая конфигурация, где суммарная память измеряется сотнями гигабайт, а модели класса 70B+ помещаются в FP16 целиком, с большим запасом под батчи и несколько задач. Восемь карт Blackwell в одном сервере, это уровень небольшого кластера в одной физической машине. В Dedicated-режиме все восемь карт работают только на вашу задачу. Тариф у Reg.Cloud, Selectel, 874 200 ₽/мес, около 109 275 ₽/мес за одну карту.

8×96 ГБ, это 768 ГБ суммарной памяти. У RTX 6000 PRO (Blackwell) нет NVLink: несколько карт объединяются через программный стек NVIDIA AI Enterprise и шину PCIe 5.0, а не через мост. Transfer между картами идёт по PCIe. Суммарная память ведёт себя как общий пул, и модель 70B+ держится целиком в VRAM: без квантизации, без шардинга весов и без выгрузки в оперативную память. Для самого большого класса моделей каталога это конфигурация «влезет целиком», но масштабирование ограничено скоростью PCIe, поэтому интенсивное обучение эффективнее на NVLink-ускорителях.

В 768 ГБ суммарного VRAM помещается обучение и инференс моделей класса 70B в FP16 с большим запасом, а также несколько больших моделей одновременно для продакшн-сервинга. Места хватает на крупные батчи и длинный контекст. Это одна из самых вместительных конфигураций каталога: суммарный VRAM больше, чем у 8×H100 (640 ГБ), и сравним с дата-центровыми узлами.

8×RTX 6000 PRO (768 ГБ, 874 200 ₽/мес), самая вместительная конфигурация на 768 ГБ в каталоге и одна из самых выгодных: 8×H100 (640 ГБ) стоит 1 785 400 ₽/мес, а 8×H200 (1128 ГБ), 3 200 000 ₽/мес. По памяти и цене 6000 PRO закрывает нишу между ними. Если 384 ГБ достаточно, 4×RTX 6000 PRO за 496 100 ₽/мес, почти вдвое дешевле. 8 карт оправданы, когда модель крупнее 70B, нужны несколько тяжёлых задач одновременно или большой запас под рост.