Выделенный сервер с 4×NVIDIA RTX 6000 PRO

4 карты RTX 6000 PRO, это 384 ГБ суммарного VRAM: конфигурация, где полный FP16 моделей 70B-класса становится доступен без флагманского ценника дата-центра. Карты поколения Blackwell с 96 ГБ каждая в связке из четырёх дают пул памяти и вычислительной мощности уровня серьёзного кластера. В Dedicated-режиме все четыре карты работают только на вашу задачу. Конфигурацию 4×96 ГБ предлагает Reg.Cloud, 496 100 ₽/мес.

4×96 ГБ, это 384 ГБ суммарной памяти. У RTX 6000 PRO (Blackwell) нет NVLink: как и другие карты Blackwell для рабочих станций, она рассчитана на PCIe 5.0, а несколько карт объединяются через программный стек NVIDIA AI Enterprise, а не через мост. Передача между картами идёт по PCIe. Суммарная память ведёт себя как общий пул: веса, градиенты и оптимизаторные состояния помещаются целиком, без квантизации и без выгрузки в оперативную память. Но масштабирование ограничено скоростью PCIe, поэтому интенсивное обучение эффективнее на NVLink-ускорителях, а для большого пула памяти связка подходит.

В 384 ГБ суммарного VRAM помещается полное обучение и файнтюнинг моделей класса 70B в FP16 целиком, с запасом под батч, градиенты и контекст. Для инференса это несколько больших моделей одновременно или 70B с длинным контекстом. Это конфигурация, где модель 70B считается без обрезки весов: 384 ГБ хватает и на параметры, и на рабочее состояние обучения.

Если модель помещается в 96 ГБ, одной RTX 6000 PRO достаточно: от 144 900 ₽/мес у Reg.Cloud, в разы дешевле. Четыре карты берут, когда нужен полный FP16 70B-класса. Сравнение с соседями: 4×H100 (320 ГБ), от 986 100 ₽/мес, а 4×RTX 6000 PRO дают больше памяти (384 ГБ) за 496 100 ₽/мес. Если хватает 192 ГБ, 4×L40S за 349 700 ₽/мес вдвое дешевле, но 70B в FP16 там помещается без запаса. Для 768 ГБ и более крупных задач, 8×RTX 6000 PRO за 874 200 ₽/мес.