Выделенный сервер с 2×NVIDIA RTX 6000

Пара RTX 6000, это 96 ГБ суммарного VRAM: серверные карты Ada по 48 ГБ в связке из двух. Это конфигурация, где бюджет и нужда в большом пуле памяти сходятся: профессиональные карты со стабильными драйверами для длинных задач, а не игровые карты «на честном слове». В Dedicated-режиме обе карты целиком ваши. Конфигурацию 2×48 ГБ предлагает 1Dedic, 171 780 ₽/мес.

У RTX 6000 (Ada) нет NVLink: NVIDIA убрала NVLink-мост с поколения Ada. Две карты объединяются как multi-GPU через шину PCIe, модель распределяется через tensor parallelism, а обмен данными идёт по PCIe. Суммарные 96 ГБ складываются в общий пул памяти, но из-за медленного обмена масштабирование эффективнее в инференсе, чем в интенсивном обучении. Для дообучения и инференса с батчингом на двух картах это рабочий сценарий.

В 96 ГБ суммарного VRAM помещается инференс и дообучение моделей 30–34B в FP16 и до 70B в 4-битной квантизации, с запасом под батч и контекст. Для сервинга можно держать несколько средних моделей одновременно. Одна RTX 6000 (48 ГБ) держит 34B в FP16 впритык, а пара карт добавляет запас по памяти. Связка работает через PCIe, поэтому прирост в основном по объёму, а не по скорости обмена.

Если задача помещается в 48 ГБ, одной RTX 6000 достаточно: от 85 000 ₽/мес у IHC, вдвое дешевле. Пара карт нужна, когда модель крупнее и не влезает в одну. Сравнение с соседями: 2×RTX 6000 (171 780 ₽/мес) и 2×RTX 4090 48GB (от 92 100 ₽/мес) обе без NVLink, и дают те же 96 ГБ, но 4090 дешевле. 2×L40 (96 ГБ, 190 900 ₽/мес) близкий аналог чуть дороже; все три связки работают через PCIe.