Выделенный сервер с 2×NVIDIA RTX 4090

Пара RTX 4090 48GB, это 96 ГБ суммарного VRAM по цене, заметно меньшей, чем одна серверная карта с таким же объёмом. Это двухсторонняя модификация 4090 с удвоенной памятью: по 48 ГБ на карту, и в связке из двух, 96 ГБ под инференс и дообучение моделей 30–34B-класса. В Dedicated-режиме обе карты целиком ваши: без vGPU-соседей и деления памяти. Конфигурацию 2×48 ГБ предлагают 1Dedic, IHC (Интернет Хостинг Центр), Selectel от 92 100 ₽/мес.

Важно понимать: RTX 4090 48GB, это модифицированная 4090, у которой нет NVLink. Две карты не объединяются в единый GPU: суммарные 96 ГБ, это программный пул через распределённый инференс (например, vLLM с tensor parallelism), а обмен данными между картами идёт по PCIe. На практике это значит: модель распределяется по картам, но накладные расходы на межкарточный обмен выше, чем у NVLink-связки. Для инференса с умеренными батчами это работает, для обучения с постоянной синхронизацией градиентов, менее эффективно, чем на H100 или A100.

В 96 ГБ суммарного VRAM помещается инференс и дообучение моделей 30–34B в FP16 и до 70B в 4-битной квантизации, а также несколько средних моделей одновременно для сервинга. Одна 4090 48GB (48 ГБ) держит 34B в FP16 впритык, а пара добавляет запас под батч, контекст и более крупные веса в квантизации.

Если задача помещается в 48 ГБ, одной RTX 4090 48GB достаточно: от 54 800 ₽/мес у 1Dedic, почти вдвое дешевле. Две карты берут, когда нужен запас памяти. Сравнение с соседями: 2×RTX 6000 (96 ГБ, 171 780 ₽/мес) дают те же 96 ГБ, но с NVLink, для задач с интенсивным обменом между картами они эффективнее. Если NVLink не критичен, 2×RTX 4090 48GB, самый дешёвый способ получить 96 ГБ: 92 100–278 490 ₽/мес.