Выделенный сервер с 2×NVIDIA RTX 3080 Ti

Пара RTX 3080 Ti, это 24 ГБ суммарного VRAM по минимальной цене в сегменте: конфигурация для лёгкого инференса и генерации изображений, где нужен запас памяти сверх одной карты, а не топовая вычислительная мощность. 12 ГБ на карту, в связке из двух, 24 ГБ. В Dedicated-режиме обе карты целиком ваши: без vGPU-шардинга и соседей. Конфигурацию 2×12 ГБ предлагает SpaceWeb, 81 000 ₽/мес.

Важно понимать: у RTX 3080 Ti нет NVLink. Две карты работают независимо, и суммарные 24 ГБ, это программный пул: фреймворки вроде vLLM могут распределить модель по двум картам, но обмен данными идёт по PCIe с накладными расходами. На практике для лёгкого инференса и генерации изображений это работает: каждая карта обрабатывает свою порцию. Для задач с интенсивным обменом между картами (обучение, огромные батчи) лучше смотреть на конфигурации с NVLink или на одну карту с большим VRAM.

В 24 ГБ суммарного VRAM помещается инференс моделей до 7B в FP16 и до 13B в 4-битной квантизации, а также генерация изображений (Stable Diffusion 1.5) с запасом под батч. Одна RTX 3080 Ti (12 ГБ) держит 7B в FP16 впритык, а пара карт добавляет запас под контекст и батч, плюс параллельную обработку двух задач.

Если хватает 12 ГБ, одной RTX 3080 Ti достаточно: 81 000 ₽/мес, это тариф пары, а одна карта у Reg.Cloud стоит 48 700 ₽/мес. Пара нужна, когда нужен запас памяти или параллельная обработка. Сравнение с соседями: 2×RTX A4000 (32 ГБ, 56 780 ₽/мес) дешевле и дают больше памяти, но карты слабее в вычислениях. Для серьёзного инференса 2×RTX 4090 48GB (96 ГБ) дадут вчетверо больше памяти, но стоят от 92 100 ₽/мес.