Выделенный сервер с 2×NVIDIA L4

2 карты L4, это про бюджетный multi-GPU: 48 ГБ суммарной памяти по цене, заметно меньшей, чем одна карта с таким же объёмом. L4, компактная карта Ada для инференса и тонких задач: по одной она держит модели до 13B, а связка из двух расширяет пул памяти без перехода в серверный ценник. Dedicated-режим тут важен: без соседей по vGPU скорость инференса стабильна, и карты не делятся с чужими задачами. Тариф у 1Dedic, 96 100 ₽/мес.

Важно понимать: у L4 нет NVLink, и две карты не складываются в единый GPU. Суммарные 48 ГБ, это программный пул: распределённый инференс (например, vLLM с tensor parallelism) раскладывает модель по картам, но данные между ними идут по PCIe, а не по быстрому NVLink-каналу. На практике это значит: модель распределяется, но накладные расходы на межкарточный обмен выше, чем у связки с NVLink. Для инференса с умеренными батчами это нормально, для обучения с постоянной синхронизацией градиентов менее эффективно, чем на A5000 с NVLink.

48 ГБ суммарного VRAM хватает на инференс моделей 7–13B в FP16 и до 30B в 4-битной квантизации, плюс LoRA-дообучение средних моделей. Генерация изображений и рендер тоже комфортны. Для сравнения: одна L4 (24 ГБ) держит модели до 13B в 4-бит, а две карты добавляют запас под контекст и батч.

Если задача помещается в одну карту (24 ГБ), берите один L4: это дешевле (в каталоге от 30 744 ₽/мес у Timeweb) и проще. Две карты нужны, когда не хватает памяти под контекст и батч или нужна параллельная обработка. Если нужен NVLink и более эффективный multi-GPU, смотрите A5000 ×2: дороже, но межкарточный обмен через мост быстрее (у L40 и L4 NVLink нет). Для коротких задач vGPU будет дешевле, но с делением карты.