Выделенный сервер с 4×NVIDIA L4

4 карты L4, 96 ГБ суммарной памяти по цене одной флагманской карты. Это конфигурация, где бюджет и объём VRAM встречаются: 96 ГБ хватает на то, что одной L4 не поднять, а серверный ценник остаётся умеренным. В Dedicated-режиме все четыре карты работают только на вас: без vGPU-шардинга и без соседей, поэтому длинные инференсы и фоновые обработки не замедляются чужими задачами. Тариф у 1Dedic, 133 700 ₽/мес.

L4, карта без NVLink, и это надо понимать заранее. Четыре карты не превращаются в один GPU на 96 ГБ: суммарная память, это программный пул, собранный через распределённый инференс. vLLM и аналогичные фреймворки умеют распределять модель по картам, но обмен между ними идёт по PCIe, и накладные расходы на межкарточную коммуникацию заметно выше, чем у NVLink-связки. Для инференса с длинным контекстом и средними батчами это работает. Для обучения с постоянной синхронизацией градиентов эффективнее смотреть на модели с NVLink (A5000).

96 ГБ суммарного VRAM, это инференс и файнтюнинг моделей 30–34B в FP16 и до 70B в 4-битной квантизации. Места хватает на большие батчи и длинный контекст, а также на несколько средних моделей одновременно. По одной карте (24 ГБ) 30B-класс в FP16 не помещается, именно 4 карты открывают этот класс.

4 карты L4 (96 ГБ, 133 700 ₽/мес), самая дешёвая точка входа в класс «30–34B в FP16». Если хватает 48 ГБ, 2 L4 обойдутся в 96 100 ₽/мес, почти в полтора раза дешевле. Если нужен именно NVLink для обучения, L40 ×2 даёт те же 96 ГБ, но тоже без NVLink, а A5000 ×2 со связкой через мост — с NVLink (190 900 ₽/мес за L40). vGPU остаётся вариантом для коротких задач: дешевле, но карта делится с соседями. Для длительного предсказуемого инференса 4×L4 в Dedicated, разумный компромисс.