Выделенный сервер с 4×NVIDIA L40S

4 карты L40S, 192 ГБ суммарного VRAM с FP8: конфигурация под полный файнтюнинг 70B-класса в FP16. Четыре L40S, это вычислительный пул уровня серьёзных ИИ-задач при цене ниже флагманских кластеров. В Dedicated-режиме весь сервер работает только на вашу задачу. Тариф у 1Dedic, 349 700 ₽/мес.

У L40S нет NVLink: четыре карты объединяются как multi-GPU через шину PCIe. tensor parallelism раскладывает модель по картам, а обмен данными идёт по PCIe, без выделенного межкарточного канала. Суммарные 192 ГБ образуют общий пул памяти, но обмен градиентами по PCIe ограничивает масштабирование. Такая связка подходит для инференса и объёмных задач памяти, а для интенсивного обучения на многих картах эффективнее NVLink-ускорители.

192 ГБ суммарного VRAM, полный файнтюнинг 70B-класса в FP16 с запасом под батч, градиенты и контекст, сервинг нескольких больших моделей одновременно. FP8-ускорение L40S даёт запас и по скорости. Это конфигурация, где 70B помещается целиком, без квантизации и без выгрузки весов в оперативную память.

4 карты L40S (192 ГБ, 349 700 ₽/мес), топ L40S-линейки. Если хватает 96 ГБ, 2×L40S от 199 000 ₽/мес почти вдвое дешевле. По объёму 4×L40 (323 300 ₽/мес) дают те же 192 ГБ, но без FP8-ускорения. Все связки без NVLink, обмен по PCIe. Если приоритет, цена за объём, 8×L4 за 208 900 ₽/мес дают те же 192 ГБ. Флагманы H100/H200 с NVLink берут, когда нужны ещё большие пулы и специфические форматы.