L40
1Dedic
48 ГБ
124 700 ₽/мес
32 vCPU / 32 ГБ RAM · Россия
Выделенный сервер L40
L40: 48 ГБ GDDR6 ECC и пропускная способность 864 ГБ/с, поэтому модели до 20B в FP16 помещаются на одну карту целиком. В выделенном сервере карта не делится между арендаторами: задержка инференса и темп транскодинга не зависят от чужой нагрузки.
от 124 700 ₽/мес
Перейти →
L40
1Dedic
48 ГБ × 2 = 96 ГБ
190 900 ₽/мес
≈ 95 450 ₽/мес / карта
32 vCPU / 32 ГБ RAM · Россия
L40
1Dedic
48 ГБ × 3 = 144 ГБ
257 100 ₽/мес
≈ 85 700 ₽/мес / карта
32 vCPU / 32 ГБ RAM · Россия
L40
Yandex Cloud
48 ГБ
261 838 ₽/мес
64 vCPU / 512 ГБ RAM · Россия
L40
1Dedic
48 ГБ × 4 = 192 ГБ
323 300 ₽/мес
≈ 80 825 ₽/мес / карта
32 vCPU / 32 ГБ RAM · Россия
| GPU | vCPU / RAM | Страна | ||
|---|---|---|---|---|
L40 1Dedic 48 ГБ | 32 vCPU / 32 ГБ RAM | Россия | 124 700 ₽/мес | Перейти → |
L40 1Dedic 48 ГБ × 2 = 96 ГБ | 32 vCPU / 32 ГБ RAM | Россия | 190 900 ₽/мес ≈ 95 450 ₽/мес / карта | Перейти → |
L40 1Dedic 48 ГБ × 3 = 144 ГБ | 32 vCPU / 32 ГБ RAM | Россия | 257 100 ₽/мес ≈ 85 700 ₽/мес / карта | Перейти → |
L40 Yandex Cloud 48 ГБ | 64 vCPU / 512 ГБ RAM | Россия | 261 838 ₽/мес | Перейти → |
L40 1Dedic 48 ГБ × 4 = 192 ГБ | 32 vCPU / 32 ГБ RAM | Россия | 323 300 ₽/мес ≈ 80 825 ₽/мес / карта | Перейти → |
Частые вопросы о выделенном сервере NVIDIA L40
Поместится ли модель в 48 ГБ на L40?+−
Да, если веса вместе с активациями укладываются в 48 ГБ. В FP16 помещаются обычно модели класса 13B-20B, в 4-битной квантизации влезает и 70B. Для файнтюнинга через LoRA хватает 7B-13B.
Есть ли на L40 NVLink?+−
Нет. L40 работает по PCIe и NVLink не поддерживает: обмен между несколькими картами идёт через шину PCIe. Для одиночного инференса это не мешает, а при тензорном параллелизме на нескольких картах PCIe становится узким местом.
Чем L40 отличается от L40S?+−
Память та же, 48 ГБ GDDR6 ECC, но у L40S выше частоты и есть ускорение FP8. L40 берут там, где FP8 не нужен: инференс в FP16, кодирование видео, рендер.
Под какие задачи берут выделенный сервер с L40?+−
Инференс, обработку и транскодинг видео, рендер с трассировкой лучей. Карта совмещает тензорные ядра, RT-ядра и видеомодули NVENC, поэтому на одном узле уживаются нейросеть и графика.
Рядом по классу стоят L4 и L40S. У L4 24 ГБ памяти и однослотовый профиль: её берут, когда карт в узле нужно много, а по питанию ограничены. L40S сохраняет те же 48 ГБ, но считает FP8 быстрее, поэтому выигрывает в инференсе с этой точностью. Несколько L40 в одном сервере имеет смысл, когда одной карты по памяти мало; межкартный обмен тогда идёт по PCIe, NVLink у L40 нет.