Выделенный сервер RTX 6000 PRO

Да. 96 ГБ GDDR7 вмещают веса 70B в FP8 с запасом под контекст, а в 4-битной квантизации остаётся место под батч. Для полного файнтюнинга 70B одной карты мало, нужен узел с несколькими GPU.

Нет, карты в узле соединяются по PCIe Gen5. На одной карте это неважно, но тензорный параллелизм между несколькими такими GPU идёт медленнее, чем на связке с NVLink, поэтому RTX 6000 PRO берут под задачи, которые укладываются в один GPU.

Охлаждением. Серверная карта пассивная, без собственных вентиляторов, и рассчитана на продув корпуса при плотной установке, а тепловой пакет тот же: 600 Вт. Узлу нужен соответствующий воздушный поток и питание.

Инференс больших языковых моделей, файнтюнинг через LoRA и QLoRA, генерация изображений и видео, рендер и инженерные расчёты. Квантизованные модели от 100 млрд параметров тоже идут, если пропускная способность GDDR7 успевает за вычислениями.