Сервер для инференса LLM 4x rtx 3090
AMD Ryzen Threadripper 1900X (8-core) + ASUS PRIME X399-A,
Kingston FURY Beast 2x8GB DDR4 PC4-28800 KF436C17BBK2/16 - 4шт. = 32Gb
SSD Crucial P5 1TB CT1000P5SSD8
Блок питания ADATA XPG Cybercore II 1300W CYBERCOREII1300P-BKCEU
Palit GeForce RTX 3090 GamingPro 24GB GDDR6X, 4шт (VRAM=96Gb)

Установлена Ubuntu 24.04.2 LTS
Настроен vLLM для следующих моделей:
Devstral-Small-2-24B-Instruct-2512(16bit, 48Gb) контекст 256k
gpt-oss-120b(4bit, 60Gb) контекст 128k
Kimi-Linear-48B-A3B-Instruct-AWQ-8bit (8bit, 50Gb) контекст 256k
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 (16bit, 59Gb) контекст 1M
Qwen3-Coder-30B-A3B-Instruct (16bit, 57Gb) контекст 256k
Qwen3-Next-80B-A3B-Instruct-FP8 (8bit, 76Gb) контекст 256k
Qwen3-Next-80B-A3B-Thinking-FP8 (8bit, 76Gb) контекст 256k