Железо под локальную LLM в 2026: как выбрать конфигурацию под свою нагрузку

Если раньше локальную LLM выбирали по принципу «лишь бы влезло в GPU», то в 2026 году картина стала жёстче и честнее. Для production-нагрузки важны не только TFLOPS, но и объём памяти, bandwidth, интерконнект между GPU, качество CPU-хоста, NVMe-слой и inference stack.

Три архитектуры NVIDIA активны одновременно: Hopper (H100/H200) - зрелые и доступные, Blackwell (B200/B300) - рампятся с падающими ценами, Rubin (R100) - вторая половина 2026. Плюс AMD с MI300X/MI355X и открытым ROCm стеком.

Хороший AI-сервер сегодня - это не мощная видеокарта в корпусе. Это сбалансированная система: память под веса и KV-cache, скорость доставки данных, пропускная способность между картами, CPU не должен быть узким горлом.

Пять вопросов перед выбором железа: какая модель будет основной (7B, 32B, 70B, 405B+)? Только инференс или ещё дообучение? Сколько одновременных пользователей? Какой нужен контекст (короткий чат или 128K+ RAG)? Один сервер, несколько узлов или rack-scale?

Эта статья - про международный enterprise-рынок. Для российских реалий и consumer GPU - отдельный материал.

Blackwell (B200/B300)

Blackwell - флагман 2026: 208B транзисторов, два reticle-limited кристалла, соединённых 10 TB/s чип-к-чипу. B200: 192 GB HBM3e, до 20 PFLOPS FP4. Цена: $30 - 40K за GPU. NVLink 5: 1.8 TB/s на GPU. Ключевое преимущество - FP4 inference: 5× быстрее H100 на тех же задачах.

Hopper (H100/H200)

Зрелая платформа, широко доступна. H100: 80 GB HBM3, 3.35 TB/s. H200: 141 GB HBM3e, 4.8 TB/s - на 76% больше памяти и 43% быстрее bandwidth, чем H100. Для LLM inference H200 часто оптимален: помещается 70B-модель в FP8 без шардирования.

L40S

48 GB GDDR6, без HBM. Значительно дешевле H100. Для лёгких моделей (7B - 13B) и высокого concurrency - лучший cost-per-inference. Но для больших LLM памяти не хватает.

RTX PRO 6000 Blackwell

96 GB GDDR7. Две версии: Workstation (1792 GB/s, 600W) и Server (1597 GB/s, 600W, MIG, пассивное охлаждение). Server Edition поддерживает до 4 изолированных MIG-инстансов - можно раздать разным командам. Промежуточный класс между consumer и datacenter.

AMD Instinct MI355X

288 GB HBM3e, 8 TB/s bandwidth. Открытый ROCm 6.x стек. Для сценариев, где критичен объём памяти: 70B-модель в FP16 на одной карте. Совместимость с vLLM и SGLang через ROCm.

Наши рекомендации по уровням

• Пилот, R&D, 1 - 2 сценария: RTX PRO 6000 Blackwell 96 GB (Workstation Edition). Быстрый старт, 70B в Q4, без datacenter-инфраструктуры.
• Малая команда, production-ассистент: RTX PRO 6000 Server Edition или H200. MIG для изоляции, ECC, серверная гарантия.
• Многопользовательская нагрузка, большие модели: DGX B200 / B300. 8× GPU с NVLink, 1440+ GB суммарно.
• AI-factory, trillion-parameter: GB200 NVL72. Liquid-cooled rack-scale.
• Открытый стек, максимальный объём памяти: AMD MI355X. 288 GB HBM3e на карту - лучший показатель на рынке.

Если ваш кейс ещё не дорос до rack-scale - не покупайте rack-scale. Правильный выбор начинается с честного профиля нагрузки.

Что не покупать

• Систему, где GPU мощная, а CPU, RAM и NVMe откровенно слабые.
• Production на случайных consumer-картах без ECC и серверной гарантии.
• Железо с расчётом на экономию охлаждения и блоков питания.
• Сервер без учёта того, что RAG и agentic workflows создают допнагрузку на память, storage и сеть.
• Железо «с запасом на будущее», если вы ещё не знаете, какая модель и concurrency у вас реально будет.

Софт решает

Даже лучшая GPU без правильного inference stack - просто дорогой нагреватель. vLLM для быстрого serving, SGLang для сценариев с общими префиксами (RAG), TensorRT-LLM для максимальной утилизации NVIDIA. Правильный софт может дать 2 - 3× прирост throughput на том же железе.