Что изменилось в 2026
Этот разбор ориентирован на международный enterprise-рынок: официальные workstation/server/rack-scale платформы, глобальные поставки и datacenter-инфраструктура. Если вы работаете в России и вам нужен практический разбор consumer GPU, сервиса и локальной сборки, см. Локальная LLM в России: как собрать рабочий сервер на consumer GPU.
Если раньше локальную LLM выбирали по принципу «лишь бы влезло в GPU», то в 2026 году картина стала жёстче и честнее. Для нормальной production-нагрузки уже важны не только TFLOPS, но и объём памяти, bandwidth, интерконнект между GPU, качество CPU-хоста, NVMe-слой и софт для инференса.
Иными словами, хороший AI-сервер сегодня — это не просто мощная видеокарта в корпусе. Это сбалансированная система, которая умеет держать модель в памяти, быстро кормить её данными и не разваливаться под реальными запросами пользователей.
На что смотреть первым делом
Перед выбором железа мы обычно задаём пять вопросов.
- Какая модель будет основной: 7B, 14B, 32B, 70B или что-то крупнее?
- Нужен только инференс или ещё дообучение и эксперименты?
- Сколько одновременных пользователей будет работать в пике?
- Какой нужен контекст: короткий чат или длинный RAG-процесс с документами?
- Это один сервер, несколько узлов или сразу rack-scale архитектура?
Если ответов на эти вопросы нет, легко купить слишком слабую систему или, наоборот, переплатить за железо, которое большую часть времени будет простаивать.
Главная ошибка при выборе
Самая распространённая ошибка — покупать GPU, а не систему.
У локальной LLM лимитирует не только вычисление. Очень часто её ограничивает память под веса и KV cache, скорость доставки данных, пропускная способность между картами и то, насколько быстро CPU может подать всё это в GPU.
Поэтому в 2026 году «лучшая» конфигурация — это не та, у которой больше всего маркетинговых цифр, а та, у которой нужная модель помещается без постоянных компромиссов и работает стабильно на целевом SLA.
Уровень 1. Рабочая станция и пилот
Если вам нужен локальный ИИ для команды из нескольких человек, для прототипов, внутреннего R&D или первого коммерческого пилота, сейчас очень логично смотреть на 96GB-класс профессиональных карт.
Например, NVIDIA RTX PRO 6000 Blackwell Workstation Edition и RTX PRO 6000 Blackwell Server Edition идут с 96 GB GDDR7, а серверная версия поддерживает datacenter-формат, MIG и до четырёх изолированных инстансов. У серверной версии NVIDIA указывает пропускную способность памяти 1597 GB/s и энергопотребление до 600 W, а у workstation-версии — 1792 GB/s и 600 W.
Это уже не «игрушка для тестов», а очень серьёзный рабочий инструмент для локального инференса, RAG, внутреннего ассистента и небольших агентных сценариев.
Для R&D и демо некоторые до сих пор смотрят на GeForce RTX 5090 с 32 GB GDDR7. Это мощная карта, и для лаборатории она вполне уместна. Но если задача выходит в продакшн, мы обычно рекомендуем уходить в RTX PRO или datacenter-класс, чтобы не жить на компромиссах по охлаждению, поддержке и эксплуатационной предсказуемости.
Уровень 2. Один сервер для команды
Если у вас уже не один разработчик, а несколько внутренних пользователей, плюс RAG по документам, плюс агентные сценарии, то 96 GB на карту часто становятся минимальным комфортным входом.
Здесь уже хорошо работают такие подходы:
- один сервер с RTX PRO 6000 Blackwell Server Edition;
- два GPU с плотной конфигурацией под один сервис;
- отдельный CPU-хост с большим запасом по памяти и NVMe.
Для этого класса важно не только количество GPU, но и то, как они подключены к системе. Если вы собираетесь обслуживать несколько пользователей, полезны изоляция, предсказуемый latency и возможность разнести сервисы по нескольким инстансам.
Именно поэтому серверные профессиональные карты часто практичнее «самых быстрых потребительских» — они лучше живут в постоянной нагрузке.
Уровень 3. Когда одного GPU уже мало
Если модель не помещается в одну карту или вы хотите держать одновременно несколько больших моделей, 96 GB уже перестают быть универсальным ответом.
В этом случае смотрим на H200 и на rack-ориентированные Blackwell-платформы.
NVIDIA H200 даёт 141 GB HBM3E и 4.8 TB/s памяти. Для больших LLM это уже очень заметная развилка: больше памяти, выше bandwidth и меньше боли с агрессивным квантованием только ради того, чтобы модель влезла.
Если нужен более серьёзный серверный контур, NVIDIA DGX B200 и DGX B300 показывают, куда рынок сместился дальше. DGX B200 — это 8 Blackwell GPU, 1440 GB суммарной памяти, 14.4 TB/s aggregate NVLink bandwidth, сеть до 400 Gb/s и системное потребление около 14.3 kW. DGX B300 уже идёт на 2.1 TB суммарной GPU-памяти, до 800 Gb/s сети и около 14 kW.
Вывод здесь простой: как только речь идёт о нескольких больших моделях, высокой concurrency или длинном RAG-контексте, вопрос уже не в «какую карту взять», а в том, нужен ли вам GPU-сервер, DGX-класс или rack-scale система.
Уровень 4. Rack-scale и большие модели
Когда вы выходите на очень большие модели, MoE-архитектуры или плотный enterprise-inference на большом числе пользователей, одиночный сервер заканчивается очень быстро.
Тут уже смотрим на GB200 NVL72 и подобные rack-scale решения. NVIDIA описывает GB200 NVL72 как систему с 36 Grace CPU и 72 Blackwell GPU в liquid-cooled rack-scale дизайне, рассчитанную на 30x более быстрый real-time trillion-parameter inference.
Это не про «маленький локальный чатик». Это про AI-factory уровень, где важна не только скорость одной GPU, а то, как вся стойка держит поток запросов и распределяет нагрузку.
Если у вас сейчас такой масштаб не планируется, не нужно платить за него заранее.
Альтернатива на AMD
Если вы строите стек вокруг открытого софта и хотите смотреть на альтернативу NVIDIA, в 2026 году очень серьёзно выглядит AMD Instinct MI350 series.
У AMD в официальных материалах MI350 series заявлены 288 GB HBM3E и 8 TB/s bandwidth, а также открытый ROCm stack. Это уже не «запасной вариант», а полноценный high-memory путь для тех, кому важны большой объём памяти, открытая экосистема и соответствие AMD stack.
ROCm в текущей документации AMD описывается как open-source software stack для GPU-compute, а значит, при правильной архитектуре на AMD вполне можно строить production inference, особенно если вам важны открытые инструменты и контроль над стеком.
Что важно в хосте
Даже очень сильная GPU-система легко упирается в слабый хост.
Мы обычно смотрим на следующее:
- CPU с запасом по ядрам и PCIe;
- достаточно RAM для модели, сервисов и кешей;
- NVMe-слой под веса, индексы, логи и временные файлы;
- нормальную сеть, если у вас несколько узлов или внешний storage;
- охлаждение и питание, которые выдержат длительную нагрузку без троттлинга.
AMD EPYC 9005-серия в 2026 году остаётся очень логичным выбором для host-CPU: у неё до 192 ядер, и она явно ориентирована на data center, cloud и AI workloads. Для multi-GPU и RAG-серверов это важнее, чем кажется: CPU должен не мешать GPU, а помогать ей оставаться голодной только по вычислениям, но не по данным.
Софт-стек не менее важен, чем железо
Железо само по себе ничего не даёт без нормального inference stack.
Если вы строите NVIDIA-ориентированную инфраструктуру, официальные NVIDIA docs позиционируют TensorRT-LLM как toolkit для оптимизации LLM inference на NVIDIA GPU, а vLLM остаётся одной из самых популярных open-source библиотек для serving.
Если вы идёте в AMD-экосистему, ключевой слой — ROCm.
Именно софт решает, будет ли ваш сервер просто «вроде мощным» или реально быстрым, предсказуемым и управляемым в проде.
Что мы рекомендуем на практике
Если упростить, наша рабочая рекомендация выглядит так.
- Для пилота, внутреннего R&D и одного-двух сценариев: RTX PRO 6000 Blackwell 96 GB.
- Для небольшого production-сервера и локального ассистента на команду: RTX PRO 6000 Server Edition или H200, в зависимости от размера модели и требований к memory headroom.
- Для серьёзной многопользовательской нагрузки и больших моделей: DGX B200 / DGX B300 class.
- Для очень большого масштаба, MoE и rack-level нагрузки: GB200 NVL72 и близкие к нему архитектуры.
- Для открытого стека и большого объёма памяти: AMD Instinct MI350 series.
Если ваш кейс ещё не дорос до rack-scale, не нужно покупать rack-scale. В 2026 году правильный выбор почти всегда начинается с честного профиля нагрузки, а не с самой дорогой строки в прайс-листе.
Что не покупать
Есть несколько типовых ошибок, которых лучше избегать.
- Не брать систему, где GPU мощная, а CPU, RAM и NVMe откровенно слабые.
- Не собирать production на случайных consumer-картах только потому, что они дешевле на старте.
- Не экономить на охлаждении и блоках питания.
- Не игнорировать то, что RAG и agentic workflows создают дополнительную нагрузку на память, storage и сеть.
- Не покупать железо «с запасом на будущее», если вы ещё не знаете, какая модель и какая concurrency у вас реально будет.
Итог
В 2026 году локальная LLM уже не про «какая видеокарта самая быстрая». Она про то, насколько хорошо у вас собран весь контур: память, bandwidth, interconnect, host CPU, storage и inference stack.
Для пилота хватает одного мощного профессионального GPU. Для команды и RAG-сценариев уже нужен нормальный сервер. Для больших моделей и высокой concurrency — DGX или rack-scale. А если вам важна открытая экосистема, AMD MI350 сегодня выглядит очень серьёзно.
Мы обычно подбираем такой сервер не по абстрактным TFLOPS, а по конкретной нагрузке: какой моделью вы пользуетесь, сколько людей работают одновременно, каков размер контекста, нужен ли RAG и будет ли на той же инфраструктуре tool-use или другие агентные сценарии.
Если хотите, мы можем помочь собрать конфигурацию под ваш сценарий без переплаты за лишнее железо и без риска, что модель просто не влезет в память."}