Локальная ИИ-инфраструктура

Что запустится на моем GPU

Какие модели можно запустить на этом GPU или этой конфигурации GPU?

Начните с оборудования, которое у вас есть, найдите подходящие популярные модели и модели в тренде, а затем подробно рассчитайте ту, что понравилась.

Единица размера

Оборудование

Выберите GPU и посмотрите, какие модели на нем запускаются. Все обновляется при изменении любого значения.

RTX PRO 6000 Blackwell Server Edition

NVIDIA · Blackwell

Дата-центр

Память

96 GB

GDDR7 · учтено как 96 GiB

Пропускная способность памяти

1 597 GB/s

Макс. мощность

300 to 600 W

Настраивается.

Столбцы сравнивают каждое значение с самым большим GPU в каталоге.

NVLink
Нет
Экземпляры MIG
4
Группа NVLink
Нет, только PCIe
GPU на сервер
до 8

Как GPU встраивается в серверы

Деление этого GPU

MIG

Делится на срезы (памяти: 4, вычислений: 4), до 4 экземпляров на одном GPU. Профили:

  • 1g.24gb
  • 2g.48gb
  • 4g.96gb

С каких срезов может начинаться экземпляр:Вычислено

vGPU for Compute

10 типов с framebuffer от 8 до 96 GB, до 12 vGPU на одном GPU. Нужны лицензия NVIDIA AI Enterprise и гипервизор.

Совместное использование без деления

Time-slicing работает на любом GPU, без изоляции памяти и сбоев между репликами. MPS позволяет совместно использовать GPU целиком, но не экземпляр MIG.

Числовые форматы

FP4FP8FP16BF16TF32FP32
›Характеристики и источники
Память
96 GB[1]
Тип
GDDR7[1]
Пропускная способность памяти
1 597 GB/s[1]
Макс. мощность
300 to 600 W[2]Настраивается.
NVLink
0[3]Не поддерживается.
Экземпляры MIG
4[4]
FP4
4 000 TFLOPS[1]NVIDIA не уточняет, плотное это значение или с разреженностью.
FP8
2 000 TFLOPS[1]NVIDIA не уточняет, плотное это значение или с разреженностью.
FP16 / BF16
1 000 TFLOPS[1]NVIDIA не уточняет, плотное это значение или с разреженностью.
TF32
234 TFLOPS[1]NVIDIA не уточняет, плотное это значение или с разреженностью.

Числовые форматы: FP4, FP8, FP16, BF16, TF32, FP32

Значения для тензорных ядер пиковые, взяты из технических описаний и не отражают производительность приложений.

Источники

Загрузка источников

Сколько GPU в конфигурации. Каждая модель делится так, как рекомендует vLLM: tensor parallel внутри сервера, стадии pipeline parallel за его пределами.

1 сервер по 8 GPU, последний с 1

Как используется GPU

Разделите каждый GPU на срезы или используйте его совместно для нескольких реплик вместо добавления GPU. Срезы и доли запускают реплики модели: объединить их в группу tensor parallel нельзя.

GPU на сервер

Tensor parallel работает внутри сервера. Остальные GPU становятся стадиями pipeline parallel.

Рабочая нагрузка

Токенов на последовательность: промпт и сгенерированный текст вместе.

токенов

Запросы, которые обрабатываются одновременно, то есть батч.

Задается отдельно от весов. FP8 вдвое сокращает KV cache.

Модель запускается, если она помещается при этих допущениях. Задайте их под то, что вы собираетесь запускать.

Допущения среды выполнения›накладные расходы 3 GiB на GPU, доступно 90 %, запас 10 %

Память под контекст CUDA, активации и графы, в единицах, выбранных на странице. Это эвристика.

GiB

Доля памяти GPU, которую может использовать движок инференса. В vLLM по умолчанию 92%.

%

Доля доступной памяти, которая должна остаться свободной, чтобы модель помещалась с запасом.

%

В этой модели нет слоев со скользящим окном.

Упорядочено по скачиваниям за последние 30 дней.

Загрузка актуального рейтинга

›Фильтры

Показано моделей: 12 из 30

  • Веса
  • KV cache
  • Накладные расходы

  • Qwen3-14B

    Qwen14,77 млрд параметров

    Помещается с запасом
    BF16

    35,51 GiB из 86,4 GiB на GPUсвободно 50,89 GiB, 59%

    №1 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • gemma-4-31B-it

    google30,7 млрд параметров

    Помещается с запасом
    BF16

    65,8 GiB из 86,4 GiB на GPUсвободно 20,6 GiB, 24%

    №2 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3-8B

    Qwen8,19 млрд параметров

    Помещается с запасом
    BF16

    22,76 GiB из 86,4 GiB на GPUсвободно 63,64 GiB, 74%

    №3 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3.8-27B

    Qwen26,9 млрд параметров

    Помещается с запасом
    BF16

    55,39 GiB из 86,4 GiB на GPUсвободно 31,01 GiB, 36%

    №4 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3.5-4B

    Qwen4,21 млрд параметров

    Помещается с запасом
    BF16

    11,93 GiB из 86,4 GiB на GPUсвободно 74,47 GiB, 86%

    №5 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3.5-9B

    Qwen8,95 млрд параметров

    Помещается с запасом
    BF16

    20,78 GiB из 86,4 GiB на GPUсвободно 65,62 GiB, 76%

    №6 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • gemma-4-26B-A4B-it

    google25,23 млрд параметровактивно 3,8 млрд параметров

    Помещается с запасом
    BF16

    51,41 GiB из 86,4 GiB на GPUсвободно 34,99 GiB, 41%

    №8 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • gpt-oss-20b

    openai20,91 млрд параметровактивно 3,6 млрд параметров

    Помещается с запасом
    MXFP4 + BF16

    16,58 GiB из 86,4 GiB на GPUсвободно 69,82 GiB, 81%

    №10 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3.6-35B-A3B

    Qwen34,66 млрд параметровактивно 3 млрд параметров

    Помещается с запасом
    BF16

    68,31 GiB из 86,4 GiB на GPUсвободно 18,09 GiB, 21%

    №11 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Llama-3.1-8B-Instruct

    meta-llama8,03 млрд параметров

    Помещается с запасом
    BF16

    21,96 GiB из 86,4 GiB на GPUсвободно 64,44 GiB, 75%

    №12 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • gemma-4-E4B-it

    google7,52 млрд параметров

    Помещается с запасом
    BF16

    17,58 GiB из 86,4 GiB на GPUсвободно 68,82 GiB, 80%

    №13 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

  • Qwen3.5-0.8B

    Qwen752,39 млн параметров

    Помещается с запасом
    BF16

    4,81 GiB из 86,4 GiB на GPUсвободно 81,59 GiB, 94%

    №15 по скачиваниям
    ›Другие точности

    Загрузка опубликованных копий с Hugging Face

25 моделей не показано
  • 25 моделей не помещаются на этом оборудовании.

Каждое число получено тем же расчетом памяти, что и в инструменте памяти модели, поэтому карточка открывает страницу с его формулами. Картинка предпросмотра ссылки, которой поделились, показывает отобранный каталог, а эта страница показывает актуальный рейтинг.

30 моделей запускаются на RTX PRO 6000 Blackwell

Почему это важно

На карточке модели указаны параметры, а не то, что помещается. Запустится ли модель, зависит от ее весов в той точности, в которой вы их загружаете, от KV cache для вашего контекста и числа одновременных последовательностей, от накладных расходов среды выполнения и от того, как модель делится между вашими GPU. Этот инструмент выполняет такой расчет сразу для всех моделей и показывает те, что запускаются, поэтому вы исходите из того, что возможно, а не гадаете и проверяете.

Как читать результат

Каждая карточка показывает одну модель в лучшей точности, при которой она помещается: в формате, в котором она опубликована, или в FP8 для 16-битной модели. «Помещается с запасом» значит, что на каждом GPU остается свободным заданный вами запас, «Помещается в теории» значит, что запас меньше заданного. «Популярные» упорядочены по скачиваниям за последние 30 дней, «В тренде» по списку трендов Hugging Face. Откройте карточку, чтобы увидеть все формулы в инструменте памяти модели: та же модель, точность и оборудование уже выбраны. Модели, у которых предел контекста ниже вашего или которые нельзя разделить на такое число GPU, скрыты, но учтены в подсчете.

Локальный ИИ и суверенитет

Запуск модели на оборудовании, которое вы контролируете, служит лишь одним из факторов при решении о суверенитете. Сам по себе он не делает развертывание суверенным и не обеспечивает соответствие GDPR или EU AI Act.

Эти инструменты появились в рамках воркшопа ИИ без облака.

← Все инструменты