Планирование мощностей инференса

1. Шаг 11

   Проверка драйвера

   Убедитесь, что драйвер NVIDIA установлен и достаточно новый для программ ниже.

   Копировать

   nvidia-smi

   Что вы увидите

   • Таблица с версией драйвера и версией CUDA не ниже 13.0, которая нужна образу.
   Справка и источники

   Если не работает

   • Если версия CUDA ниже, чем нужно программам, обновите драйвер и проверьте снова.

   • nvidia-smi(откроется в новой вкладке)
   • CUDA minor version compatibility(откроется в новой вкладке)

   Откуда берутся значения

   • Выбранный вами GPU: RTX PRO 6000 Blackwell.
2. Шаг 22

   Проверка GPU

   Убедитесь, что машина показывает GPU с индексом 0.

   Копировать

   nvidia-smi -L

   Что вы увидите

   • По одной строке на каждый GPU, в каждой указано RTX PRO 6000 Blackwell так, как его называет машина.
   Справка и источники

   Если не работает

   • Если выбранного вами GPU нет в списке, его нет в этой машине или драйвер его не видит.
   • Если названия не совпадают с ожидаемыми, индексы не такие, как вы думаете. Идентифицируйте GPU по UUID, который не зависит от порядка.

   • nvidia-smi(откроется в новой вкладке)

   Откуда берутся значения

   • Калькулятор использует 1 GPU.
   • Выбранный вами GPU: RTX PRO 6000 Blackwell.
3. Шаг 33

   Проверка свободной памяти

   Калькулятор ожидает 22,76 GiB на каждом GPU из 86,40 GiB, которые может использовать движок. Проверьте, что память GPU с индексом 0 свободна.

   Копировать

   nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free --format=csv -i 0

   Что вы увидите

   • Почти вся память GPU свободна, не менее 22,76 GiB.

   Что учесть

   • Эти GPU уже могут использоваться другими задачами. Если их память занята, остановите эти задачи или выберите другие GPU, прежде чем начинать.
   Справка и источники

   • nvidia-smi(откроется в новой вкладке)

   Откуда берутся значения

   • Калькулятор: нужно 22,76 GiB из 86,40 GiB доступных на каждом GPU.

Установка инструментов

1. Шаг 44

   Проверка Docker

   Убедитесь, что Docker Engine установлен.

   Копировать

   docker --version

   Что вы увидите

   • Версия Docker.
   Справка и источники

   • Docker Engine: installation(откроется в новой вкладке)
2. Шаг 55

   Установка NVIDIA Container Toolkit

   Нужны права администратора

   Он позволяет контейнерам использовать GPU. Эти команды для Ubuntu и Debian, а для других дистрибутивов см. страницу по ссылке ниже.

   Выполняется после шага 1

   Копировать

   sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
     && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
       sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
       sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
   sudo apt-get install -y \
     nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

   Что вы увидите

   • Пакеты устанавливаются без ошибок.
   Справка и источники

   • NVIDIA Container Toolkit: installation(откроется в новой вкладке)
3. Шаг 66

   Подключение Docker к GPU

   Нужны права администратора

   Зарегистрируйте среду выполнения NVIDIA в Docker и перезапустите его.

   Копировать

   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

   Что вы увидите

   • Без ошибок, и Docker снова запускается.

   Что учесть

   • Перезапуск Docker останавливает работающие контейнеры.
   Справка и источники

   • NVIDIA Container Toolkit: installation(откроется в новой вкладке)
4. Шаг 77

   Проверка, что контейнер видит GPU

   Запустите nvidia-smi в контейнере, которому выданы GPU с индексом 0. Ожидаемый результат: только этот GPU.

   Копировать

   docker run --rm --runtime=nvidia --gpus '"device=0"' \
     ubuntu nvidia-smi

   Что вы увидите

   • Таблица с одним GPU, который вы выбрали.
   Справка и источники

   Если не работает

   • Если Docker не запускается с GPU, toolkit не настроен или таких индексов на этой машине нет.
   • Если названия не совпадают с ожидаемыми, индексы не такие, как вы думаете. Идентифицируйте GPU по UUID, который не зависит от порядка.

   • NVIDIA Container Toolkit: sample workload(откроется в новой вкладке)
   • NVIDIA Container Toolkit: Specialized configurations with Docker(откроется в новой вкладке)

   Откуда берутся значения

   • --gpus '"device=0"'

     По умолчанию Первые GPU, считая с 0.

Загрузка сервера

1. Шаг 88

   Загрузка образа

   Скачайте vllm/vllm-openai:v0.32.0 до первого запуска, чтобы при запуске оставалось только загрузить модель.

   Копировать

   docker pull vllm/vllm-openai:v0.32.0

   Что вы увидите

   • Загрузка завершается, и последняя строка называет образ.

   Что учесть

   • Образ занимает несколько гигабайт.
   Справка и источники

   • vllm/vllm-openai image tags(откроется в новой вкладке)
   • vLLM: Docker deployment(откроется в новой вкладке)

1. Шаг 99

   Запуск сервера

   Запустите vllm-qwen3-8b с рассчитанной вами конфигурацией: модель Qwen/Qwen3-8B, параллелизм, контекст и выделенная память. При первом запуске скачивается модель, это занимает несколько минут.

   Выполняется после шага 3

   Копировать

   # config YSTVGT
   docker run -d --name vllm-qwen3-8b \
     --runtime nvidia --gpus '"device=0"' \
     --ipc=host \
     -v "$HOME/.cache/huggingface":/root/.cache/huggingface \
     -p 127.0.0.1:8000:8000 \
     vllm/vllm-openai:v0.32.0 \
     --model Qwen/Qwen3-8B \
     --max-model-len 8192 --max-num-seqs 4 \
     --gpu-memory-utilization 0.90

   Что вы увидите

   • Идентификатор контейнера.

   Что учесть

   • При первом запуске скачивается модель и подготавливаются ядра, это занимает несколько минут. До этого сервер не готов.
   Справка и источники

   Если не работает

   • Если запуск останавливается с сообщением о нехватке памяти, конфигурации нужно больше, чем вмещает GPU. Уменьшите контекст или число последовательностей, отдайте движку большую долю GPU или используйте больше GPU. Насколько больше, показывает калькулятор.
   • Если vLLM сообщает, что контекст длиннее, чем может вместить KV cache, уменьшите контекст или число последовательностей.
   • Если vLLM сообщает, что головы внимания не делятся на размер tensor parallel, выберите размер, на который они делятся.
   • Если порт занят, выберите другой в своих настройках.
   • Если Docker не запускается с GPU, toolkit не настроен или таких индексов на этой машине нет.

   • vLLM: vllm serve arguments(откроется в новой вкладке)
   • vLLM: engine arguments(откроется в новой вкладке)

   Откуда берутся значения

   • -d

     По умолчанию Выбранный вами способ запуска.

   • --name vllm-qwen3-8b

     Из калькулятора Репозиторий выбранной вами модели.

   • --runtime nvidia

     По умолчанию Выбранный вами способ запуска.

   • --gpus '"device=0"'

     По умолчанию Первые GPU, считая с 0.

   • --ipc=host

     По умолчанию Выбранный вами способ запуска.

   • -v "$HOME/.cache/huggingface":/root/.cache/huggingface

     По умолчанию Где хранятся скачанные веса.

   • -p 127.0.0.1:8000:8000

     По умолчанию Порт, на котором отвечает эндпоинт.

   • --model Qwen/Qwen3-8B

     Из калькулятора Репозиторий выбранной вами модели.

   • --max-model-len 8192

     Из калькулятора Заданная вами длина контекста, токенов: 8 192.

   • --max-num-seqs 4

     Вычислено Всего 4 последовательности на 1 реплику.

   • --gpu-memory-utilization 0.90

     Вычислено Заданная вами доля доступной памяти, 90%, делится между 1 репликой на устройстве, с округлением вниз, чтобы доли в сумме никогда не превышали устройство.

   • Репозиторий выбранной вами модели.
   • Заданная вами длина контекста, токенов: 8 192.
   • Заданная вами доля доступной памяти, 90%, делится между 1 репликой на устройстве, с округлением вниз, чтобы доли в сумме никогда не превышали устройство.

Проверка эндпоинта

1. Шаг 1010

   Ожидание готовности

   Сервер начинает отвечать на /health, когда модель загружена.

   Копировать

   timeout 900 bash -c 'until curl -fs http://127.0.0.1:8000/health >/dev/null; do sleep 5; done' && echo ready

   Что вы увидите

   • Слово ready, но не сразу: загрузка модели занимает минуту и больше.
   Справка и источники

   Если не работает

   • Если сервер не становится готовым, прочитайте последние строки журнала: модель еще загружается или сервер остановился с ошибкой.
   • Если запуск останавливается с сообщением о нехватке памяти, конфигурации нужно больше, чем вмещает GPU. Уменьшите контекст или число последовательностей, отдайте движку большую долю GPU или используйте больше GPU. Насколько больше, показывает калькулятор.

   • vLLM: online serving(откроется в новой вкладке)
   • vLLM: OpenAI-compatible server(откроется в новой вкладке)
2. Шаг 1111

   Проверка, что модель обслуживается

   Спросите у сервера, какие модели он обслуживает.

   Копировать

   curl -sS http://127.0.0.1:8000/v1/models

   Что вы увидите

   • Список, в котором есть Qwen/Qwen3-8B.
   Справка и источники

   Если не работает

   • Если ответ 401, ключ в этой оболочке не тот, с которым запускался сервер.

   • vLLM: online serving(откроется в новой вкладке)
   • vLLM: OpenAI-compatible server(откроется в новой вкладке)
3. Шаг 1212

   Запрос к модели

   Один запрос через эндпоинт, который будут использовать ваши приложения.

   Копировать

   curl -sS http://127.0.0.1:8000/v1/chat/completions \
     -H 'Content-Type: application/json' \
     -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Say hello in five words."}], "max_tokens": 32}'

   Что вы увидите

   • Ответ в формате JSON с сообщением от модели.
   Справка и источники

   Если не работает

   • Если ответ 401, ключ в этой оболочке не тот, с которым запускался сервер.
   • Если сервер не становится готовым, прочитайте последние строки журнала: модель еще загружается или сервер остановился с ошибкой.

   • vLLM: online serving(откроется в новой вкладке)
   • vLLM: OpenAI-compatible server(откроется в новой вкладке)

Состояние машины

1. Шаг 1313

   Просмотр GPU

   Посмотрите занятую память и нагрузку на GPU с индексом 0, пока сервер работает.

   Копировать

   nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -i 0

   Что вы увидите

   • Занятая память близка к той, что выдана движку.
   Справка и источники

   • nvidia-smi(откроется в новой вкладке)
2. Шаг 1414

   Просмотр сервера

   Убедитесь, что vllm-qwen3-8b работает, и посмотрите его последние сообщения.

   Выполняется после шага 12

   Копировать

   docker ps --filter name=vllm-qwen3-8b --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
   docker logs --tail 20 vllm-qwen3-8b

   Что вы увидите

   • Сервер работает, и в последних строках его журнала нет ошибок.
   Справка и источники

   • vLLM: Docker deployment(откроется в новой вкладке)

Сравнение с калькулятором

1. Шаг 1515

   Сравнение с калькулятором

   Калькулятор ожидал 22,76 GiB на каждом GPU, при этом 90% GPU отдается движку. Собственный журнал сервера показывает, сколько ушло на веса и сколько осталось под KV cache.

   Выполняется после шага 12

   Копировать

   docker logs vllm-qwen3-8b 2>&1 | grep -E 'Model loading took|Available KV cache memory|GPU KV cache size'

   Что вы увидите

   • Строки с объемом памяти, который заняли веса, памятью, оставшейся под KV cache, и числом токенов, которое она вмещает.
   Справка и источники

   • vLLM: parallelism and scaling(откроется в новой вкладке)
   • vLLM: conserving memory(откроется в новой вкладке)

   Откуда берутся значения

   • Калькулятор: нужно 22,76 GiB из 86,40 GiB доступных на каждом GPU.

1. Шаг 1616

   Остановка

   Может что-то остановить или удалить

   Остановите vllm-qwen3-8b и освободите GPU.

   Выполняется после шага 9

   Копировать

   docker stop vllm-qwen3-8b && docker rm vllm-qwen3-8b

   Что вы увидите

   • Вывода нет, и GPU свободны.

   Что учесть

   • Эндпоинт перестает отвечать.
   Справка и источники

   • vLLM: Docker deployment(откроется в новой вкладке)