Capacité d'inférence

1. Étape 11

   Vérifier le pilote

   Confirmer que le pilote NVIDIA est installé et assez récent pour les logiciels ci-dessous.

   Copier

   nvidia-smi

   Ce que vous devriez voir

   • Un tableau avec la version du pilote et une version de CUDA d'au moins 13.0, dont l'image a besoin.
   Aide et sources

   Si cela ne fonctionne pas

   • Si la version de CUDA est inférieure à ce que nécessite le logiciel, mettez à jour le pilote et vérifiez à nouveau.

   • nvidia-smi(s'ouvre dans un nouvel onglet)
   • CUDA minor version compatibility(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • Le GPU choisi : RTX PRO 6000 Blackwell.
2. Étape 22

   Vérifier les GPU

   Confirmer que la machine liste le GPU à l'index 0.

   Copier

   nvidia-smi -L

   Ce que vous devriez voir

   • Une ligne par GPU, chacune nommant RTX PRO 6000 Blackwell comme la machine l'écrit.
   Aide et sources

   Si cela ne fonctionne pas

   • Si un GPU que vous avez choisi manque, il n'est pas dans cette machine ou le pilote ne le voit pas.
   • Si les noms ne correspondent pas à ce que vous attendez, les index ne sont pas ceux que vous croyez. Identifiez les GPU par UUID, qui ne dépend pas de l'ordre.

   • nvidia-smi(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • Le calculateur utilise 1 GPU.
   • Le GPU choisi : RTX PRO 6000 Blackwell.
3. Étape 33

   Vérifier que la mémoire est libre

   Le calculateur attend 22,76 GiB sur chaque GPU, sur les 86,40 GiB que le moteur peut utiliser. Vérifiez que, pour le GPU à l'index 0, la mémoire est libre.

   Copier

   nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free --format=csv -i 0

   Ce que vous devriez voir

   • Presque toute la mémoire du GPU est libre, au moins 22,76 GiB sur chacun.

   À garder en tête

   • D'autres travaux utilisent peut-être déjà ces GPU. Si leur mémoire n'est pas libre, arrêtez ces travaux ou choisissez d'autres GPU avant de démarrer.
   Aide et sources

   • nvidia-smi(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • Le calculateur : 22,76 GiB nécessaires, 86,40 GiB utilisables sur chaque GPU.

Installer les outils

1. Étape 44

   Vérifier Docker

   Confirmer que Docker Engine est installé.

   Copier

   docker --version

   Ce que vous devriez voir

   • Une version de Docker.
   Aide et sources

   • Docker Engine: installation(s'ouvre dans un nouvel onglet)
2. Étape 55

   Installer le NVIDIA Container Toolkit

   Droits administrateur requis

   Il permet aux conteneurs d'utiliser les GPU. Ces commandes sont prévues pour Ubuntu et Debian, et la page liée ci-dessous couvre les autres distributions.

   Vient après l'étape 1

   Copier

   sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
     && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
       sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
       sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
   sudo apt-get install -y \
     nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

   Ce que vous devriez voir

   • Les paquets s'installent sans erreur.
   Aide et sources

   • NVIDIA Container Toolkit: installation(s'ouvre dans un nouvel onglet)
3. Étape 66

   Connecter Docker aux GPU

   Droits administrateur requis

   Enregistrer le runtime NVIDIA auprès de Docker et redémarrer Docker.

   Copier

   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

   Ce que vous devriez voir

   • Aucune erreur, et Docker redémarre.

   À garder en tête

   • Redémarrer Docker arrête les conteneurs en cours d'exécution.
   Aide et sources

   • NVIDIA Container Toolkit: installation(s'ouvre dans un nouvel onglet)
4. Étape 77

   Vérifier qu'un conteneur voit les GPU

   Exécuter nvidia-smi dans un conteneur qui reçoit le GPU à l'index 0. Seul ce GPU doit apparaître.

   Copier

   docker run --rm --runtime=nvidia --gpus '"device=0"' \
     ubuntu nvidia-smi

   Ce que vous devriez voir

   • Un tableau avec un GPU, celui que vous avez choisi.
   Aide et sources

   Si cela ne fonctionne pas

   • Si Docker ne peut pas démarrer avec les GPU, le toolkit n'est pas configuré ou les index n'existent pas sur cette machine.
   • Si les noms ne correspondent pas à ce que vous attendez, les index ne sont pas ceux que vous croyez. Identifiez les GPU par UUID, qui ne dépend pas de l'ordre.

   • NVIDIA Container Toolkit: sample workload(s'ouvre dans un nouvel onglet)
   • NVIDIA Container Toolkit: Specialized configurations with Docker(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • --gpus '"device=0"'

     Par défaut Les premiers GPU, comptés à partir de 0.

Récupérer le serveur

1. Étape 88

   Télécharger l'image

   Télécharger vllm/vllm-openai:v0.32.0 avant le premier démarrage, pour que le démarrage n'ait plus qu'à charger le modèle.

   Copier

   docker pull vllm/vllm-openai:v0.32.0

   Ce que vous devriez voir

   • Le téléchargement se termine et la dernière ligne nomme l'image.

   À garder en tête

   • L'image fait plusieurs gigaoctets.
   Aide et sources

   • vllm/vllm-openai image tags(s'ouvre dans un nouvel onglet)
   • vLLM: Docker deployment(s'ouvre dans un nouvel onglet)

1. Étape 99

   Démarrer le serveur

   Démarrer vllm-qwen3-8b avec la configuration dimensionnée : le modèle Qwen/Qwen3-8B, le parallélisme, le contexte et la mémoire qui lui est donnée. Le premier démarrage télécharge le modèle et prend quelques minutes.

   Vient après l'étape 3

   Copier

   # config YSTVGT
   docker run -d --name vllm-qwen3-8b \
     --runtime nvidia --gpus '"device=0"' \
     --ipc=host \
     -v "$HOME/.cache/huggingface":/root/.cache/huggingface \
     -p 127.0.0.1:8000:8000 \
     vllm/vllm-openai:v0.32.0 \
     --model Qwen/Qwen3-8B \
     --max-model-len 8192 --max-num-seqs 4 \
     --gpu-memory-utilization 0.90

   Ce que vous devriez voir

   • Un id de conteneur.

   À garder en tête

   • Le premier démarrage télécharge le modèle et prépare les kernels, ce qui prend quelques minutes. Le serveur n'est pas prêt avant.
   Aide et sources

   Si cela ne fonctionne pas

   • S'il s'arrête avec un message out of memory, la configuration nécessite plus que ce que contient le GPU. Réduisez le contexte ou les séquences, donnez plus de mémoire du GPU au moteur, ou utilisez plus de GPU. Le calculateur indique de combien.
   • Si vLLM dit que le contexte est plus long que ce que le KV cache peut contenir, réduisez le contexte ou le nombre de séquences.
   • Si vLLM dit que les têtes d'attention ne sont pas divisibles par la taille de tensor parallel, utilisez une taille qui les divise.
   • Si le port est pris, choisissez-en un autre dans vos choix.
   • Si Docker ne peut pas démarrer avec les GPU, le toolkit n'est pas configuré ou les index n'existent pas sur cette machine.

   • vLLM: vllm serve arguments(s'ouvre dans un nouvel onglet)
   • vLLM: engine arguments(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • -d

     Par défaut La façon d'exécuter que vous avez choisie.

   • --name vllm-qwen3-8b

     Du calculateur Le dépôt du modèle choisi.

   • --runtime nvidia

     Par défaut La façon d'exécuter que vous avez choisie.

   • --gpus '"device=0"'

     Par défaut Les premiers GPU, comptés à partir de 0.

   • --ipc=host

     Par défaut La façon d'exécuter que vous avez choisie.

   • -v "$HOME/.cache/huggingface":/root/.cache/huggingface

     Par défaut Où sont gardés les poids téléchargés.

   • -p 127.0.0.1:8000:8000

     Par défaut Le port sur lequel l'endpoint répond.

   • --model Qwen/Qwen3-8B

     Du calculateur Le dépôt du modèle choisi.

   • --max-model-len 8192

     Du calculateur La longueur de contexte que vous avez définie : 8 192 tokens.

   • --max-num-seqs 4

     Déduit 4 séquences à répartir entre 1 replica.

   • --gpu-memory-utilization 0.90

     Déduit La part utilisable que vous avez définie, 90 %, divisée entre 1 replica sur le périphérique, arrondie vers le bas pour que les parts ne dépassent jamais le total du périphérique.

   • Le dépôt du modèle choisi.
   • La longueur de contexte que vous avez définie : 8 192 tokens.
   • La part utilisable que vous avez définie, 90 %, divisée entre 1 replica sur le périphérique, arrondie vers le bas pour que les parts ne dépassent jamais le total du périphérique.

Vérifier l'endpoint

1. Étape 1010

   Attendre qu'il soit prêt

   Le serveur répond sur /health une fois le modèle chargé.

   Copier

   timeout 900 bash -c 'until curl -fs http://127.0.0.1:8000/health >/dev/null; do sleep 5; done' && echo ready

   Ce que vous devriez voir

   • Le mot ready, après une minute ou plus, le temps que le modèle se charge.
   Aide et sources

   Si cela ne fonctionne pas

   • S'il ne devient pas prêt, lisez les dernières lignes du log : le modèle est encore en cours de chargement, ou le serveur s'est arrêté avec une erreur.
   • S'il s'arrête avec un message out of memory, la configuration nécessite plus que ce que contient le GPU. Réduisez le contexte ou les séquences, donnez plus de mémoire du GPU au moteur, ou utilisez plus de GPU. Le calculateur indique de combien.

   • vLLM: online serving(s'ouvre dans un nouvel onglet)
   • vLLM: OpenAI-compatible server(s'ouvre dans un nouvel onglet)
2. Étape 1111

   Vérifier que le modèle est servi

   Demander au serveur quels modèles il sert.

   Copier

   curl -sS http://127.0.0.1:8000/v1/models

   Ce que vous devriez voir

   • Une liste contenant Qwen/Qwen3-8B.
   Aide et sources

   Si cela ne fonctionne pas

   • Si la réponse est 401, la clé de ce shell n'est pas celle avec laquelle le serveur a été démarré.

   • vLLM: online serving(s'ouvre dans un nouvel onglet)
   • vLLM: OpenAI-compatible server(s'ouvre dans un nouvel onglet)
3. Étape 1212

   Lui poser une question

   Une requête passant par l'endpoint que vos applications utiliseront.

   Copier

   curl -sS http://127.0.0.1:8000/v1/chat/completions \
     -H 'Content-Type: application/json' \
     -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Say hello in five words."}], "max_tokens": 32}'

   Ce que vous devriez voir

   • Une réponse JSON avec un message du modèle.
   Aide et sources

   Si cela ne fonctionne pas

   • Si la réponse est 401, la clé de ce shell n'est pas celle avec laquelle le serveur a été démarré.
   • S'il ne devient pas prêt, lisez les dernières lignes du log : le modèle est encore en cours de chargement, ou le serveur s'est arrêté avec une erreur.

   • vLLM: online serving(s'ouvre dans un nouvel onglet)
   • vLLM: OpenAI-compatible server(s'ouvre dans un nouvel onglet)

Observer la machine

1. Étape 1313

   Observer les GPU

   Voir la mémoire utilisée et le travail en cours sur le GPU à l'index 0 pendant que le serveur tourne.

   Copier

   nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -i 0

   Ce que vous devriez voir

   • Une mémoire utilisée proche de celle qui a été donnée au moteur.
   Aide et sources

   • nvidia-smi(s'ouvre dans un nouvel onglet)
2. Étape 1414

   Observer le serveur

   Voir que vllm-qwen3-8b tourne, et son dernier message.

   Vient après l'étape 12

   Copier

   docker ps --filter name=vllm-qwen3-8b --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
   docker logs --tail 20 vllm-qwen3-8b

   Ce que vous devriez voir

   • Le serveur tourne, et ses dernières lignes de log ne montrent aucune erreur.
   Aide et sources

   • vLLM: Docker deployment(s'ouvre dans un nouvel onglet)

Comparer avec le calculateur

1. Étape 1515

   Comparer avec le calculateur

   Le calculateur attendait 22,76 GiB sur chaque GPU, avec 90 % du GPU confiés au moteur. Le log du serveur indique ce qu'il a pris pour les poids et ce qui reste pour le KV cache.

   Vient après l'étape 12

   Copier

   docker logs vllm-qwen3-8b 2>&1 | grep -E 'Model loading took|Available KV cache memory|GPU KV cache size'

   Ce que vous devriez voir

   • Des lignes indiquant la mémoire prise par les poids, la mémoire restante pour le KV cache et le nombre de tokens qu'il contient.
   Aide et sources

   • vLLM: parallelism and scaling(s'ouvre dans un nouvel onglet)
   • vLLM: conserving memory(s'ouvre dans un nouvel onglet)

   D'où viennent les valeurs

   • Le calculateur : 22,76 GiB nécessaires, 86,40 GiB utilisables sur chaque GPU.

1. Étape 1616

   Arrêter le serveur

   Peut arrêter ou supprimer

   Arrêter vllm-qwen3-8b et libérer les GPU.

   Vient après l'étape 9

   Copier

   docker stop vllm-qwen3-8b && docker rm vllm-qwen3-8b

   Ce que vous devriez voir

   • Aucune sortie, et les GPU sont libres.

   À garder en tête

   • L'endpoint cesse de répondre.
   Aide et sources

   • vLLM: Docker deployment(s'ouvre dans un nouvel onglet)