Inferenzkapazität

1. Schritt 11

   Treiber prüfen

   Stelle sicher, dass der NVIDIA-Treiber installiert und für die Software unten neu genug ist.

   Kopieren

   nvidia-smi

   Das solltest du sehen

   • Eine Tabelle mit der Treiberversion und einer CUDA-Version von mindestens 13.0, die das Image braucht.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Ist die CUDA-Version niedriger, als die Software braucht, aktualisiere den Treiber und prüfe erneut.

   • nvidia-smi(öffnet in neuem Tab)
   • CUDA minor version compatibility(öffnet in neuem Tab)

   Woher die Werte kommen

   • Die gewählte GPU: RTX PRO 6000 Blackwell.
2. Schritt 22

   GPUs prüfen

   Stelle sicher, dass der Computer die GPU mit Index 0 auflistet.

   Kopieren

   nvidia-smi -L

   Das solltest du sehen

   • Eine Zeile pro GPU, jede mit RTX PRO 6000 Blackwell, wie der Computer es schreibt.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Fehlt eine gewählte GPU, steckt sie nicht in diesem Computer, oder der Treiber sieht sie nicht.
   • Passen die Namen nicht zu dem, was du erwartest, sind die Indizes nicht das, was du denkst. Identifiziere die GPUs per UUID, die nicht von der Reihenfolge abhängt.

   • nvidia-smi(öffnet in neuem Tab)

   Woher die Werte kommen

   • Der Rechner nutzt 1 GPU.
   • Die gewählte GPU: RTX PRO 6000 Blackwell.
3. Schritt 33

   Prüfen, dass der Speicher frei ist

   Der Rechner erwartet 22,76 GiB auf jeder GPU, von den 86,40 GiB, die die Engine nutzen darf. Prüfe, dass der Speicher von der GPU mit Index 0 frei ist.

   Kopieren

   nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free --format=csv -i 0

   Das solltest du sehen

   • Fast der gesamte Speicher der GPU ist frei, mindestens 22,76 GiB auf jeder.

   Zu beachten

   • Andere Prozesse nutzen diese GPUs womöglich schon. Ist ihr Speicher nicht frei, stoppe sie oder wähle andere GPUs, bevor du startest.
   Hilfe und Quellen

   • nvidia-smi(öffnet in neuem Tab)

   Woher die Werte kommen

   • Der Rechner: 22,76 GiB benötigt von 86,40 GiB nutzbar auf jeder GPU.

Tools installieren

1. Schritt 44

   Docker prüfen

   Stelle sicher, dass Docker Engine installiert ist.

   Kopieren

   docker --version

   Das solltest du sehen

   • Eine Docker-Version.
   Hilfe und Quellen

   • Docker Engine: installation(öffnet in neuem Tab)
2. Schritt 55

   NVIDIA Container Toolkit installieren

   Braucht Administratorrechte

   Es lässt Container die GPUs nutzen. Diese Befehle gelten für Ubuntu und Debian, die verlinkte Seite unten behandelt die anderen Distributionen.

   Kommt nach Schritt 1

   Kopieren

   sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
     && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
       sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
       sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
   sudo apt-get install -y \
     nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

   Das solltest du sehen

   • Die Pakete werden ohne Fehler installiert.
   Hilfe und Quellen

   • NVIDIA Container Toolkit: installation(öffnet in neuem Tab)
3. Schritt 66

   Docker mit den GPUs verbinden

   Braucht Administratorrechte

   Registriere die NVIDIA-Runtime bei Docker und starte es neu.

   Kopieren

   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

   Das solltest du sehen

   • Keine Fehler, und Docker kommt wieder hoch.

   Zu beachten

   • Ein Neustart von Docker stoppt die laufenden Container.
   Hilfe und Quellen

   • NVIDIA Container Toolkit: installation(öffnet in neuem Tab)
4. Schritt 77

   Prüfen, dass ein Container die GPUs sieht

   Führe nvidia-smi in einem Container aus, der die GPU mit Index 0 bekommt. Es sollte nichts erscheinen außer dieser GPU.

   Kopieren

   docker run --rm --runtime=nvidia --gpus '"device=0"' \
     ubuntu nvidia-smi

   Das solltest du sehen

   • Eine Tabelle mit einer GPU, der gewählten.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Kann Docker nicht mit den GPUs starten, ist das Toolkit nicht konfiguriert, oder die Indizes gibt es auf diesem Computer nicht.
   • Passen die Namen nicht zu dem, was du erwartest, sind die Indizes nicht das, was du denkst. Identifiziere die GPUs per UUID, die nicht von der Reihenfolge abhängt.

   • NVIDIA Container Toolkit: sample workload(öffnet in neuem Tab)
   • NVIDIA Container Toolkit: Specialized configurations with Docker(öffnet in neuem Tab)

   Woher die Werte kommen

   • --gpus '"device=0"'

     Standard Die ersten GPUs, ab 0 gezählt.

Server beziehen

1. Schritt 88

   Image herunterladen

   Lade vllm/vllm-openai:v0.32.0 vor dem ersten Start herunter, damit der Start nur noch das Modell laden muss.

   Kopieren

   docker pull vllm/vllm-openai:v0.32.0

   Das solltest du sehen

   • Der Download wird abgeschlossen, und die letzte Zeile nennt das Image.

   Zu beachten

   • Das Image ist mehrere Gigabyte groß.
   Hilfe und Quellen

   • vllm/vllm-openai image tags(öffnet in neuem Tab)
   • vLLM: Docker deployment(öffnet in neuem Tab)

1. Schritt 99

   Server starten

   Starte vllm-qwen3-8b mit dem dimensionierten Setup: dem Modell Qwen/Qwen3-8B, der Aufteilung auf die GPUs, dem Kontext und dem zugeteilten Speicher. Der erste Start lädt das Modell herunter und dauert ein paar Minuten.

   Kommt nach Schritt 3

   Kopieren

   # config YSTVGT
   docker run -d --name vllm-qwen3-8b \
     --runtime nvidia --gpus '"device=0"' \
     --ipc=host \
     -v "$HOME/.cache/huggingface":/root/.cache/huggingface \
     -p 127.0.0.1:8000:8000 \
     vllm/vllm-openai:v0.32.0 \
     --model Qwen/Qwen3-8B \
     --max-model-len 8192 --max-num-seqs 4 \
     --gpu-memory-utilization 0.90

   Das solltest du sehen

   • Eine Container-ID.

   Zu beachten

   • Der erste Start lädt das Modell herunter und bereitet die Kernels vor, das dauert Minuten. Vorher ist der Server nicht bereit.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Wenn es mit einer Out-of-memory-Meldung stoppt, braucht das Setup mehr, als die GPU fasst. Verringere Kontext oder Sequenzen, gib der Engine einen größeren Anteil der GPU oder nimm mehr GPUs. Der Rechner zeigt, um wie viel.
   • Sagt vLLM, der Kontext sei länger, als der KV cache fassen kann, verringere den Kontext oder die Zahl der Sequenzen.
   • Sagt vLLM, die Attention Heads ließen sich nicht durch die Tensor-parallel-Größe teilen, nimm eine Größe, die sie teilt.
   • Ist der Port belegt, wähle oben in den Optionen einen anderen.
   • Kann Docker nicht mit den GPUs starten, ist das Toolkit nicht konfiguriert, oder die Indizes gibt es auf diesem Computer nicht.

   • vLLM: vllm serve arguments(öffnet in neuem Tab)
   • vLLM: engine arguments(öffnet in neuem Tab)

   Woher die Werte kommen

   • -d

     Standard Wie du es ausführen willst.

   • --name vllm-qwen3-8b

     Vom Rechner Das Repository des gewählten Modells.

   • --runtime nvidia

     Standard Wie du es ausführen willst.

   • --gpus '"device=0"'

     Standard Die ersten GPUs, ab 0 gezählt.

   • --ipc=host

     Standard Wie du es ausführen willst.

   • -v "$HOME/.cache/huggingface":/root/.cache/huggingface

     Standard Wo die heruntergeladenen Gewichte liegen.

   • -p 127.0.0.1:8000:8000

     Standard Der Port, auf dem der Endpoint antwortet.

   • --model Qwen/Qwen3-8B

     Vom Rechner Das Repository des gewählten Modells.

   • --max-model-len 8192

     Vom Rechner Die von dir gesetzte Kontextlänge: 8.192 Tokens.

   • --max-num-seqs 4

     Berechnet 4 Sequenzen, verteilt auf 1 Replica.

   • --gpu-memory-utilization 0.90

     Berechnet Der von dir gesetzte nutzbare Anteil, 90 Prozent, aufgeteilt auf 1 Replica auf dem Gerät, abgerundet, damit die Anteile nie mehr als das Gerät ergeben.

   • Das Repository des gewählten Modells.
   • Die von dir gesetzte Kontextlänge: 8.192 Tokens.
   • Der von dir gesetzte nutzbare Anteil, 90 Prozent, aufgeteilt auf 1 Replica auf dem Gerät, abgerundet, damit die Anteile nie mehr als das Gerät ergeben.

Endpoint prüfen

1. Schritt 1010

   Warten, bis er bereit ist

   Der Server antwortet auf /health, sobald das Modell geladen ist.

   Kopieren

   timeout 900 bash -c 'until curl -fs http://127.0.0.1:8000/health >/dev/null; do sleep 5; done' && echo ready

   Das solltest du sehen

   • Das Wort ready, nach einer Minute oder mehr, während das Modell lädt.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Meldet sich der Server nicht als bereit, lies die letzten Logzeilen: Das Modell lädt noch, oder der Server ist mit einem Fehler gestoppt.
   • Wenn es mit einer Out-of-memory-Meldung stoppt, braucht das Setup mehr, als die GPU fasst. Verringere Kontext oder Sequenzen, gib der Engine einen größeren Anteil der GPU oder nimm mehr GPUs. Der Rechner zeigt, um wie viel.

   • vLLM: online serving(öffnet in neuem Tab)
   • vLLM: OpenAI-compatible server(öffnet in neuem Tab)
2. Schritt 1111

   Prüfen, dass das Modell bereitgestellt wird

   Frage den Server, welche Modelle er bereitstellt.

   Kopieren

   curl -sS http://127.0.0.1:8000/v1/models

   Das solltest du sehen

   • Eine Liste, in der Qwen/Qwen3-8B steht.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Lautet die Antwort 401, ist der Key in dieser Shell nicht der, mit dem der Server gestartet wurde.

   • vLLM: online serving(öffnet in neuem Tab)
   • vLLM: OpenAI-compatible server(öffnet in neuem Tab)
3. Schritt 1212

   Eine Frage stellen

   Eine Anfrage über den Endpoint, den deine Anwendungen nutzen werden.

   Kopieren

   curl -sS http://127.0.0.1:8000/v1/chat/completions \
     -H 'Content-Type: application/json' \
     -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Say hello in five words."}], "max_tokens": 32}'

   Das solltest du sehen

   • Eine JSON-Antwort mit einer Nachricht des Modells.
   Hilfe und Quellen

   Wenn es nicht funktioniert

   • Lautet die Antwort 401, ist der Key in dieser Shell nicht der, mit dem der Server gestartet wurde.
   • Meldet sich der Server nicht als bereit, lies die letzten Logzeilen: Das Modell lädt noch, oder der Server ist mit einem Fehler gestoppt.

   • vLLM: online serving(öffnet in neuem Tab)
   • vLLM: OpenAI-compatible server(öffnet in neuem Tab)

System ansehen

1. Schritt 1313

   GPUs ansehen

   Sieh dir den belegten Speicher und die Auslastung von der GPU mit Index 0 an, während der Server läuft.

   Kopieren

   nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -i 0

   Das solltest du sehen

   • Belegter Speicher nahe an dem, was die Engine bekommen hat.
   Hilfe und Quellen

   • nvidia-smi(öffnet in neuem Tab)
2. Schritt 1414

   Server ansehen

   Prüfe, ob vllm-qwen3-8b läuft und was es zuletzt gemeldet hat.

   Kommt nach Schritt 12

   Kopieren

   docker ps --filter name=vllm-qwen3-8b --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
   docker logs --tail 20 vllm-qwen3-8b

   Das solltest du sehen

   • Der Server läuft, und seine letzten Logzeilen zeigen keine Fehler.
   Hilfe und Quellen

   • vLLM: Docker deployment(öffnet in neuem Tab)

Mit dem Rechner vergleichen

1. Schritt 1515

   Mit dem Rechner vergleichen

   Der Rechner erwartete 22,76 GiB auf jeder GPU, davon 90 Prozent der GPU für die Engine. Das eigene Log des Servers sagt, was er für die Gewichte genommen hat und was für den KV cache bleibt.

   Kommt nach Schritt 12

   Kopieren

   docker logs vllm-qwen3-8b 2>&1 | grep -E 'Model loading took|Available KV cache memory|GPU KV cache size'

   Das solltest du sehen

   • Zeilen mit dem Speicher, den die Gewichte belegt haben, dem Speicher, der für den KV cache bleibt, und wie viele Tokens der KV cache aufnehmen kann.
   Hilfe und Quellen

   • vLLM: parallelism and scaling(öffnet in neuem Tab)
   • vLLM: conserving memory(öffnet in neuem Tab)

   Woher die Werte kommen

   • Der Rechner: 22,76 GiB benötigt von 86,40 GiB nutzbar auf jeder GPU.

1. Schritt 1616

   Stoppen

   Kann Dinge stoppen oder entfernen

   Stoppe vllm-qwen3-8b und gib die GPUs frei.

   Kommt nach Schritt 9

   Kopieren

   docker stop vllm-qwen3-8b && docker rm vllm-qwen3-8b

   Das solltest du sehen

   • Keine Ausgabe, und die GPUs sind frei.

   Zu beachten

   • Der Endpoint antwortet nicht mehr.
   Hilfe und Quellen

   • vLLM: Docker deployment(öffnet in neuem Tab)