Lokale KI-Infrastruktur

Was läuft auf meiner GPU

Welche Modelle laufen auf dieser GPU oder diesem GPU-Setup?

Von der vorhandenen Hardware ausgehen, beliebte Modelle und Modelle im Trend finden, die darauf passen, und das gewählte Modell danach im Detail dimensionieren.

Größeneinheit

Hardware

Wähle eine GPU und sieh, welche Modelle darauf laufen. Alles aktualisiert sich, sobald du einen Wert änderst.

RTX PRO 6000 Blackwell Server Edition

NVIDIA · Blackwell

Rechenzentrum

Speicher

96 GB

GDDR7 · als 96 GiB gezählt

Bandbreite

1.597 GB/s

Max. Leistung

300 to 600 W

Konfigurierbar.

Die Balken vergleichen jeden Wert mit der größten GPU im Katalog.

NVLink
Keine
MIG-Instanzen
4
NVLink-Gruppe
Keine, nur PCIe
GPUs pro Server
bis zu 8

So wird sie in Server eingebaut

Diese GPU unterteilen

MIG

Unterteilt in 4 Speicher-Slices und 4 Compute-Slices, bis zu 4 Instanzen auf einer GPU. Die Profile:

  • 1g.24gb
  • 2g.48gb
  • 4g.96gb

Wo eine Instanz beginnen darf:Abgeleitet

vGPU for Compute

10 Typen mit 8 bis 96 GB Framebuffer, bis zu 12 vGPUs auf einer GPU. Es braucht eine Lizenz für NVIDIA AI Enterprise und einen Hypervisor.

Teilen ohne Unterteilen

Time-slicing funktioniert auf jeder GPU, ohne Isolation von Speicher oder Fehlern zwischen den Replicas. MPS teilt eine ganze GPU, keine MIG-Instanz.

Zahlenformate

FP4FP8FP16BF16TF32FP32
›Spezifikationen und Quellen
Speicher
96 GB[1]
Typ
GDDR7[1]
Bandbreite
1.597 GB/s[1]
Max. Leistung
300 to 600 W[2]Konfigurierbar.
NVLink
0[3]Nicht unterstützt.
MIG-Instanzen
4[4]
FP4
4.000 TFLOPS[1]NVIDIA nennt nicht, ob dense oder sparse.
FP8
2.000 TFLOPS[1]NVIDIA nennt nicht, ob dense oder sparse.
FP16 / BF16
1.000 TFLOPS[1]NVIDIA nennt nicht, ob dense oder sparse.
TF32
234 TFLOPS[1]NVIDIA nennt nicht, ob dense oder sparse.

Zahlenformate: FP4, FP8, FP16, BF16, TF32, FP32

Tensor-Werte sind Spitzenwerte aus Datenblättern und keine Leistung in der Anwendung.

Quellen

Quellen werden geladen

GPUs im Setup. Jedes Modell wird so aufgeteilt, wie vLLM es empfiehlt: Tensor parallelism innerhalb eines Servers, Pipeline-Stufen darüber hinaus.

1 Server mit je 8 GPUs, der letzte mit 1

So wird die GPU genutzt

Unterteile jede GPU in Slices oder teile sie unter Replicas, statt mehr GPUs zu nutzen. Slices und Teil-GPUs führen Replicas des Modells aus und lassen sich nicht zu einer Tensor-parallel-Gruppe verbinden.

GPUs pro Server

Tensor parallelism bleibt innerhalb eines Servers. Darüber hinaus werden die GPUs zu Pipeline-Stufen.

Workload

Tokens pro Sequenz, Prompt und generierter Text zusammen.

Tokens

Anfragen, die zur selben Zeit verarbeitet werden, der Batch.

Getrennt von den Gewichten einstellbar. FP8 halbiert den Cache.

Ein Modell zählt als lauffähig, wenn es unter diesen Annahmen passt. Stelle sie auf das ein, was du betreiben willst.

Runtime-Annahmen›3 GiB Overhead pro GPU, 90 % nutzbar, 10 % Reserve

Speicher für CUDA-Kontext, Aktivierungen und Graphs, in der gewählten Einheit. Eine Heuristik.

GiB

Anteil des GPU-Speichers, den die Serving-Engine nutzen darf. Der Standard von vLLM ist 92 Prozent.

%

Anteil des nutzbaren Speichers, der frei bleiben soll, damit es bequem passt.

%

Dieses Modell hat keine Sliding-Window-Schichten.

Geordnet nach Downloads der letzten 30 Tage.

Live-Ranking wird geladen

›Filter

12 von 30 Modellen angezeigt

  • Gewichte
  • KV cache
  • Overhead

  • Qwen3-14B

    Qwen14,77 Mrd. Parameter

    Passt mit Reserve
    BF16

    35,51 GiB von 86,4 GiB pro GPU50,89 GiB frei, 59 Prozent

    Downloads: Platz 1
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • gemma-4-31B-it

    google30,7 Mrd. Parameter

    Passt mit Reserve
    BF16

    65,8 GiB von 86,4 GiB pro GPU20,6 GiB frei, 24 Prozent

    Downloads: Platz 2
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3-8B

    Qwen8,19 Mrd. Parameter

    Passt mit Reserve
    BF16

    22,76 GiB von 86,4 GiB pro GPU63,64 GiB frei, 74 Prozent

    Downloads: Platz 3
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3.8-27B

    Qwen26,9 Mrd. Parameter

    Passt mit Reserve
    BF16

    55,39 GiB von 86,4 GiB pro GPU31,01 GiB frei, 36 Prozent

    Downloads: Platz 4
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3.5-4B

    Qwen4,21 Mrd. Parameter

    Passt mit Reserve
    BF16

    11,93 GiB von 86,4 GiB pro GPU74,47 GiB frei, 86 Prozent

    Downloads: Platz 5
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3.5-9B

    Qwen8,95 Mrd. Parameter

    Passt mit Reserve
    BF16

    20,78 GiB von 86,4 GiB pro GPU65,62 GiB frei, 76 Prozent

    Downloads: Platz 6
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • gemma-4-26B-A4B-it

    google25,23 Mrd. Parameter3,8 Mrd. Parameter aktiv

    Passt mit Reserve
    BF16

    51,41 GiB von 86,4 GiB pro GPU34,99 GiB frei, 41 Prozent

    Downloads: Platz 8
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • gpt-oss-20b

    openai20,91 Mrd. Parameter3,6 Mrd. Parameter aktiv

    Passt mit Reserve
    MXFP4 + BF16

    16,58 GiB von 86,4 GiB pro GPU69,82 GiB frei, 81 Prozent

    Downloads: Platz 10
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3.6-35B-A3B

    Qwen34,66 Mrd. Parameter3 Mrd. Parameter aktiv

    Passt mit Reserve
    BF16

    68,31 GiB von 86,4 GiB pro GPU18,09 GiB frei, 21 Prozent

    Downloads: Platz 11
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Llama-3.1-8B-Instruct

    meta-llama8,03 Mrd. Parameter

    Passt mit Reserve
    BF16

    21,96 GiB von 86,4 GiB pro GPU64,44 GiB frei, 75 Prozent

    Downloads: Platz 12
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • gemma-4-E4B-it

    google7,52 Mrd. Parameter

    Passt mit Reserve
    BF16

    17,58 GiB von 86,4 GiB pro GPU68,82 GiB frei, 80 Prozent

    Downloads: Platz 13
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

  • Qwen3.5-0.8B

    Qwen752,39 Mio. Parameter

    Passt mit Reserve
    BF16

    4,81 GiB von 86,4 GiB pro GPU81,59 GiB frei, 94 Prozent

    Downloads: Platz 15
    ›Andere Präzisionen

    Veröffentlichte Kopien werden von Hugging Face geladen

25 Modelle werden nicht angezeigt
  • 25 Modelle passen nicht auf diese Hardware.

Jede Zahl stammt aus der Speicherberechnung des Modellspeicher-Tools, daher öffnet jede Karte die Seite, die ihre Formeln zeigt. Das Vorschaubild eines geteilten Links zeigt den kuratierten Katalog, diese Seite das Live-Ranking.

30 Modelle laufen auf RTX PRO 6000 Blackwell

Warum das wichtig ist

Eine Model Card nennt Parameter, nicht, was passt. Ob ein Modell läuft, hängt von seinen Gewichten in der geladenen Präzision ab, vom KV cache für deinen Kontext und die Gleichzeitigkeit, vom Runtime-Overhead und davon, wie sich das Modell auf deine GPUs verteilt. Dieses Tool führt die Berechnung für alle Modelle auf einmal aus und zeigt die, die laufen. So gehst du von dem aus, was möglich ist, statt zu raten und auszuprobieren.

So liest du das Ergebnis

Jede Karte zeigt ein Modell in der besten Präzision, die passt: im Format, in dem es veröffentlicht ist, oder in FP8 bei einem 16-Bit-Modell. Beim Status "Passt mit Reserve" bleibt auf jeder GPU deine Reserve frei, bei "Passt in der Theorie" wird es knapp. Im Tab "Beliebteste" sind die Modelle nach Downloads der letzten 30 Tage geordnet, im Tab "Im Trend" nach dem Trend-Ranking von Hugging Face. Öffne eine Karte, um im Modellspeicher-Tool jede Formel zu sehen, wobei Modell, Präzision und Hardware schon eingestellt sind. Modelle, deren maximaler Kontext unter deiner Kontextlänge liegt oder die sich nicht auf diese GPU-Anzahl aufteilen lassen, werden nicht angezeigt, aber gezählt.

Lokale KI und Souveränität

Ein Modell auf Hardware zu betreiben, die du kontrollierst, ist ein Baustein für eine Souveränitätsentscheidung. Es macht ein Deployment nicht von selbst souverän, DSGVO-konform oder konform mit dem EU AI Act.

Diese Tools stammen aus dem Workshop KI ohne Cloud.

← Alle Tools