Infrastructure IA locale
Ce qui tourne sur mon GPU
Quels modèles puis-je faire tourner sur ce GPU ou cette configuration de GPU ?
Partez du matériel dont vous disposez, découvrez les modèles populaires et en tendance qui y tiennent, puis dimensionnez en détail celui qui vous plaît.
Matériel
Choisissez un GPU et voyez quels modèles y tournent. Tout se met à jour dès que vous changez une valeur.
RTX PRO 6000 Blackwell Server Edition
NVIDIA · Blackwell
Mémoire
96 GB
GDDR7 · compté comme 96 GiB
Bande passante
1 597 GB/s
Puissance max
300 to 600 W
Configurable.
Les barres comparent chaque chiffre au plus grand GPU du catalogue.
- NVLink
- Aucun
- Instances MIG
- 4
- Groupe NVLink
- Aucun, PCIe seulement
- GPU par serveur
- jusqu'à 8
Comment il est intégré aux serveurs
- The Server Edition lists no NVLink. NVIDIA-Certified RTX PRO servers hold up to 8 GPUs. NVIDIA RTX PRO 6000 Blackwell Server Edition(s'ouvre dans un nouvel onglet)
Diviser ce GPU
MIG
Se divise en 4 tranches mémoire et 4 tranches de calcul, jusqu'à 4 instances sur un GPU. Les profils :
- 1g.24gb
- 2g.48gb
- 4g.96gb
Où une instance peut démarrer :Déduit
vGPU for Compute
10 types avec 8 à 96 GB de framebuffer, jusqu'à 12 vGPU sur un GPU. Cela nécessite une licence NVIDIA AI Enterprise et un hyperviseur.
Partager sans diviser
Le time-slicing fonctionne sur n'importe quel GPU, sans isolation de la mémoire ni des défaillances entre les replicas. MPS partage un GPU entier, pas une instance MIG.
Formats numériques
Documents NVIDIA
›Spécifications et sources
- Mémoire
- 96 GB[1]
- Type
- GDDR7[1]
- Bande passante
- 1 597 GB/s[1]
- Puissance max
- 300 to 600 W[2]Configurable.
- NVLink
- 0[3]Non pris en charge.
- Instances MIG
- 4[4]
- FP4
- 4 000 TFLOPS[1]NVIDIA ne précise pas s'il s'agit de dense ou de sparse.
- FP8
- 2 000 TFLOPS[1]NVIDIA ne précise pas s'il s'agit de dense ou de sparse.
- FP16 / BF16
- 1 000 TFLOPS[1]NVIDIA ne précise pas s'il s'agit de dense ou de sparse.
- TF32
- 234 TFLOPS[1]NVIDIA ne précise pas s'il s'agit de dense ou de sparse.
Formats numériques: FP4, FP8, FP16, BF16, TF32, FP32
Les chiffres tensor sont des valeurs de crête tirées des fiches techniques. Ce ne sont pas des performances applicatives.
Sources
Chargement des sources
GPU de la configuration. Chaque modèle est réparti comme vLLM le recommande : tensor parallelism dans un serveur, étages de pipeline au-delà.
1 serveur de 8 GPU, le dernier avec 1
Comment le GPU est utilisé
Divisez chaque GPU en tranches ou partagez-le entre des replicas au lieu d'utiliser plus de GPU. Les tranches et les parts exécutent des replicas du modèle : elles ne peuvent pas être réunies en un groupe tensor parallel.
GPU par serveur
Le tensor parallelism reste dans un serveur. Au-delà, les GPU deviennent des étages de pipeline.
Charge de travail
Tokens par séquence, prompt et texte généré compris.
Requêtes traitées en même temps, le batch.
Se règle à part des poids. FP8 divise le cache par deux.
Un modèle est compté parmi ceux qui tournent s'il tient avec ces hypothèses. Réglez-les sur ce que vous comptez exécuter.
Hypothèses du runtime›3 GiB de surcoût par GPU, 90 % utilisables, 10 % de marge
Mémoire pour le contexte CUDA, les activations et les graphes, dans l'unité de la page. Une heuristique.
Part de la mémoire du GPU que le moteur d'inférence peut utiliser. La valeur par défaut de vLLM est 92 %.
Part de la mémoire utilisable qui doit rester libre pour que le modèle tienne confortablement.
Ce modèle n'a pas de couches à fenêtre glissante.
Classés par nombre de téléchargements sur les 30 derniers jours.
Chargement du classement en direct
›Filtres
12 sur 30 modèles affichés
- Poids
- KV cache
- Surcoût
- Tient avec marge
Qwen3-14B
Qwen14,77 Md paramètres
BF1635,51 GiB sur 86,4 GiB par GPU50,89 GiB libres, 59 %
N° 1 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
gemma-4-31B-it
google30,7 Md paramètres
BF1665,8 GiB sur 86,4 GiB par GPU20,6 GiB libres, 24 %
N° 2 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3-8B
Qwen8,19 Md paramètres
BF1622,76 GiB sur 86,4 GiB par GPU63,64 GiB libres, 74 %
N° 3 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3.8-27B
Qwen26,9 Md paramètres
BF1655,39 GiB sur 86,4 GiB par GPU31,01 GiB libres, 36 %
N° 4 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3.5-4B
Qwen4,21 Md paramètres
BF1611,93 GiB sur 86,4 GiB par GPU74,47 GiB libres, 86 %
N° 5 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3.5-9B
Qwen8,95 Md paramètres
BF1620,78 GiB sur 86,4 GiB par GPU65,62 GiB libres, 76 %
N° 6 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
gemma-4-26B-A4B-it
google25,23 Md paramètres3,8 Md paramètres actifs
BF1651,41 GiB sur 86,4 GiB par GPU34,99 GiB libres, 41 %
N° 8 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
gpt-oss-20b
openai20,91 Md paramètres3,6 Md paramètres actifs
MXFP4 + BF1616,58 GiB sur 86,4 GiB par GPU69,82 GiB libres, 81 %
N° 10 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3.6-35B-A3B
Qwen34,66 Md paramètres3 Md paramètres actifs
BF1668,31 GiB sur 86,4 GiB par GPU18,09 GiB libres, 21 %
N° 11 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Llama-3.1-8B-Instruct
meta-llama8,03 Md paramètres
BF1621,96 GiB sur 86,4 GiB par GPU64,44 GiB libres, 75 %
N° 12 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
gemma-4-E4B-it
google7,52 Md paramètres
BF1617,58 GiB sur 86,4 GiB par GPU68,82 GiB libres, 80 %
N° 13 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
- Tient avec marge
Qwen3.5-0.8B
Qwen752,39 M paramètres
BF164,81 GiB sur 86,4 GiB par GPU81,59 GiB libres, 94 %
N° 15 des plus téléchargés›Autres précisions
Chargement des copies publiées depuis Hugging Face
25 modèles ne sont pas affichés
- 25 modèles ne tiennent pas sur ce matériel.
Chaque chiffre vient du calcul de mémoire de l'outil Mémoire du modèle : chaque carte ouvre donc la page qui en montre les formules. L'image d'aperçu d'un lien partagé montre le catalogue sélectionné, cette page affiche le classement en direct.
30 modèles tournent sur RTX PRO 6000 Blackwell
Pourquoi c'est important
Une model card indique des paramètres, pas ce qui tient. Qu'un modèle tourne dépend de ses poids dans la précision chargée, du KV cache pour votre contexte et votre concurrence, du surcoût du runtime et de la façon dont le modèle se répartit sur vos GPU. Cet outil fait ce calcul pour tous les modèles à la fois et montre ceux qui tournent : vous partez de ce qui est possible, au lieu de tâtonner.
Comment lire le résultat
Chaque carte est un modèle dans la meilleure précision qui tient : le format dans lequel il est publié, ou FP8 pour un modèle en 16 bits. Tient avec marge laisse libre votre marge de sécurité sur chaque GPU, Tient en théorie en laisse moins. L'onglet Plus populaires classe les modèles par nombre de téléchargements sur les 30 derniers jours, l'onglet Tendances suit le classement des tendances de Hugging Face. Ouvrez une carte pour voir chaque formule dans l'outil Mémoire du modèle, avec le même modèle, la même précision et le même matériel déjà sélectionnés. Les modèles dont la limite de contexte est inférieure à la vôtre, ou qui ne peuvent pas être répartis sur ce nombre de GPU, sont masqués et comptés.
IA locale et souveraineté
Exécuter un modèle sur du matériel que vous contrôlez est un élément d'une décision de souveraineté. Cela ne suffit pas à rendre un déploiement souverain, conforme au RGPD ou à l'AI Act européen.
Ces outils sont issus de l'atelier L'IA sans le cloud.