Infraestructura de IA local

Qué se ejecuta en mi GPU

¿Qué modelos puedo ejecutar en esta GPU o con estas GPU?

Parta del hardware que tiene, descubra los modelos populares y en tendencia que caben en él y dimensione en detalle el que le guste.

Unidad de tamaño

Hardware

Elija una GPU y vea qué modelos se ejecutan en ella. Todo se actualiza al cambiar un valor.

RTX PRO 6000 Blackwell Server Edition

NVIDIA · Blackwell

Centro de datos

Memoria

96 GB

GDDR7 · contado como 96 GiB

Ancho de banda

1597 GB/s

Potencia máx.

300 to 600 W

Configurable.

Las barras comparan cada cifra con la mayor GPU del catálogo.

NVLink
Ninguno
Instancias MIG
4
Grupo NVLink
Ninguno, solo PCIe
GPU por servidor
hasta 8

Cómo se integra en los servidores

Dividir esta GPU

MIG

Se divide en 4 slices de memoria y 4 slices de cómputo, hasta 4 instancias en una GPU. Los perfiles:

  • 1g.24gb
  • 2g.48gb
  • 4g.96gb

Dónde puede empezar una instancia:Derivado

vGPU for Compute

10 tipos de 8 a 96 GB de framebuffer, hasta 12 vGPU en una GPU. Requiere una licencia de NVIDIA AI Enterprise y un hipervisor.

Compartir sin dividir

El time-slicing funciona en cualquier GPU, sin aislamiento de memoria ni de fallos entre las réplicas. MPS comparte una GPU completa, no una instancia MIG.

Formatos numéricos

FP4FP8FP16BF16TF32FP32
›Especificaciones y fuentes
Memoria
96 GB[1]
Tipo
GDDR7[1]
Ancho de banda
1597 GB/s[1]
Potencia máx.
300 to 600 W[2]Configurable.
NVLink
0[3]No admitido.
Instancias MIG
4[4]
FP4
4000 TFLOPS[1]NVIDIA no dice si la cifra es densa o con sparsity.
FP8
2000 TFLOPS[1]NVIDIA no dice si la cifra es densa o con sparsity.
FP16 / BF16
1000 TFLOPS[1]NVIDIA no dice si la cifra es densa o con sparsity.
TF32
234 TFLOPS[1]NVIDIA no dice si la cifra es densa o con sparsity.

Formatos numéricos: FP4, FP8, FP16, BF16, TF32, FP32

Las cifras de tensor son valores pico de las fichas técnicas. No son rendimiento de aplicaciones.

Fuentes

Cargando fuentes

GPU de la configuración. Cada modelo se divide como recomienda vLLM: tensor parallelism dentro de un servidor, etapas de pipeline más allá.

1 servidor de 8 GPU, el último con 1

Cómo se usa la GPU

Divida cada GPU en slices o compártala entre réplicas en lugar de usar más GPU. Los slices y las fracciones ejecutan réplicas del modelo: no se pueden unir en un grupo de tensor parallel.

GPU por servidor

El tensor parallelism se queda dentro de un servidor. Más allá, las GPU pasan a ser etapas de pipeline.

Carga de trabajo

Tokens por secuencia, prompt y texto generado juntos.

tokens

Solicitudes procesadas a la vez, el batch.

Se fija aparte de los pesos. FP8 reduce el KV cache a la mitad.

Un modelo cuenta como ejecutable cuando cabe con estos supuestos. Ajústelos a lo que piensa ejecutar.

Supuestos del runtime›3 GiB de sobrecarga por GPU, 90 % utilizables, 10 % de margen

Memoria para el contexto CUDA, las activaciones y los CUDA graphs, en la unidad de la página. Es una heurística.

GiB

Parte de la memoria de la GPU que el motor de inferencia puede usar. El valor por defecto de vLLM es 92 %.

%

Parte de la memoria utilizable que debe quedar libre para un ajuste holgado.

%

Este modelo no tiene capas de ventana deslizante.

Ordenados por descargas en los últimos 30 días.

Cargando el ranking en directo

›Filtros

Mostrando 12 de 30 modelos

  • Pesos
  • KV cache
  • Sobrecarga

  • Qwen3-14B

    Qwen14,77 mil M parámetros

    Cabe con margen
    BF16

    35,51 GiB de 86,4 GiB por GPU50,89 GiB libres, 59 %

    N.º 1 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • gemma-4-31B-it

    google30,7 mil M parámetros

    Cabe con margen
    BF16

    65,8 GiB de 86,4 GiB por GPU20,6 GiB libres, 24 %

    N.º 2 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3-8B

    Qwen8190,74 M parámetros

    Cabe con margen
    BF16

    22,76 GiB de 86,4 GiB por GPU63,64 GiB libres, 74 %

    N.º 3 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3.8-27B

    Qwen26,9 mil M parámetros

    Cabe con margen
    BF16

    55,39 GiB de 86,4 GiB por GPU31,01 GiB libres, 36 %

    N.º 4 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3.5-4B

    Qwen4205,75 M parámetros

    Cabe con margen
    BF16

    11,93 GiB de 86,4 GiB por GPU74,47 GiB libres, 86 %

    N.º 5 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3.5-9B

    Qwen8953,8 M parámetros

    Cabe con margen
    BF16

    20,78 GiB de 86,4 GiB por GPU65,62 GiB libres, 76 %

    N.º 6 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • gemma-4-26B-A4B-it

    google25,23 mil M parámetros3800 M parámetros activos

    Cabe con margen
    BF16

    51,41 GiB de 86,4 GiB por GPU34,99 GiB libres, 41 %

    N.º 8 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • gpt-oss-20b

    openai20,91 mil M parámetros3600 M parámetros activos

    Cabe con margen
    MXFP4 + BF16

    16,58 GiB de 86,4 GiB por GPU69,82 GiB libres, 81 %

    N.º 10 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3.6-35B-A3B

    Qwen34,66 mil M parámetros3000 M parámetros activos

    Cabe con margen
    BF16

    68,31 GiB de 86,4 GiB por GPU18,09 GiB libres, 21 %

    N.º 11 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Llama-3.1-8B-Instruct

    meta-llama8030,26 M parámetros

    Cabe con margen
    BF16

    21,96 GiB de 86,4 GiB por GPU64,44 GiB libres, 75 %

    N.º 12 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • gemma-4-E4B-it

    google7518,07 M parámetros

    Cabe con margen
    BF16

    17,58 GiB de 86,4 GiB por GPU68,82 GiB libres, 80 %

    N.º 13 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

  • Qwen3.5-0.8B

    Qwen752,39 M parámetros

    Cabe con margen
    BF16

    4,81 GiB de 86,4 GiB por GPU81,59 GiB libres, 94 %

    N.º 15 en descargas
    ›Otras precisiones

    Cargando copias publicadas desde Hugging Face

25 modelos no se muestran
  • 25 modelos no caben en este hardware.

Cada cifra sale del cálculo de la herramienta de memoria del modelo, así que cada tarjeta abre la página que muestra sus fórmulas. La imagen de vista previa de un enlace compartido muestra el catálogo seleccionado, y esta página, el ranking en directo.

30 modelos se ejecutan en RTX PRO 6000 Blackwell

Por qué importa

La ficha de un modelo indica los parámetros, no lo que cabe. Que un modelo se ejecute depende de sus pesos en la precisión con que lo cargue, del KV cache de su contexto y su concurrencia, de la sobrecarga del runtime y de cómo se reparte el modelo entre sus GPU. Esta herramienta hace ese cálculo para todos los modelos a la vez y muestra los que se ejecutan, para que parta de lo que es posible en lugar de adivinar y comprobar.

Cómo leer el resultado

Cada tarjeta es un modelo en la mejor precisión en la que cabe: el formato en que se publica, o FP8 para un modelo de 16 bits. Cabe con margen deja libre en cada GPU el margen de seguridad elegido. Cabe en teoría queda justo. Más populares se ordena por descargas en los últimos 30 días, y Tendencia, por el orden de tendencia de Hugging Face. Abra una tarjeta para ver cada fórmula en la herramienta de memoria del modelo, con el mismo modelo, la misma precisión y el mismo hardware ya seleccionados. Los modelos cuyo límite de contexto es inferior al que ha fijado, o que no se pueden dividir entre este número de GPU, se ocultan y se cuentan.

IA local y soberanía

Ejecutar un modelo en hardware propio es un factor más en una decisión de soberanía. Por sí solo no hace que un despliegue sea soberano, ni que cumpla el RGPD o el Reglamento de IA de la UE.

Estas herramientas proceden del taller IA sin la nube.

← Todas las herramientas