Memoria del modelo y ajuste a la GPU

1. Paso 11

   Comprobar el driver

   Confirme que el driver de NVIDIA está instalado y es lo bastante reciente para el software de abajo.

   Copiar

   nvidia-smi

   Resultado esperado

   • Una tabla con la versión del driver y una versión de CUDA de al menos 13.0, que necesita la imagen.
   Ayuda y fuentes

   Si no funciona

   • Si la versión de CUDA es inferior a la que necesita el software, actualice el driver y vuelva a comprobar.

   • nvidia-smi(se abre en una pestaña nueva)
   • CUDA minor version compatibility(se abre en una pestaña nueva)

   De dónde salen los valores

   • La GPU elegida: RTX PRO 6000 Blackwell.
2. Paso 22

   Comprobar las GPU

   Confirme que la máquina lista la GPU con índice 0.

   Copiar

   nvidia-smi -L

   Resultado esperado

   • Una línea por cada GPU, y cada una indica RTX PRO 6000 Blackwell tal como lo escribe la máquina.
   Ayuda y fuentes

   Si no funciona

   • Si falta una GPU elegida, no está en esta máquina o el driver no la ve.
   • Si los nombres no coinciden con lo esperado, los índices no son los que cree. Identifique las GPU por UUID, que no depende del orden.

   • nvidia-smi(se abre en una pestaña nueva)

   De dónde salen los valores

   • La calculadora usa 1 GPU.
   • La GPU elegida: RTX PRO 6000 Blackwell.
3. Paso 33

   Comprobar que la memoria está libre

   La calculadora espera 22,76 GiB en cada GPU, de los 86,40 GiB que el motor puede usar. Compruebe que la memoria de la GPU con índice 0 está libre.

   Copiar

   nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free --format=csv -i 0

   Resultado esperado

   • Casi toda la memoria de la GPU está libre, al menos 22,76 GiB en cada una.

   Tenga en cuenta

   • Puede que otros trabajos ya usen estas GPU. Si su memoria no está libre, detenga esos trabajos o elija otras GPU antes de empezar.
   Ayuda y fuentes

   • nvidia-smi(se abre en una pestaña nueva)

   De dónde salen los valores

   • La calculadora: 22,76 GiB necesarios de 86,40 GiB utilizables en cada GPU.

Instalar las herramientas

1. Paso 44

   Comprobar Docker

   Confirme que Docker Engine está instalado.

   Copiar

   docker --version

   Resultado esperado

   • Una versión de Docker.
   Ayuda y fuentes

   • Docker Engine: installation(se abre en una pestaña nueva)
2. Paso 55

   Instalar el NVIDIA Container Toolkit

   Requiere administrador

   Permite que los contenedores usen las GPU. Estos comandos son para Ubuntu y Debian, y la página enlazada abajo tiene las demás distribuciones.

   Va después del paso 1

   Copiar

   sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
     && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
       sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
       sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
   sudo apt-get install -y \
     nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
     libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

   Resultado esperado

   • Los paquetes se instalan sin errores.
   Ayuda y fuentes

   • NVIDIA Container Toolkit: installation(se abre en una pestaña nueva)
3. Paso 66

   Conectar Docker con las GPU

   Requiere administrador

   Registre el runtime de NVIDIA en Docker y reinícielo.

   Copiar

   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

   Resultado esperado

   • Sin errores, y Docker vuelve a arrancar.

   Tenga en cuenta

   • Reiniciar Docker detiene los contenedores en ejecución.
   Ayuda y fuentes

   • NVIDIA Container Toolkit: installation(se abre en una pestaña nueva)
4. Paso 77

   Comprobar que un contenedor ve las GPU

   Ejecute nvidia-smi en un contenedor al que se da la GPU con índice 0. Solo debería aparecer esa GPU.

   Copiar

   docker run --rm --runtime=nvidia --gpus '"device=0"' \
     ubuntu nvidia-smi

   Resultado esperado

   • Una tabla con una GPU, las que eligió.
   Ayuda y fuentes

   Si no funciona

   • Si Docker no puede arrancar con las GPU, el toolkit no está configurado o los índices no existen en esta máquina.
   • Si los nombres no coinciden con lo esperado, los índices no son los que cree. Identifique las GPU por UUID, que no depende del orden.

   • NVIDIA Container Toolkit: sample workload(se abre en una pestaña nueva)
   • NVIDIA Container Toolkit: Specialized configurations with Docker(se abre en una pestaña nueva)

   De dónde salen los valores

   • --gpus '"device=0"'

     Por defecto Las primeras GPU, contadas desde 0.

Obtener el servidor

1. Paso 88

   Descargar la imagen

   Descargue vllm/vllm-openai:v0.32.0 antes del primer arranque, para que el arranque solo tenga que cargar el modelo.

   Copiar

   docker pull vllm/vllm-openai:v0.32.0

   Resultado esperado

   • La descarga se completa y la última línea nombra la imagen.

   Tenga en cuenta

   • La imagen ocupa varios gigabytes.
   Ayuda y fuentes

   • vllm/vllm-openai image tags(se abre en una pestaña nueva)
   • vLLM: Docker deployment(se abre en una pestaña nueva)

1. Paso 99

   Iniciar el servidor

   Inicie vllm-qwen3-8b con la configuración dimensionada: el modelo Qwen/Qwen3-8B, el paralelismo, el contexto y la memoria asignada. El primer arranque descarga el modelo y tarda unos minutos.

   Va después del paso 3

   Copiar

   # config YSTVGT
   docker run -d --name vllm-qwen3-8b \
     --runtime nvidia --gpus '"device=0"' \
     --ipc=host \
     -v "$HOME/.cache/huggingface":/root/.cache/huggingface \
     -p 127.0.0.1:8000:8000 \
     vllm/vllm-openai:v0.32.0 \
     --model Qwen/Qwen3-8B \
     --max-model-len 8192 --max-num-seqs 4 \
     --gpu-memory-utilization 0.90

   Resultado esperado

   • Un id de contenedor.

   Tenga en cuenta

   • El primer arranque descarga el modelo y prepara los kernels, lo que tarda minutos. Hasta entonces el servidor no está listo.
   Ayuda y fuentes

   Si no funciona

   • Si se detiene con un mensaje de falta de memoria (out of memory), la configuración necesita más de lo que aloja la GPU. Reduzca el contexto o las secuencias, asigne al motor una parte mayor de la GPU o use más GPU. La calculadora muestra por cuánto.
   • Si vLLM indica que el contexto es mayor de lo que cabe en el KV cache, reduzca el contexto o el número de secuencias.
   • Si vLLM indica que las cabezas de atención no se pueden dividir por el tamaño de tensor parallel, use un tamaño que las divida.
   • Si el puerto está ocupado, elija otro en las opciones.
   • Si Docker no puede arrancar con las GPU, el toolkit no está configurado o los índices no existen en esta máquina.

   • vLLM: vllm serve arguments(se abre en una pestaña nueva)
   • vLLM: engine arguments(se abre en una pestaña nueva)

   De dónde salen los valores

   • -d

     Por defecto Cómo se eligió ejecutarlo.

   • --name vllm-qwen3-8b

     De la calculadora El repositorio del modelo elegido.

   • --runtime nvidia

     Por defecto Cómo se eligió ejecutarlo.

   • --gpus '"device=0"'

     Por defecto Las primeras GPU, contadas desde 0.

   • --ipc=host

     Por defecto Cómo se eligió ejecutarlo.

   • -v "$HOME/.cache/huggingface":/root/.cache/huggingface

     Por defecto Dónde se guardan los pesos descargados.

   • -p 127.0.0.1:8000:8000

     Por defecto El puerto en el que responde el endpoint.

   • --model Qwen/Qwen3-8B

     De la calculadora El repositorio del modelo elegido.

   • --max-model-len 8192

     De la calculadora La longitud de contexto definida: 8192 tokens.

   • --max-num-seqs 4

     Calculado 4 secuencias repartidas entre 1 réplica.

   • --gpu-memory-utilization 0.90

     Calculado La parte utilizable definida, 90 %, dividida entre 1 réplica en el dispositivo, redondeada hacia abajo para que las partes nunca sumen más que el dispositivo.

   • El repositorio del modelo elegido.
   • La longitud de contexto definida: 8192 tokens.
   • La parte utilizable definida, 90 %, dividida entre 1 réplica en el dispositivo, redondeada hacia abajo para que las partes nunca sumen más que el dispositivo.

Comprobar el endpoint

1. Paso 1010

   Esperar a que esté listo

   El servidor responde en /health cuando el modelo está cargado.

   Copiar

   timeout 900 bash -c 'until curl -fs http://127.0.0.1:8000/health >/dev/null; do sleep 5; done' && echo ready

   Resultado esperado

   • La palabra ready, tras un minuto o más mientras se carga el modelo.
   Ayuda y fuentes

   Si no funciona

   • Si no llega a estar listo, lea las últimas líneas del log: el modelo aún se está cargando o el servidor se detuvo con un error.
   • Si se detiene con un mensaje de falta de memoria (out of memory), la configuración necesita más de lo que aloja la GPU. Reduzca el contexto o las secuencias, asigne al motor una parte mayor de la GPU o use más GPU. La calculadora muestra por cuánto.

   • vLLM: online serving(se abre en una pestaña nueva)
   • vLLM: OpenAI-compatible server(se abre en una pestaña nueva)
2. Paso 1111

   Comprobar que se sirve el modelo

   Pregunte al servidor qué modelos sirve.

   Copiar

   curl -sS http://127.0.0.1:8000/v1/models

   Resultado esperado

   • Una lista que contiene Qwen/Qwen3-8B.
   Ayuda y fuentes

   Si no funciona

   • Si la respuesta es 401, la clave de este shell no es la que se usó para iniciar el servidor.

   • vLLM: online serving(se abre en una pestaña nueva)
   • vLLM: OpenAI-compatible server(se abre en una pestaña nueva)
3. Paso 1212

   Hacerle una pregunta

   Una solicitud a través del endpoint que usarán las aplicaciones.

   Copiar

   curl -sS http://127.0.0.1:8000/v1/chat/completions \
     -H 'Content-Type: application/json' \
     -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Say hello in five words."}], "max_tokens": 32}'

   Resultado esperado

   • Una respuesta JSON con un mensaje del modelo.
   Ayuda y fuentes

   Si no funciona

   • Si la respuesta es 401, la clave de este shell no es la que se usó para iniciar el servidor.
   • Si no llega a estar listo, lea las últimas líneas del log: el modelo aún se está cargando o el servidor se detuvo con un error.

   • vLLM: online serving(se abre en una pestaña nueva)
   • vLLM: OpenAI-compatible server(se abre en una pestaña nueva)

Supervisar la máquina

1. Paso 1313

   Supervisar las GPU

   Vea la memoria en uso y la actividad de la GPU con índice 0 mientras el servidor funciona.

   Copiar

   nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -i 0

   Resultado esperado

   • Memoria en uso cercana a la asignada al motor.
   Ayuda y fuentes

   • nvidia-smi(se abre en una pestaña nueva)
2. Paso 1414

   Supervisar el servidor

   Compruebe que vllm-qwen3-8b se está ejecutando y cuál fue su último mensaje.

   Va después del paso 12

   Copiar

   docker ps --filter name=vllm-qwen3-8b --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
   docker logs --tail 20 vllm-qwen3-8b

   Resultado esperado

   • El servidor está en ejecución y sus últimas líneas de log no muestran errores.
   Ayuda y fuentes

   • vLLM: Docker deployment(se abre en una pestaña nueva)

Comparar con la calculadora

1. Paso 1515

   Comparar con la calculadora

   La calculadora esperaba 22,76 GiB en cada GPU, con el 90 % de la GPU asignado al motor. El log del propio servidor indica lo que tomó para los pesos y lo que queda para el KV cache.

   Va después del paso 12

   Copiar

   docker logs vllm-qwen3-8b 2>&1 | grep -E 'Model loading took|Available KV cache memory|GPU KV cache size'

   Resultado esperado

   • Líneas con la memoria que ocuparon los pesos, la memoria que queda para el KV cache y cuántos tokens admite.
   Ayuda y fuentes

   • vLLM: parallelism and scaling(se abre en una pestaña nueva)
   • vLLM: conserving memory(se abre en una pestaña nueva)

   De dónde salen los valores

   • La calculadora: 22,76 GiB necesarios de 86,40 GiB utilizables en cada GPU.

1. Paso 1616

   Detenerlo

   Puede detener o eliminar cosas

   Detenga vllm-qwen3-8b y libere las GPU.

   Va después del paso 9

   Copiar

   docker stop vllm-qwen3-8b && docker rm vllm-qwen3-8b

   Resultado esperado

   • Sin salida, y las GPU quedan libres.

   Tenga en cuenta

   • El endpoint deja de responder.
   Ayuda y fuentes

   • vLLM: Docker deployment(se abre en una pestaña nueva)