Una sesión de trabajo
$5.52
1 GPU × 8h · solo computación
Inferencia de producción y por lotes
Alquila GPUs para servir LLMs por contexto, concurrencia y costo de tokens.
Respuesta directa
Dimensiona la inferencia de LLM según la precisión de los pesos, la sobrecarga del runtime, la caché KV, la longitud de contexto y las secuencias simultáneas. Compara el tiempo hasta el primer token, la latencia entre tokens, la latencia p95 y el costo por millón de tokens aceptados antes de seleccionar RTX 5090, L40S, H100 o H200.
Revisado por el equipo de infraestructura de GPURento · 1 de septiembre de 2026
Ventanas de planificación transparentes
Ejemplo de coste de alquiler en uno RTX 5090.
Estas son ventanas de alquiler de cómputo, no predicciones de duración o rendimiento del trabajo. Reemplaza las horas con un piloto medido y agrega almacenamiento en la calculadora.
Ventana de cuarenta horas
$27.60
1 GPU × 40h · solo computación
Ciento veinte horas
$82.80
1 GPU × 120h · solo computación
| Controladores de memoria | Pesos + caché KV | El contexto y la concurrencia pueden dominar después de los pesos. |
|---|---|---|
| Métricas de latencia | TTFT · TPOT · p95 | La latencia promedio oculta el comportamiento de cola y cola. |
| Métrica económica | $ / 1M tokens | Mantén constantes el modelo, la calidad y la forma del tráfico. |
| Elección de ejecución | Dedicado o serverless | Depende de la utilización y la tolerancia al arranque en frío. |
Mejor para
- Endpoints de modelos privados
- Generación y evaluación por lotes
- Servicio de contexto largo o alta concurrencia
- Equipos que miden latencia y costo juntos
No es la mejor opción cuando
- Tráfico sin objetivo de calidad o latencia conocido
- Modelos que no se han perfilado en la precisión prevista
- Flujos de datos sensibles sin una región y política de retención revisadas
Método de decisión
Qué verificar antes de desplegar capacidad.
El contenido a continuación separa las especificaciones publicadas, las referencias del catálogo de GPURento y las decisiones que aún requieren un benchmark de carga de trabajo.
01
Ajusta el modelo y el tráfico
La memoria de pesos es solo el punto de partida. Agrega metadatos de cuantización, espacio de trabajo del runtime y caché KV para la longitud de contexto deseada, el tamaño del lote y las secuencias simultáneas. Deja margen para que un pico breve no cause un reinicio por falta de memoria.
02
Elija dedicado o serverless según la utilización
Una GPU dedicada es adecuada para utilización constante y latencia cálida predecible. Serverless se adapta al tráfico ráfaga cuando los ahorros de escala a cero superan la sobrecarga de arranque en frío y por solicitud. Evalúe ambos con el mismo rastro de tráfico.
- Registra el tiempo hasta el primer token
- Registra latencia entre tokens y p95
- Divide el coste total medido entre tokens de salida aceptados
03
Usa la GPU más pequeña que cumpla con el nivel de servicio
Una GPU más grande se justifica cuando reduce la cola, aumenta la concurrencia o evita el fragmentación multi-GPU lo suficiente como para reducir el costo total. De lo contrario, una tarjeta de 24–48 GB puede ser un mejor ajuste económico.
Lista corta de catálogo
Opciones de GPU relevantes.
BlackwellDisponible
NVIDIA RTX 5090
32 GB GDDR7 · $0.69/h
Inferencia y medios rápidos de una sola GPU
UE Oeste · ParísUE Central · Fráncfort
AdaDisponible
NVIDIA L40S
48 GB GDDR6 ECC · $0.79/h
Inferencia de producción, ajuste fino y video
UE Oeste · ParísUE Central · Fráncfort
HopperDisponible
NVIDIA H100 SXM
80 GB HBM3 · $2.69/h
Entrenamiento intensivo e inferencia FP8
UE Oeste · ParísUE Central · Fráncfort
HopperDisponible
NVIDIA H200 SXM
141 GB HBM3e · $3.59/h
Inferencia de modelos grandes y HPC
UE Oeste · ParísUE Central · Fráncfort
Preguntas
Respuestas claras, incluidos los límites.
¿Cuánta VRAM necesito para inferencia de LLM?+
Depende del número de parámetros, la precisión, el runtime, el contexto y la concurrencia. Calcula primero los pesos del modelo, luego añade la caché KV y al menos un margen práctico de runtime.
¿Es la GPU serverless más barata que alquilar una instancia?+
Puede ser para tráfico intermitente porque los trabajadores inactivos pueden reducirse. Un endpoint continuamente ocupado puede ser más barato y predecible en una instancia dedicada.
¿Qué métrica debería comparar?+
Usa el costo por millón de tokens aceptados junto con el tiempo hasta el primer token y la latencia p95. El rendimiento solo puede ocultar una mala experiencia de usuario.
Fuentes y alcance
- Página de producto de NVIDIA H100Especificaciones de arquitectura y memoria del fabricante.
- Página de producto de NVIDIA H200Capacidad de memoria y ancho de banda de H200 según el fabricante.
Última revisión el 1 de septiembre de 2026. Las tarifas de GPURento son referencias de catálogo actuales; el estado de aprovisionamiento sigue siendo visible en el espacio de trabajo, y las especificaciones del fabricante no sustituyen a los benchmarks de carga de trabajo.
Continúa la investigación
Plan de despliegue
Dimensiona el endpoint antes de solicitar capacidad.
Traiga el modelo, precisión, contexto, concurrencia y objetivo de latencia a la configuración del espacio de trabajo.