Una sessione di lavoro
$5.52
1 GPU × 8h · solo calcolo
Inferenza di produzione e batch
Noleggia GPU per serving LLM in base a contesto, concorrenza e costo token.
Risposta diretta
Dimensiona l'inferenza LLM da precisione dei pesi, overhead runtime, cache KV, lunghezza del contesto e sequenze simultanee. Confronta tempo al primo token, latenza inter-token, latenza p95 e costo per milione di token accettati prima di selezionare RTX 5090, L40S, H100 o H200.
Revisionato dal team infrastruttura GPURento · 1 settembre 2026
Finestre di pianificazione trasparenti
Esempio di costo di noleggio su uno RTX 5090.
Queste sono finestre di noleggio di calcolo, non previsioni di durata o prestazioni del lavoro. Sostituisci le ore con un pilota misurato e aggiungi archiviazione nella calcolatrice.
Finestra di quaranta ore
$27.60
1 GPU × 40h · solo calcolo
Centoventi ore
$82.80
1 GPU × 120h · solo calcolo
| Driver di memoria | Pesi + cache KV | Contesto e concorrenza possono dominare dopo i pesi. |
|---|---|---|
| Metriche di latenza | TTFT · TPOT · p95 | La latenza media nasconde accodamento e comportamento di coda. |
| Metrica economica | $ / 1M token | Mantieni costanti modello, qualità e forma del traffico. |
| Scelta di esecuzione | Dedicato o serverless | Dipende dall'utilizzo e dalla tolleranza al cold start. |
Ideale per
- Endpoint di modelli privati
- Generazione e valutazione in batch
- Servizio a contesto lungo o alta concorrenza
- Team che misurano latenza e costo insieme
Non la scelta migliore quando
- Traffico senza target di qualità o latenza noto
- Modelli non profilati alla precisione prevista
- Flussi di dati sensibili senza una regione e una policy di conservazione revisionate
Metodo decisionale
Cosa verificare prima di distribuire capacità.
Il contenuto seguente separa specifiche pubblicate, riferimenti di catalogo GPURento e decisioni che richiedono ancora un benchmark del carico di lavoro.
01
Adatta il modello e il traffico
La memoria dei pesi è solo il punto di partenza. Aggiungi metadati di quantizzazione, workspace runtime e cache KV per la lunghezza del contesto desiderata, dimensione batch e sequenze simultanee. Lascia margine così un picco breve non causi un riavvio per out-of-memory.
02
Scegli dedicato o serverless in base all'utilizzo
Una GPU dedicata è adatta a utilizzo costante e latenza calda prevedibile. Il serverless si adatta al traffico a raffica quando i risparmi di scale-to-zero superano i costi di cold start e per richiesta. Valuta entrambi con la stessa traccia di traffico.
- Registra tempo al primo token
- Registra latenza inter-token e p95
- Dividi il costo totale misurato per i token di output accettati
03
Usa la GPU più piccola che soddisfa il livello di servizio
Una GPU più grande è giustificata quando riduce l'accodamento, aumenta la concorrenza o evita lo sharding multi-GPU abbastanza da ridurre il costo totale. Altrimenti, una scheda da 24–48 GB può essere una scelta economica migliore.
Shortlist catalogo
Opzioni GPU pertinenti.
BlackwellDisponibile
NVIDIA RTX 5090
32 GB GDDR7 · $0,69/ora
Inferenza e media rapidi su singola GPU
UE Ovest · ParigiUE Centrale · Francoforte
AdaDisponibile
NVIDIA L40S
48 GB GDDR6 ECC · $0,79/ora
Inferenza di produzione, fine-tuning e video
UE Ovest · ParigiUE Centrale · Francoforte
HopperDisponibile
NVIDIA H100 SXM
80 GB HBM3 · $2,69/ora
Training intensivo e inferenza FP8
UE Ovest · ParigiUE Centrale · Francoforte
HopperDisponibile
NVIDIA H200 SXM
141 GB HBM3e · $3,59/ora
Inferenza di modelli grandi e HPC
UE Ovest · ParigiUE Centrale · Francoforte
Domande
Risposte chiare, inclusi i limiti.
Di quanta VRAM ho bisogno per l'inferenza LLM?+
Dipende dal numero di parametri, precisione, runtime, contesto e concorrenza. Calcola prima i pesi del modello, poi aggiungi la cache KV e almeno un margine pratico di runtime.
La GPU serverless è più economica del noleggio di un'istanza?+
Può essere adatto per traffico intermittente perché i worker inattivi possono scalare a zero. Un endpoint continuamente occupato può essere più economico e prevedibile su un'istanza dedicata.
Quale metrica dovrei confrontare?+
Usa il costo per milione di token accettati insieme al tempo al primo token e alla latenza p95. Il solo throughput può nascondere una scarsa esperienza utente.
Fonti e ambito
- Pagina prodotto NVIDIA H100Specifiche di architettura e memoria dal produttore.
- Pagina prodotto NVIDIA H200Capacità di memoria e larghezza di banda H200 dal produttore.
Ultima revisione: 1 settembre 2026. Le tariffe GPURento sono riferimenti di catalogo correnti; lo stato di provisioning rimane visibile nel workspace e le specifiche del produttore non sostituiscono i benchmark del carico di lavoro.
Continua la ricerca
Piano di distribuzione
Dimensiona l'endpoint prima di richiedere capacità.
Porta modello, precisione, contesto, concorrenza e obiettivo di latenza alla configurazione dello spazio di lavoro.