Ideale per
- Team che confrontano famiglie GPU
- Piloti LLM prima di una richiesta di capacità
- Pianificazione del budget con ipotesi esplicite
- Spiegare una scelta hardware ai revisori
Guida alla selezione GPU
Come scegliere una GPU cloud per un LLM.
Risposta diretta
Scegli una GPU LLM in questo ordine: definisci il compito, calcola la memoria di pesi e runtime, aggiungi cache KV o stato di training, imposta obiettivi di latenza o scadenza, poi fai benchmark della GPU compatibile più piccola. Confronta il costo totale per risultato accettato. La GPU più nuova o veloce non è automaticamente la più economica.
Revisionato dal team infrastruttura GPURento · 1 settembre 2026
| Passo 1 | Definisci il compito | Inferenza, LoRA, tuning completo e training differiscono. |
|---|---|---|
| Passo 2 | Stima picco di memoria | Includi stato runtime e margine. |
| Passo 3 | Imposta target del servizio | Latenza, throughput, scadenza e qualità. |
| Passo 4 | Fai benchmark del costo totale | Misura un risultato accettato end-to-end. |
Non la scelta migliore quando
- Sostituire un benchmark end-to-end
- Assumere che il numero di parametri equivalga alla memoria totale
- Selezionare solo dai FLOPS di picco
Metodo decisionale
Cosa verificare prima di distribuire capacità.
Il contenuto seguente separa specifiche pubblicate, riferimenti di catalogo GPURento e decisioni che richiedono ancora un benchmark del carico di lavoro.
01
1. Inizia con la modalità di carico di lavoro
L'inferenza memorizza pesi e stato runtime; il training aggiunge gradienti, stati dell'ottimizzatore e attivazioni; il tuning parameter-efficient sta nel mezzo. Annota revisione del modello, precisione, contesto o lunghezza della sequenza, batch e concorrenza prima di confrontare l'hardware.
02
2. Costruisci un budget di memoria
Una stima approssimativa del peso è parametri moltiplicati per byte per parametro, ma kernel, metadati di quantizzazione, cache KV, attivazioni e frammentazione aggiungono overhead. Tratta qualsiasi calcolatrice come una shortlist, poi valida l'allocazione di picco.
- Aggiungi il 10–20% di margine operativo come ipotesi iniziale
- Non mescolare silenziosamente GB decimali e GiB binari
- Ritesta dopo aver cambiato contesto, batch o runtime
03
3. Confronta i risultati, non le specifiche
Per l'inferenza confronta latenza e dollari per milione di token accettati. Per l'addestramento confronta tempo e dollari per checkpoint accettato. Per lavoro visivo confronta costo per immagine, clip o frame accettato.
Shortlist catalogo
Opzioni GPU pertinenti.
AdaDisponibile
NVIDIA RTX 4090
24 GB GDDR6X · $0,34/ora
Immagini, video e inferenza di medie dimensioni
UE Ovest · ParigiUE Centrale · Francoforte
BlackwellDisponibile
NVIDIA RTX 5090
32 GB GDDR7 · $0,69/ora
Inferenza e media rapidi su singola GPU
UE Ovest · ParigiUE Centrale · Francoforte
AmpereDisponibile
NVIDIA A100 80GB
80 GB HBM2e · $1,19/ora
Training, fine-tuning e HPC
UE Ovest · ParigiUE Centrale · Francoforte
HopperDisponibile
NVIDIA H100 SXM
80 GB HBM3 · $2,69/ora
Training intensivo e inferenza FP8
UE Ovest · ParigiUE Centrale · Francoforte
HopperDisponibile
NVIDIA H200 SXM
141 GB HBM3e · $3,59/ora
Inferenza di modelli grandi e HPC
UE Ovest · ParigiUE Centrale · Francoforte
Domande
Risposte chiare, inclusi i limiti.
Quanta memoria GPU serve a un LLM?+
Come minimo, i pesi devono stare alla precisione selezionata. Aggiungi spazio di lavoro runtime e cache KV per l'inferenza, o gradienti, stato dell'ottimizzatore e attivazioni per il training.
Dovrei sempre scegliere la GPU con più VRAM?+
No. La memoria extra è preziosa solo quando evita un vincolo effettivo. Una GPU più piccola può essere più economica quando il carico di lavoro si adatta e soddisfa il target di prestazioni.
Un selettore può garantire la compatibilità?+
No. Può produrre una shortlist da assunzioni trasparenti, ma il modello, il runtime e il container esatti devono essere testati.
Fonti e ambito
- Pagina prodotto NVIDIA A100Architettura A100 e configurazione da 80 GB dal produttore.
- Pagina prodotto NVIDIA H100Specifiche di architettura e memoria dal produttore.
- Pagina prodotto NVIDIA H200Capacità di memoria e larghezza di banda H200 dal produttore.
Ultima revisione: 1 settembre 2026. Le tariffe GPURento sono riferimenti di catalogo correnti; lo stato di provisioning rimane visibile nel workspace e le specifiche del produttore non sostituiscono i benchmark del carico di lavoro.
Continua la ricerca
Piano di distribuzione
Usa la shortlist, poi esegui un pilota.
Il selettore restringe il catalogo; una richiesta di workspace finanziata trasforma la configurazione scelta in un piano testabile.