O singură sesiune de lucru
$5.52
1 GPU × 8h · doar calcul
Inferență de producție și lot
Închiriază GPU-uri pentru servirea LLM după context, concurență și costul token-urilor.
Răspuns direct
Dimensionați inferența LLM pe baza preciziei greutăților, a supraîncărcării runtime, a cache-ului KV, a lungimii contextului și a secvențelor simultane. Comparați timpul până la primul token, latența inter-token, latența p95 și costul pe milion de tokenuri acceptate înainte de a selecta RTX 5090, L40S, H100 sau H200.
Revizuit de echipa de infrastructură GPURento · 1 septembrie 2026
Ferestre de planificare transparente
Exemplu de cost de închiriere pe un RTX 5090.
Acestea sunt ferestre de închiriere de calcul, nu predicții ale duratei jobului sau performanței. Înlocuiți orele cu un pilot măsurat și adăugați stocarea în calculator.
Fereastră de patruzeci de ore
$27.60
1 GPU × 40h · doar calcul
O sută douăzeci de ore
$82.80
1 GPU × 120h · doar calcul
| Factori de memorie | Greutăți + cache KV | Contextul și concurența pot domina după greutăți. |
|---|---|---|
| Metrici de latență | TTFT · TPOT · p95 | Latența medie ascunde comportamentul de coadă și de coadă. |
| Metrică economică | $ / 1M tokeni | Mențineți modelul, calitatea și forma traficului constante. |
| Alegerea execuției | Dedicat sau serverless | Depinde de utilizare și de toleranța la pornire la rece. |
Cel mai bun pentru
- Endpoint-uri private de modele
- Generare și evaluare în lot
- Servire cu context lung sau concurență ridicată
- Echipe care măsoară latența și costul împreună
Nu este cea mai bună alegere când
- Trafic fără o țintă cunoscută de calitate sau latență
- Modele care nu au fost profilate la precizia intenționată
- Datele sensibile circulă fără o regiune și o politică de retenție revizuite
Metodă de decizie
Ce să verificați înainte de a implementa capacitate.
Conținutul de mai jos separă specificațiile publicate, referințele din catalogul GPURento și deciziile care necesită încă un benchmark al volumului de lucru.
01
Potrivește modelul și traficul
Memoria greutăților este doar punctul de plecare. Adăugați metadate de cuantizare, spațiu de lucru runtime și cache KV pentru lungimea contextului dorită, dimensiunea lotului și secvențele simultane. Lăsați marjă astfel încât un vârf scurt să nu provoace o repornire din cauza memoriei insuficiente.
02
Alegeți dedicat sau serverless din utilizare
Un GPU dedicat se potrivește utilizării constante și latenței calde previzibile. Serverless se potrivește traficului intermitent când economiile la scalare la zero depășesc pornirea la rece și suprasarcina per cerere. Evaluați ambele cu același trace de trafic.
- Înregistrează timpul până la primul token
- Înregistrează latența inter-token și p95
- Împarte costul total măsurat la tokenii de ieșire acceptați
03
Utilizați cel mai mic GPU care îndeplinește nivelul de serviciu
Un GPU mai mare este justificat când reduce coada, crește concurența sau evită sharding-ul multi-GPU suficient pentru a reduce costul total. Altfel, un card de 24–48 GB poate fi o alegere economică mai bună.
Listă scurtă din catalog
Opțiuni GPU relevante.
BlackwellDisponibil
NVIDIA RTX 5090
32 GB GDDR7 · $0.69/oră
Inferență rapidă pe un singur GPU și media
UE Vest · ParisUE Central · Frankfurt
AdaDisponibil
NVIDIA L40S
48 GB GDDR6 ECC · $0.79/oră
Inferență de producție, fine-tuning și video
UE Vest · ParisUE Central · Frankfurt
HopperDisponibil
NVIDIA H100 SXM
80 GB HBM3 · $2.69/oră
Antrenament intensiv și inferență FP8
UE Vest · ParisUE Central · Frankfurt
HopperDisponibil
NVIDIA H200 SXM
141 GB HBM3e · $3.59/oră
Inferență pentru modele mari și HPC
UE Vest · ParisUE Central · Frankfurt
Întrebări
Răspunsuri clare, inclusiv limitele.
De cât VRAM am nevoie pentru inferență LLM?+
Depinde de numărul de parametri, precizie, runtime, context și concurență. Calculați mai întâi greutățile modelului, apoi adăugați cache-ul KV și cel puțin o marjă practică de runtime.
Este GPU-ul serverless mai ieftin decât închirierea unei instanțe?+
Poate fi pentru trafic intermitent deoarece workerii inactivi pot scala în jos. Un endpoint continuu ocupat poate fi mai ieftin și mai previzibil pe o instanță dedicată.
Ce metrică ar trebui să compar?+
Utilizați costul pe milion de tokenuri acceptate împreună cu timpul până la primul token și latența p95. Doar debitul poate ascunde o experiență slabă a utilizatorului.
Surse și domeniu
- Pagina produsului NVIDIA H100Specificații de arhitectură și memorie de la producător.
- Pagina produsului NVIDIA H200Capacitatea și lățimea de bandă a memoriei H200 de la producător.
Ultima verificare: 1 septembrie 2026. Tarifele GPURento sunt referințe curente de catalog; starea de provisioning rămâne vizibilă în workspace, iar specificațiile producătorului nu înlocuiesc benchmark-urile sarcinii de lucru.
Continuă cercetarea
Plan de implementare
Dimensionați endpoint-ul înainte de a solicita capacitate.
Aduceți modelul, precizia, contextul, concurența și ținta de latență în configurația spațiului de lucru.