Eine Arbeitssitzung
$5.52
1 GPU × 8h · nur Compute
Produktions- und Batch-Inferenz
GPUs für LLM-Serving nach Kontext, Parallelität und Token-Kosten mieten.
Direkte Antwort
LLM-Inferenz anhand von Gewichtspräzision, Laufzeit-Overhead, KV-Cache, Kontextlänge und gleichzeitigen Sequenzen dimensionieren. Vergleichen Sie Zeit bis zum ersten Token, Inter-Token-Latenz, p95-Latenz und Kosten pro Million akzeptierter Token, bevor Sie RTX 5090, L40S, H100 oder H200 auswählen.
Überprüft vom GPURento-Infrastrukturteam · 1. September 2026
Transparente Planungsfenster
Beispiel-Mietkosten für eine RTX 5090.
Dies sind Compute-Mietfenster, keine Vorhersagen der Jobdauer oder Leistung. Ersetzen Sie die Stunden durch einen gemessenen Piloten und fügen Sie Speicher im Rechner hinzu.
Vierzig-Stunden-Fenster
$27.60
1 GPU × 40h · nur Compute
Einhundertzwanzig Stunden
$82.80
1 GPU × 120h · nur Compute
| Speichertreiber | Gewichte + KV-Cache | Kontext und Parallelität können nach den Gewichten dominieren. |
|---|---|---|
| Latenzmetriken | TTFT · TPOT · p95 | Durchschnittliche Latenz verbirgt Warteschlangen- und Tail-Verhalten. |
| Wirtschaftliche Kennzahl | $ / 1 Mio. Tokens | Modell, Qualität und Verkehrsform konstant halten. |
| Ausführungswahl | Dediziert oder serverlos | Hängt von Auslastung und Kaltstarttoleranz ab. |
Am besten geeignet für
- Private Modell-Endpunkte
- Batch-Generierung und -Auswertung
- Bereitstellung mit langem Kontext oder hoher Parallelität
- Teams, die Latenz und Kosten gemeinsam messen
Nicht die beste Wahl, wenn
- Datenverkehr ohne bekanntes Qualitäts- oder Latenzziel
- Modelle, die nicht mit der beabsichtigten Präzision profiliert wurden
- Sensible Datenflüsse ohne geprüfte Region und Aufbewahrungsrichtlinie
Entscheidungsmethode
Was Sie vor der Bereitstellung von Kapazität überprüfen sollten.
Der folgende Inhalt trennt veröffentlichte Spezifikationen, GPURento-Katalogreferenzen und Entscheidungen, die noch einen Workload-Benchmark erfordern.
01
Modell und Traffic anpassen
Gewichtsspeicher ist nur der Ausgangspunkt. Fügen Sie Quantisierungsmetadaten, Laufzeit-Arbeitsbereich und KV-Cache für die gewünschte Kontextlänge, Batchgröße und gleichzeitige Sequenzen hinzu. Lassen Sie Headroom, damit ein kurzer Spitzenwert keinen Out-of-Memory-Neustart verursacht.
02
Wählen Sie dediziert oder serverlos anhand der Auslastung
Eine dedizierte GPU eignet sich für gleichmäßige Auslastung und vorhersehbare Warm-Latenz. Serverless passt zu burstigem Verkehr, wenn die Einsparungen durch Scale-to-Zero Kaltstart- und Pro-Request-Overhead übersteigen. Bewerten Sie beide mit derselben Verkehrsspur.
- Zeit bis zum ersten Token aufzeichnen
- Inter-Token-Latenz und p95 aufzeichnen
- Gesamte gemessene Kosten durch akzeptierte Ausgabetokens teilen
03
Verwenden Sie die kleinste GPU, die das Servicelevel erfüllt
Eine größere GPU ist gerechtfertigt, wenn sie Warteschlangen reduziert, Parallelität erhöht oder Multi-GPU-Sharding genug vermeidet, um die Gesamtkosten zu senken. Andernfalls kann eine 24–48-GB-Karte wirtschaftlich besser passen.
Katalog-Shortlist
Relevante GPU-Optionen.
BlackwellVerfügbar
NVIDIA RTX 5090
32 GB GDDR7 · $0,69/Std.
Schnelle Single-GPU-Inferenz und Medien
EU West · ParisEU Central · Frankfurt
AdaVerfügbar
NVIDIA L40S
48 GB GDDR6 ECC · $0,79/Std.
Produktions-Inferenz, Fine-Tuning und Video
EU West · ParisEU Central · Frankfurt
HopperVerfügbar
NVIDIA H100 SXM
80 GB HBM3 · $2,69/Std.
Intensives Training und FP8-Inferenz
EU West · ParisEU Central · Frankfurt
HopperVerfügbar
NVIDIA H200 SXM
141 GB HBM3e · $3,59/Std.
Inferenz großer Modelle und HPC
EU West · ParisEU Central · Frankfurt
Fragen
Klare Antworten, einschließlich der Grenzen.
Wie viel VRAM benötige ich für LLM-Inferenz?+
Es hängt von Parameteranzahl, Präzision, Laufzeit, Kontext und Parallelität ab. Berechnen Sie zuerst die Modellgewichte, addieren Sie dann den KV-Cache und mindestens eine praktische Laufzeitreserve.
Ist Serverless-GPU günstiger als das Mieten einer Instanz?+
Es kann für intermittierenden Datenverkehr geeignet sein, da idle Worker herunterskaliert werden können. Ein kontinuierlich ausgelasteter Endpunkt kann auf einer dedizierten Instanz günstiger und vorhersehbarer sein.
Welche Kennzahl sollte ich vergleichen?+
Verwenden Sie Kosten pro Million akzeptierter Token zusammen mit Zeit bis zum ersten Token und p95-Latenz. Durchsatz allein kann eine schlechte Benutzererfahrung verbergen.
Quellen und Umfang
- NVIDIA-H100-ProduktseiteArchitektur- und Speicherspezifikationen vom Hersteller.
- NVIDIA-H200-ProduktseiteH200-Speicherkapazität und -bandbreite vom Hersteller.
Zuletzt überprüft am 1. September 2026. GPURento-Tarife sind aktuelle Katalogreferenzen; der Bereitstellungsstatus bleibt im Workspace sichtbar, und Herstellerspezifikationen ersetzen keine Workload-Benchmarks.
Recherche fortsetzen
Bereitstellungsplan
Endpunkt dimensionieren, bevor Sie Kapazität anfragen.
Bringen Sie Modell, Präzision, Kontext, Parallelität und Latenzziel in die Arbeitsbereichskonfiguration ein.