Tek çalışma oturumu
$5.52
1 GPU × 8sa · yalnızca hesaplama
Üretim ve toplu çıkarım
LLM sunumu için bağlam, eşzamanlılık ve token maliyetine göre GPU kiralayın.
Doğrudan cevap
LLM çıkarımını ağırlık hassasiyetinden, çalışma zamanı yükünden, KV önbelleğinden, bağlam uzunluğundan ve eşzamanlı dizilerden boyutlandırın. RTX 5090, L40S, H100 veya H200'ü seçmeden önce ilk token süresini, tokenlar arası gecikmeyi, p95 gecikmesini ve kabul edilen milyon token başına maliyeti karşılaştırın.
GPURento altyapı ekibi tarafından incelendi · 1 Eylül 2026
Şeffaf planlama pencereleri
Birinde örnek kiralama maliyeti RTX 5090.
Bunlar bilgi işlem kiralama pencereleridir, iş süresi veya performans tahminleri değildir. Saatleri ölçülen bir pilotla değiştirin ve hesaplayıcıya depolama ekleyin.
Kırk saatlik pencere
$27.60
1 GPU × 40sa · yalnızca hesaplama
Yüz yirmi saat
$82.80
1 GPU × 120sa · yalnızca hesaplama
| Bellek sürücüleri | Ağırlıklar + KV önbelleği | Bağlam ve eşzamanlılık, ağırlıklardan sonra baskın olabilir. |
|---|---|---|
| Gecikme metrikleri | TTFT · TPOT · p95 | Ortalama gecikme, kuyruk ve kuyruk sonu davranışını gizler. |
| Ekonomik metrik | $ / 1M token | Modeli, kaliteyi ve trafik şeklini sabit tutun. |
| Yürütme seçimi | Özel veya sunucusuz | Kullanıma ve soğuk başlatma toleransına bağlıdır. |
En iyi
- Özel model uç noktaları
- Toplu üretim ve değerlendirme
- Uzun bağlam veya yüksek eşzamanlılık sunumu
- Gecikme ve maliyeti birlikte ölçen ekipler
En iyi uyum değil
- Bilinen kalite veya gecikme hedefi olmayan trafik
- Amaçlanan hassasiyette profillenmemiş modeller
- Hassas veriler, incelenmiş bir bölge ve saklama politikası olmadan akar
Karar yöntemi
Kapasite dağıtmadan önce doğrulanacaklar.
Aşağıdaki içerik, yayınlanmış özellikleri, GPURento katalog referanslarını ve hala bir iş yükü kıyaslaması gerektiren kararları ayırır.
01
Modele ve trafiğe uyun
Ağırlık belleği yalnızca başlangıç noktasıdır. İstenen bağlam uzunluğu, toplu iş boyutu ve eşzamanlı diziler için niceleme meta verilerini, çalışma zamanı çalışma alanını ve KV önbelleğini ekleyin. Kısa bir tepe noktasının bellek yetersizliğinden yeniden başlatmaya neden olmaması için pay bırakın.
02
Kullanımdan özel veya sunucusuz seçin
Özel bir GPU, sabit kullanım ve öngörülebilir sıcak gecikme için uygundur. Sunucusuz, sıfıra ölçekleme tasarrufları soğuk başlangıç ve istek başına ek yükü aştığında patlamalı trafiğe uyar. Her ikisini de aynı trafik iziyle değerlendirin.
- İlk tokena kadar geçen süreyi kaydedin
- Token arası gecikmeyi ve p95'i kaydedin
- Toplam ölçülen maliyeti kabul edilen çıktı tokenlerine bölün
03
Hizmet düzeyini karşılayan en küçük GPU'yu kullanın
Daha büyük bir GPU, kuyruğu azalttığında, eşzamanlılığı artırdığında veya çoklu GPU parçalamayı önleyerek toplam maliyeti düşürdüğünde haklı çıkar. Aksi takdirde, 24–48 GB'lık bir kart daha iyi bir ekonomik uyum olabilir.
Katalog kısa listesi
İlgili GPU seçenekleri.
BlackwellKullanılabilir
NVIDIA RTX 5090
32 GB GDDR7 · $0,69/saat
Hızlı tek GPU çıkarımı ve medya
AB Batı · ParisAB Orta · Frankfurt
AdaKullanılabilir
NVIDIA L40S
48 GB GDDR6 ECC · $0,79/saat
Üretim çıkarımı, ince ayar ve video
AB Batı · ParisAB Orta · Frankfurt
HopperKullanılabilir
NVIDIA H100 SXM
80 GB HBM3 · $2,69/saat
Yoğun eğitim ve FP8 çıkarımı
AB Batı · ParisAB Orta · Frankfurt
HopperKullanılabilir
NVIDIA H200 SXM
141 GB HBM3e · $3,59/saat
Büyük model çıkarımı ve HPC
AB Batı · ParisAB Orta · Frankfurt
Sorular
Sınırlar dahil net cevaplar.
LLM çıkarımı için ne kadar VRAM'e ihtiyacım var?+
Parametre sayısına, hassasiyete, çalışma süresine, bağlama ve eşzamanlılığa bağlıdır. Önce model ağırlıklarını hesaplayın, ardından KV önbelleğini ve en azından pratik bir çalışma zamanı marjını ekleyin.
Sunucusuz GPU, örnek kiralamaktan daha mı ucuz?+
Kesintili trafik için olabilir çünkü boşta çalışanlar ölçeklenebilir. Sürekli meşgul bir uç nokta, özel bir örnekte daha ucuz ve daha öngörülebilir olabilir.
Hangi metriği karşılaştırmalıyım?+
Kabul edilen milyon token başına maliyeti, ilk token süresi ve p95 gecikmesiyle birlikte kullanın. Yalnızca verim, kötü kullanıcı deneyimini gizleyebilir.
Kaynaklar ve kapsam
- NVIDIA H100 ürün sayfasıÜreticiden mimari ve bellek özellikleri.
- NVIDIA H200 ürün sayfasıÜreticiden H200 bellek kapasitesi ve bant genişliği.
Son gözden geçirme 1 Eylül 2026. GPURento ücretleri güncel katalog referanslarıdır; sağlama durumu çalışma alanında görünür kalır ve üretici özellikleri iş yükü kıyaslamalarının yerini tutmaz.
Araştırmaya devam et
Dağıtım planı
Kapasite talep etmeden önce uç noktayı boyutlandırın.
Modeli, hassasiyeti, bağlamı, eşzamanlılığı ve gecikme hedefini çalışma alanı yapılandırmasına getirin.