コンテキスト、並行性、トークンコストによってLLMサービング用のGPUをレンタルします。

モデルとトラフィックに適合

重みメモリは出発点にすぎません。量子化メタデータ、ランタイムワークスペース、目的のコンテキスト長、バッチサイズ、同時シーケンスのKVキャッシュを追加してください。一時的なピークがメモリ不足による再起動を引き起こさないように余裕を残してください。

使用率から専用またはサーバーレスを選択

専用GPUは、安定した使用率と予測可能なウォームレイテンシに適しています。サーバーレスは、スケール・トゥ・ゼロによる節約がコールドスタートとリクエストごとのオーバーヘッドを上回る場合、バースト的なトラフィックに適しています。同じトラフィックトレースで両方を評価してください。

• 最初のトークンまでの時間を記録
• トークン間レイテンシとp95を記録
• 総メータリングコストを受け入れられた出力トークンで割る

サービスレベルを満たす最小のGPUを使用

より大きなGPUは、キューイングを減らし、並行性を高め、またはマルチGPUシャーディングを回避して総コストを下げる場合に正当化されます。それ以外の場合、24〜48 GBのカードが経済的に適している可能性があります。