レンタルGPUでビジョン、オーディオ、埋め込み推論を実行します。

前処理、入力形状、ピークメモリをプロファイリング

意図したバッチと入力分布で、デコード、リサイズ、特徴抽出、ロードされたモデルメモリ、フレームワークワークスペース、一時割り当てを測定します。GPUを比較するときは前処理を同一に保ちます。

• コールドスタートとウォームスタートのメモリを記録
• ターゲットバッチ、同時実行、入力分布をテスト
• メモリ不足による再起動を避けるために十分なヘッドルームを確保

コールド、ウォーム、テールレイテンシをベンチマーク

前処理、キュー時間、p50およびp95レイテンシ、スループット、エラーレートをキャプチャします。バッチジョブの場合は、1時間あたりの承認済み予測を記録します。ピークハードウェア仕様ではなく、同じモデル品質で候補を比較します。

使用率から専用またはリクエスト駆動型の実行を選択

専用GPUは、予測可能または持続的な使用に適しています。バースト的なトラフィックは、スケールダウンによる節約がコールドスタートのオーバーヘッドを上回る場合、リクエスト駆動型ワーカーを好む場合があります。代表的なトラフィックトレースを使用し、比較にアイドル時間を含めてください。