H100 vs H200 vs B200: ボトルネックと可用性で選択。

H100: 確立されたHopperパフォーマンス

80 GBで十分であり、ソフトウェアスタックがHopperトランスフォーマーアクセラレーションの恩恵を受ける場合はH100を選択します。これは3つの中で最も広いGPURentoリクエスト地域と、H200よりも低い公開参照レートを持っています。

H200: メモリバウンドのワークロードを解決

141 GBとより高いメモリ帯域幅がシャーディングを減らし、コンテキストを増やし、または並行性を高めて、高い時間あたり参照を相殺する場合にH200を選択します。ワークロードが計算バウンドのままで80 GBに収まる場合は、利点を検証してください。

• 同じモデルに必要なGPUを測定
• コンテキストと同時実行数を固定
• 受け入れられたトークンまたはチェックポイントあたりのコストを比較する

B200: 効果のある場所でBlackwellを使用

B200は3つの中で最大のメモリと新しいアーキテクチャを$5.98/GPU時間で提供します。Blackwellのスループット、180 GBメモリ、FP4サポートが高い時間あたりレートを相殺する場合に使用してください。

同じシステム境界をベンチマーク

モデルとデータセットのリビジョン、コンテナダイジェスト、精度、コンテキストまたはバッチ、品質ターゲット、チェックポイントポリシーを固定します。ウォームアップを別途記録し、p50およびp95のエンドツーエンドランタイム、ピークメモリ、総コンピュートコストを比較します。メーカーのピークは仕様であり、GPURentoインフラストラクチャの結果ではありません。

• リクエストに示されている正確なGPUフォームファクタを使用
• データロード、前処理、チェックポイントI/Oを含める
• 受け入れられたトークン、チェックポイント、または完了したジョブあたりのコストを報告