LLM用のクラウドGPUの選び方。

1. ワークロードモードから始める

推論は重みとランタイム状態を保存します。トレーニングは勾配、オプティマイザ状態、アクティベーションを追加します。パラメータ効率的チューニングはその中間にあります。ハードウェアを比較する前に、モデルリビジョン、精度、コンテキストまたはシーケンス長、バッチ、同時実行数を書き留めてください。

2. メモリ予算を立てる

大まかな重量見積もりは、パラメータ数にパラメータあたりのバイト数を掛けたものですが、カーネル、量子化メタデータ、KVキャッシュ、アクティベーション、断片化がオーバーヘッドを追加します。計算機はショートリストとして扱い、ピーク割り当てを検証してください。

• 開始時の仮定として10〜20%の運用ヘッドルームを追加
• 10進GBと2進GiBを暗黙的に混在させないでください
• コンテキスト、バッチ、またはランタイムを変更した後に再テスト

3. 結果を比較する（仕様ではなく）

推論では、レイテンシと100万受け入れトークンあたりのドルを比較します。トレーニングでは、受け入れられたチェックポイントまでの時間とドルを比較します。ビジュアル作業では、受け入れられた画像、クリップ、またはフレームあたりのコストを比較します。