LLM事前トレーニングおよび継続トレーニング用のGPUをレンタルします。

トレーニングメモリをレイヤーで見積もる

重み、勾配、オプティマイザ状態、アクティベーション、通信バッファ、フレームワークオーバーヘッドを考慮してください。混合精度、アクティベーションチェックポイント、シャーディングは結果を変えるため、すべての見積もりには安全マージンと短い検証実行が必要です。

• パラメータ数と精度を定義
• FSDP、ZeRO、または別の状態シャーディング戦略を選択
• 完全な実行を予約する前にピークメモリをテスト

チェックポイントを中心に設計

有用な単位は、多くの場合、受け入れられたチェックポイントあたりのコストです。1秒あたりのサンプル数、チェックポイント時間、ストレージスループット、再起動時間、障害ポリシーを記録してください。高速なGPUは、入力データや遅いチェックポイントストレージによってブロックされたパイプラインを修正できません。

トポロジーを並列戦略に一致させる

FSDPまたはZeRO、データ、テンソル、パイプライン、エキスパート並列性は異なるリンクにストレスを与えます。トークン/秒、通信シェア、スケーリング効率を記録し、意図したGPU数でチェックポイントあたりのコストを比較します。