クラウドGPUでビジョン、オーディオ、マルチモーダルモデルをトレーニングします。

入力、アクティベーション、バッチを一緒にサイズ設定

画像寸法、オーディオ期間、拡張、モデル状態、バッチサイズが相互作用します。パラメータ数のみから外挿するのではなく、代表的なサンプルでピーク割り当てを測定してください。

• 画像、クリップ、またはシーケンスの寸法を記録
• 意図した拡張と混合精度ポリシーを使用
• フレームワークワークスペースと一時テンソルのためのヘッドルームを残す

より多くのGPU時間を購入する前にデータパイプラインを測定

デコード、拡張、リモートストレージはアクセラレータを飢えさせる可能性があります。カードを比較したりワーカーをスケーリングしたりする前に、実際のデータセットでGPU使用率、ローダー待ち時間、チェックポイント時間をキャプチャします。

受け入れられたエポックまたは実行あたりのコストを比較する

測定されたエンドツーエンドのランタイムにGPU数と時間あたりのレートを掛け、ストレージ、チェックポイント、再試行を追加します。データセット、前処理、精度、受け入れ基準を候補間で同一に保ちます。