アーキテクチャの決定
GPUを追加する前に最も遅い段階をプロファイリングします。データ読み込みのボトルネックがアクセラレータをアイドル状態にすることがあります。
GLOBALATLAS AI · 機械学習インフラストラクチャ
機械学習インフラストラクチャ
データ準備、トレーニング、サービングを分離; これらの段階は異なる計算とストレージプロファイルを必要とします。
データの準備、トレーニングおよび評価
- 01
検証と前処理のためのCPUパイプライン
- 02
トレーニングホストと永続チェックポイント
- 03
トレーニング入力から分離された評価データセット
構成要件
準備にはCPUを使用し、フレームワークが加速をサポートする場合はGPUを使用し、データセットとチェックポイントには永続ストレージを利用します。VRAMを選択する前にトレーニングバッチを測定してください。