アーキテクチャの決定
選択したモデルカードを使用してサイズを決定します。密な7B重みのメモリ推定値は、異なるMistralリリースには再利用できません。
GLOBALATLAS AI · Mistral用インフラストラクチャ
Mistral用インフラストラクチャ
Mistral 7Bおよびその他のMistralリリースはサイズとアーキテクチャが異なります。ハードウェアのサイズを決定する前に特定のモデルカードを選択してください。
Mistralアーキテクチャとランタイムを一致させる
- 01
正確なモデルカードと重みのリビジョン
- 02
密結合またはエキスパートの混合アーキテクチャ
- 03
サポートされるランタイム、精度、コンテキスト
構成要件
16ビットの7B密度モデルは約14 GBの重みを持ちます。ランタイムとコンテキスト用のメモリを確保してください。推定値からユーザー数を推測しないでください。