アーキテクチャの決定
8Bの例からLlamaファミリー全体のサイズを決定しないでください。コンテキストキャッシュとランタイムオーバーヘッドは追加のメモリです。
GLOBALATLAS AI · Llama用インフラストラクチャ
Llama用インフラストラクチャ
Llamaはモデルのファミリーです。Llama 3.1 8Bは、8十億パラメータのモデルの例であり、すべてのLlamaリリースの容量保証ではありません。
Llama展開プロファイルを準備
- 01
モデルバージョン、サイズ、ライセンス
- 02
重みを超える精度とランタイムメモリ
- 03
チャットテンプレート、コンテキスト、評価プロンプト
構成要件
8Bの密結合重み（16ビット）の場合、重みのみの推定値は16 GBです。ランタイムとKVキャッシュには追加のメモリが必要です。モデルのライセンスを確認してください。