構成
v3 トークナイザーを使用した指示調整済みテキストモデルです。関数呼び出しには、対応するチャットテンプレートとアプリケーション側でのツール実行が必要です。
- モデル
- mistralai/Mistral-7B-Instruct-v0.3
- パラメータ / 重み
- 7.25B · — GB
- 重み形式
- BF16
- コンテキスト / 同時実行
- 8192 / 1
- コンテキスト上限
- 32768
- 推定 GPU メモリ
- Requires an updated assessment
- 計画中の RAM / ディスク
- ≥ 32 GB / ≥ 100 GB
- 提供ランタイム
- vLLM · HTTP API
- ライセンス
- Apache-2.0
見積もりには、BF16 重み、KV キャッシュ、2 GB の作業領域、15% の GPU 余裕が含まれます。RAM とディスクはGlobalAtlasの計画要件であり、開発元の公式最小要件ではありません。ディスク種別、ドライバー、実行環境はインストール前に確認されます。8192 トークンの提供予算には入力と出力が含まれ、より長いコンテキストや同時リクエスト数の増加には再構成と負荷テストが必要です。
元のモデルカード