配置
採用 v3 tokenizer 的指令微調文字模型。函式調用需要相容的 chat template 及在應用程式端執行工具。
- 模型
- mistralai/Mistral-7B-Instruct-v0.3
- 參數／權重
- 7.25B · — GB
- 權重格式
- BF16
- 上下文／併發
- 8192 / 1
- Checkpoint context 上限
- 32768
- 估算的 GPU 記憶體
- Requires an updated assessment
- 規劃中的 RAM／磁碟
- ≥ 32 GB / ≥ 100 GB
- 提供執行階段
- vLLM · HTTP API
- 授權
- Apache-2.0
估算包括 BF16 權重、KV cache、2 GB 工作區及 15% GPU 緩衝。RAM 及磁碟屬於 GlobalAtlas 規劃需求，並非開發者的官方最低值。磁碟類型、驅動程式及執行階段會在安裝前確認。8192 token 的提供預算包括輸入及輸出；更長的上下文或更多同時請求需要重新調整規格及進行負載測試。
原始模型卡