配置
採用 v3 tokenizer 的指令微調文字模型。函式呼叫需要相容的聊天模板與應用端工具執行。
- 模型
- mistralai/Mistral-7B-Instruct-v0.3
- 參數／權重
- 7.25B · — GB
- 權重格式
- BF16
- 上下文 / 併發
- 8192 / 1
- Checkpoint 上下文上限
- 32768
- 預估 GPU 記憶體
- Requires an updated assessment
- 規劃中的 RAM／磁碟
- ≥ 32 GB / ≥ 100 GB
- 服務執行階段
- vLLM · HTTP API
- 授權
- Apache-2.0
此估算包含 BF16 權重、KV 快取、2 GB 工作區與 15% GPU 補充空間。RAM 與磁碟屬於 GlobalAtlas 規劃需求，並非開發者的正式最低值。磁碟類型、驅動程式與執行階段會在安裝前確認。8192 token 服務預算包含輸入與輸出；更長的上下文或更多同時請求需要重新配置與負載測試。
原始模型卡