Mistral-7B-Instruct-v0.3

配置

使用 v3 分词器的指令微调文本模型。函数调用需要兼容的聊天模板以及在应用侧执行工具。

模型

mistralai/Mistral-7B-Instruct-v0.3

参数 / 权重

7.25B · — GB

权重格式

BF16

上下文 / 并发

8192 / 1

检查点上下文上限

32768

预计 GPU 内存

Requires an updated assessment

规划中的 RAM / 磁盘

≥ 32 GB / ≥ 100 GB

服务运行时

vLLM · HTTP API

许可证

Apache-2.0

估算包含 BF16 权重、KV 缓存、2 GB 工作区和 15% GPU 余量。RAM 和磁盘是 GlobalAtlas 规划需求，不是开发者的官方最低值。安装前会确认磁盘类型、驱动和运行时。8192 token 服务预算包含输入和输出；更长的上下文或更多同时请求需要扩容并进行负载测试。

选择您的基础设施

先选择硬件，然后与专家确认可用性和模型安装。仅订购服务器本身不会安装模型。

我们会与您一起为该模型选择兼容的配置。