架构决策
使用所选模型卡进行尺寸估算。密集型 7B 权重的内存估算不能用于不同的 Mistral 版本。
GLOBALATLAS AI · Mistral 基础设施
Mistral 的基础设施
Mistral 7B及其他Mistral版本在大小和架构上有所不同。请在选定硬件前查看具体模型卡。
将Mistral架构与运行时匹配
- 01
精确的模型卡和权重版本
- 02
密集或专家混合架构
- 03
支持的运行时、精度和上下文
配置要求
16位的7B密集模型大约有14 GB的权重。请预留内存用于运行时和上下文；不要仅凭此估算推断用户数。