架構決策
使用所選模型卡進行大小調整。密集型 7B 權重的記憶體估算不能用於不同的 Mistral 版本。
GLOBALATLAS AI · Mistral 的基礎設施
Mistral 的基礎設施
Mistral 7B 及其他 Mistral 版本在大小與架構上有所不同。請在規劃硬體前選擇特定模型卡。
將 Mistral 架構與運行時匹配
- 01
精確的模型卡與權重修訂
- 02
密集或專家混合架構
- 03
支援的運行時、精度與上下文
配置需求
7B 密集模型，16 位約含14 GB 權重。請留出記憶體給運行與上下文，勿以此估計推算用戶數。