架構決策
使用所選模型卡進行大小調整。密集型 7B 權重的內存估算不能用於不同的 Mistral 版本。
GLOBALATLAS AI · Mistral 的基礎設施
Mistral 的基礎設施
Mistral 7B及其他Mistral版本在大小與架構上有所不同。請在規模硬體前選擇特定模型卡。
將Mistral架構與運行時匹配
- 01
精確的模型卡與權重修訂
- 02
密集或專家混合架構
- 03
支持的运行时、精度和上下文
配置需求
16 位元的 7B 密集模型約有 14 GB 小數點權重。請預留記憶體用於運行與上下文，勿以此估算用戶數。