Qwen2.5-7B-Instruct

配置

指令微調文字模型。文件搜尋需要獨立的檢索／索引服務；此 checkpoint 不支援圖像及音訊。

模型

Qwen/Qwen2.5-7B-Instruct

參數／權重

7.62B · — GB

權重格式

BF16

上下文／併發

8192 / 1

Checkpoint context 上限

32768

估算的 GPU 記憶體

Requires an updated assessment

規劃中的 RAM／磁碟

≥ 32 GB / ≥ 100 GB

提供執行階段

vLLM · HTTP API

授權

Apache-2.0

估算包括 BF16 權重、KV cache、2 GB 工作區及 15% GPU 緩衝。RAM 及磁碟屬於 GlobalAtlas 規劃需求，並非開發者的官方最低值。磁碟類型、驅動程式及執行階段會在安裝前確認。8192 token 的提供預算包括輸入及輸出；更長的上下文或更多同時請求需要重新調整規格及進行負載測試。

選擇您的基礎架構

先選擇硬件，再與專員確認供應情況及模型安裝。僅訂購伺服器並不會安裝模型。

我們會與您一同為此模型選擇相容配置。