ਸੰਰਚਨਾ
Qwen2.5-14B ਬੇਸ ਉੱਤੇ DeepSeek-R1 ਆਉਟਪੁੱਟਾਂ ਦੀ ਵਰਤੋਂ ਨਾਲ ਡਿਸਟਿਲ ਕੀਤਾ ਗਿਆ ਇੱਕ ਵੱਖਰਾ DeepSeek ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ। ਇਹ ਪੂਰਾ 671B DeepSeek-R1 ਮਾਡਲ ਜਾਂ ਦੋ ਮਾਡਲਾਂ ਦਾ ਬੰਡਲ ਨਹੀਂ ਹੈ।
- ਮਾਡਲ
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- ਪੈਰਾਮੀਟਰ / ਵਜ਼ਨ
- 14.77B · — GB
- ਵਜ਼ਨ ਫਾਰਮੈਟ
- BF16
- ਸੰਦਰਭ / ਸਮਕਾਲੀਤਾ
- 8192 / 1
- ਚੈਕਪੋਇੰਟ ਸੰਦਰਭ ਸੀਮਾ
- 131072
- ਅੰਦਾਜ਼ਿਤ GPU ਮੈਮੋਰੀ
- Requires an updated assessment
- ਯੋਜਿਤ RAM / ਡਿਸਕ
- ≥ 64 GB / ≥ 150 GB
- ਸਰਵਿੰਗ ਰਨਟਾਈਮ
- vLLM · HTTP API
- ਲਾਇਸੈਂਸ
- MIT; ਬੇਸ ਮਾਡਲ Apache-2.0
ਅਨੁਮਾਨ ਵਿੱਚ BF16 ਵਜ਼ਨ, KV cache, 2 GB ਵਰਕਸਪੇਸ ਅਤੇ 15% GPU ਹੈੱਡਰੂਮ ਸ਼ਾਮਲ ਹੈ। RAM ਅਤੇ ਡਿਸਕ GlobalAtlas ਯੋਜਨਾ ਲੋੜਾਂ ਹਨ, ਡਿਵੈਲਪਰ ਦੀਆਂ ਅਧਿਕਾਰਿਕ ਨਿਊਨਤਮ ਸੀਮਾਵਾਂ ਨਹੀਂ। ਡਿਸਕ ਕਿਸਮ, ਡਰਾਈਵਰ ਅਤੇ ਰਨਟਾਈਮ ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। 8192-ਟੋਕਨ ਸਰਵਿੰਗ ਬਜਟ ਵਿੱਚ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਸ਼ਾਮਲ ਹਨ; ਲੰਬੇ ਸੰਦਰਭ ਜਾਂ ਵੱਧ ਸਮਕਾਲੀ ਬੇਨਤੀਆਂ ਲਈ ਆਕਾਰ ਵਧਾਉਣ ਅਤੇ ਲੋਡ ਟੈਸਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮੂਲ ਮਾਡਲ ਕਾਰਡ