ਸੰਰਚਨਾ
Qwen2.5-32B ਬੇਸ ਉੱਤੇ DeepSeek-R1 ਆਉਟਪੁੱਟਾਂ ਦੀ ਵਰਤੋਂ ਨਾਲ ਡਿਸਟਿਲ ਕੀਤਾ ਗਿਆ ਇੱਕ ਵੱਖਰਾ DeepSeek ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ। ਇਹ ਪੂਰਾ 671B DeepSeek-R1 ਮਾਡਲ ਜਾਂ ਦੋ ਮਾਡਲਾਂ ਦਾ ਬੰਡਲ ਨਹੀਂ ਹੈ।
- ਮਾਡਲ
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- ਪੈਰਾਮੀਟਰ / ਵਜ਼ਨ
- 32.76B · — GB
- ਵਜ਼ਨ ਫਾਰਮੈਟ
- BF16
- ਸੰਦਰਭ / ਸਮਕਾਲੀਤਾ
- 8192 / 1
- ਚੈਕਪੋਇੰਟ ਸੰਦਰਭ ਸੀਮਾ
- 131072
- ਅੰਦਾਜ਼ਿਤ GPU ਮੈਮੋਰੀ
- Requires an updated assessment
- ਯੋਜਿਤ RAM / ਡਿਸਕ
- ≥ 128 GB / ≥ 200 GB
- ਸਰਵਿੰਗ ਰਨਟਾਈਮ
- vLLM · HTTP API
- ਲਾਇਸੈਂਸ
- MIT; ਬੇਸ ਮਾਡਲ Apache-2.0
ਅਨੁਮਾਨ ਵਿੱਚ BF16 ਵਜ਼ਨ, KV cache, 2 GB ਵਰਕਸਪੇਸ ਅਤੇ 15% GPU ਹੈੱਡਰੂਮ ਸ਼ਾਮਲ ਹੈ। RAM ਅਤੇ ਡਿਸਕ GlobalAtlas ਯੋਜਨਾ ਲੋੜਾਂ ਹਨ, ਡਿਵੈਲਪਰ ਦੀਆਂ ਅਧਿਕਾਰਿਕ ਨਿਊਨਤਮ ਸੀਮਾਵਾਂ ਨਹੀਂ। ਡਿਸਕ ਕਿਸਮ, ਡਰਾਈਵਰ ਅਤੇ ਰਨਟਾਈਮ ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। 8192-ਟੋਕਨ ਸਰਵਿੰਗ ਬਜਟ ਵਿੱਚ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਸ਼ਾਮਲ ਹਨ; ਲੰਬੇ ਸੰਦਰਭ ਜਾਂ ਵੱਧ ਸਮਕਾਲੀ ਬੇਨਤੀਆਂ ਲਈ ਆਕਾਰ ਵਧਾਉਣ ਅਤੇ ਲੋਡ ਟੈਸਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮੂਲ ਮਾਡਲ ਕਾਰਡ