ਸੰਰਚਨਾ
ਇੰਸਟ੍ਰੱਕਸ਼ਨ-ਟਿਊਨ ਕੀਤਾ ਟੈਕਸਟ ਮਾਡਲ। ਦਸਤਾਵੇਜ਼ ਖੋਜ ਲਈ ਵੱਖਰੀ ਰਿਟਰੀਵਲ/ਇੰਡੈਕਸਿੰਗ ਸੇਵਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਇਸ ਚੈਕਪੋਇੰਟ ਦੁਆਰਾ ਤਸਵੀਰਾਂ ਅਤੇ ਆਡੀਓ ਸਮਰਥਿਤ ਨਹੀਂ ਹਨ।
- ਮਾਡਲ
- Qwen/Qwen2.5-32B-Instruct
- ਪੈਰਾਮੀਟਰ / ਵਜ਼ਨ
- 32.76B · — GB
- ਵਜ਼ਨ ਫਾਰਮੈਟ
- BF16
- ਸੰਦਰਭ / ਸਮਕਾਲੀਤਾ
- 8192 / 1
- ਚੈਕਪੋਇੰਟ ਸੰਦਰਭ ਸੀਮਾ
- 32768
- ਅੰਦਾਜ਼ਿਤ GPU ਮੈਮੋਰੀ
- Requires an updated assessment
- ਯੋਜਿਤ RAM / ਡਿਸਕ
- ≥ 128 GB / ≥ 200 GB
- ਸਰਵਿੰਗ ਰਨਟਾਈਮ
- vLLM · HTTP API
- ਲਾਇਸੈਂਸ
- Apache-2.0
ਅਨੁਮਾਨ ਵਿੱਚ BF16 ਵਜ਼ਨ, KV cache, 2 GB ਵਰਕਸਪੇਸ ਅਤੇ 15% GPU ਹੈੱਡਰੂਮ ਸ਼ਾਮਲ ਹੈ। RAM ਅਤੇ ਡਿਸਕ GlobalAtlas ਯੋਜਨਾ ਲੋੜਾਂ ਹਨ, ਡਿਵੈਲਪਰ ਦੀਆਂ ਅਧਿਕਾਰਿਕ ਨਿਊਨਤਮ ਸੀਮਾਵਾਂ ਨਹੀਂ। ਡਿਸਕ ਕਿਸਮ, ਡਰਾਈਵਰ ਅਤੇ ਰਨਟਾਈਮ ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। 8192-ਟੋਕਨ ਸਰਵਿੰਗ ਬਜਟ ਵਿੱਚ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਸ਼ਾਮਲ ਹਨ; ਲੰਬੇ ਸੰਦਰਭ ਜਾਂ ਵੱਧ ਸਮਕਾਲੀ ਬੇਨਤੀਆਂ ਲਈ ਆਕਾਰ ਵਧਾਉਣ ਅਤੇ ਲੋਡ ਟੈਸਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮੂਲ ਮਾਡਲ ਕਾਰਡ