ਸੰਰਚਨਾ
v3 ਟੋਕਨਾਈਜ਼ਰ ਨਾਲ ਇੰਸਟ੍ਰੱਕਸ਼ਨ-ਟਿਊਨ ਕੀਤਾ ਟੈਕਸਟ ਮਾਡਲ। ਫੰਕਸ਼ਨ ਕਾਲਿੰਗ ਲਈ ਅਨੁਕੂਲ ਚੈਟ ਟੈਂਪਲੇਟ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ-ਸਾਈਡ ਟੂਲ ਐਗਜ਼ਿਕਿਊਸ਼ਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
- ਮਾਡਲ
- mistralai/Mistral-7B-Instruct-v0.3
- ਪੈਰਾਮੀਟਰ / ਵਜ਼ਨ
- 7.25B · — GB
- ਵਜ਼ਨ ਫਾਰਮੈਟ
- BF16
- ਸੰਦਰਭ / ਸਮਕਾਲੀਤਾ
- 8192 / 1
- ਚੈਕਪੋਇੰਟ ਸੰਦਰਭ ਸੀਮਾ
- 32768
- ਅੰਦਾਜ਼ਿਤ GPU ਮੈਮੋਰੀ
- Requires an updated assessment
- ਯੋਜਿਤ RAM / ਡਿਸਕ
- ≥ 32 GB / ≥ 100 GB
- ਸਰਵਿੰਗ ਰਨਟਾਈਮ
- vLLM · HTTP API
- ਲਾਇਸੈਂਸ
- Apache-2.0
ਅਨੁਮਾਨ ਵਿੱਚ BF16 ਵਜ਼ਨ, KV cache, 2 GB ਵਰਕਸਪੇਸ ਅਤੇ 15% GPU ਹੈੱਡਰੂਮ ਸ਼ਾਮਲ ਹੈ। RAM ਅਤੇ ਡਿਸਕ GlobalAtlas ਯੋਜਨਾ ਲੋੜਾਂ ਹਨ, ਡਿਵੈਲਪਰ ਦੀਆਂ ਅਧਿਕਾਰਿਕ ਨਿਊਨਤਮ ਸੀਮਾਵਾਂ ਨਹੀਂ। ਡਿਸਕ ਕਿਸਮ, ਡਰਾਈਵਰ ਅਤੇ ਰਨਟਾਈਮ ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। 8192-ਟੋਕਨ ਸਰਵਿੰਗ ਬਜਟ ਵਿੱਚ ਇਨਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਸ਼ਾਮਲ ਹਨ; ਲੰਬੇ ਸੰਦਰਭ ਜਾਂ ਵੱਧ ਸਮਕਾਲੀ ਬੇਨਤੀਆਂ ਲਈ ਆਕਾਰ ਵਧਾਉਣ ਅਤੇ ਲੋਡ ਟੈਸਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮੂਲ ਮਾਡਲ ਕਾਰਡ