ਵਿਧਾਨ-ਸੰਰਚਨਾ ਫੈਸਲਾ
ਆਕਾਰ ਨਿਰਧਾਰਨ ਲਈ ਚੁਣਿਆ ਗਿਆ ਮਾਡਲ ਕਾਰਡ ਵਰਤੋ। ਘਣੇ 7B ਵਜ਼ਨਾਂ ਲਈ ਮੈਮੋਰੀ ਅੰਦਾਜ਼ਾ ਕਿਸੇ ਹੋਰ Mistral ਰਿਲੀਜ਼ ਲਈ ਦੁਬਾਰਾ ਵਰਤਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ।
GLOBALATLAS AI · Mistral ਲਈ ਇਨਫਰਾਸਟਰੱਕਚਰ
Mistral ਲਈ ਢਾਂਚਾ
Mistral 7B ਅਤੇ ਹੋਰ Mistral ਰਿਲੀਜ਼ਾਂ ਆਕਾਰ ਅਤੇ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ। ਹਾਰਡਵੇਅਰ ਸਾਈਜ਼ਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਕਿਸੇ ਖਾਸ ਮਾਡਲ ਕਾਰਡ ਦੀ ਚੋਣ ਕਰੋ।
Mistral ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਰਨਟਾਈਮ ਨਾਲ ਮਿਲਾਓ
- 01
ਸਹੀ ਮਾਡਲ ਕਾਰਡ ਅਤੇ ਵਜ਼ਨ ਸੰਸ਼ੋਧਨ
- 02
ਘਣੀ ਜਾਂ ਮਿਕਸਚਰ-ਆਫ-ਐਕਸਪਰਟਸ ਆਰਕੀਟੈਕਚਰ
- 03
ਸਮਰਥਿਤ ਰਨਟਾਈਮ, ਪ੍ਰਿਸੀਜ਼ਨ ਅਤੇ ਸੰਦਰਭ
ਸੰਰਚਨਾ ਦੀਆਂ ਲੋੜਾਂ
16 ਬਿਟਾਂ 'ਤੇ 7B ਡੈਂਸ ਮਾਡਲ ਲਗਭਗ 14 GB ਦਸ਼ਮਲਵ ਭਾਰਾਂ ਦਾ ਹੁੰਦਾ ਹੈ। ਰਨਟਾਈਮ ਅਤੇ ਸੰਦਰਭ ਲਈ ਮੈਮੋਰੀ ਛੱਡੋ; ਇਸ ਅੰਦਾਜ਼ੇ ਤੋਂ ਉਪਭੋਗਤਾ ਗਿਣਤੀ ਦਾ ਅਨੁਮਾਨ ਨਾ ਲਗਾਓ।