ਵਿਧਾਨ-ਸੰਰਚਨਾ ਫੈਸਲਾ
ਸਾਰੇ Llama ਪਰਿਵਾਰ ਨੂੰ 8B ਉਦਾਹਰਨ ਤੋਂ ਮਾਪ ਨਾ ਕਰੋ। ਸੰਦਰਭ ਕੈਸ਼ ਅਤੇ ਰਨਟਾਈਮ ਓਵਰਹੈੱਡ ਵਜ਼ਨ ਮੈਮੋਰੀ ਤੋਂ ਵੱਧ ਹਨ।
GLOBALATLAS AI · Llama ਲਈ ਇਨਫਰਾਸਟਰੱਕਚਰ
Llama ਲਈ ਢਾਂਚਾ
Llama ਮਾਡਲਾਂ ਦਾ ਪਰਿਵਾਰ ਹੈ। Llama 3.1 8B 8-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਦਾ ਉਦਾਹਰਨ ਹੈ, ਹਰ Llama ਰਿਲੀਜ਼ ਲਈ ਸਮਰੱਥਾ ਦਾ ਵਾਅਦਾ ਨਹੀਂ।
Llama ਡਿਪਲੋਇਮੈਂਟ ਪ੍ਰੋਫਾਈਲ ਤਿਆਰ ਕਰੋ
- 01
ਮਾਡਲ ਵਰਜਨ, ਆਕਾਰ ਅਤੇ ਲਾਇਸੈਂਸ
- 02
ਵਜ਼ਨ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰਿਸੀਜ਼ਨ ਅਤੇ ਰਨਟਾਈਮ ਮੈਮੋਰੀ
- 03
ਚੈਟ ਟੈਮਪਲੇਟ, ਸੰਦਰਭ ਅਤੇ ਮੁਲਾਂਕਣ ਪ੍ਰਾਂਪਟ
ਸੰਰਚਨਾ ਦੀਆਂ ਲੋੜਾਂ
16 ਬਿਟਾਂ 'ਤੇ 8B ਡੈਂਸ ਵਜ਼ਨ ਲਈ, ਸਿਰਫ ਵਜ਼ਨ ਦਾ ਅੰਦਾਜ਼ਾ 16 GB ਦਸ਼ਮਲਵ ਹੈ। ਰਨਟਾਈਮ ਅਤੇ KV ਕੈਸ਼ ਲਈ ਵਾਧੂ ਯਾਦਾਸ਼ਤ ਦੀ ਲੋੜ ਹੈ; ਮਾਡਲ ਲਾਇਸੈਂਸਿੰਗ ਦੀ ਜਾਂਚ ਕਰੋ।