आर्किटेक्चर निर्णय
संपूर्ण Llama कुटुंब 8B उदाहरणापासून आकार देऊ नका. संदर्भ कॅश आणि रनटाइम ओव्हरहेड वजन मेमरीसह अतिरिक्त आहे.
GLOBALATLAS AI · Llama साठी पायाभूत सुविधा
Llama साठी पायाभूत सुविधा
Llama ही मॉडेलची कुटुंब आहे. Llama 3.1 8B हे 8 अब्ज पॅरामीटर मॉडेलचे उदाहरण आहे, प्रत्येक Llama प्रकाशनासाठी क्षमता वचन नाही.
Llama तैनाती प्रोफाइल तयार करा
- 01
मॉडेल आवृत्ती, आकार आणि परवाना
- 02
वजनांपेक्षा प्रिसिजन आणि रनटाइम स्मृती
- 03
चॅट टेम्पलेट, संदर्भ आणि मूल्यांकन प्रॉम्प्ट्स
कॉन्फिगरेशन आवश्यकता
16 बिट्सवर 8B घन वजनांसाठी, वजन-फक्त अंदाज 16 GB दशमलव आहे. रनटाइम आणि KV कॅश अतिरिक्त मेमरीची गरज आहे; मॉडेल परवाना तपासा.