არქიტექტურის გადაწყვეტილება
არ ზომოთ მთელი Llama ოჯახის მოდელი 8B მაგალითიდან. კონტექსტის კეში და დროის ხარჯი დამატებითია წონას მეხსიერებაზე.
GLOBALATLAS AI · ინფრასტრუქტურა Llama-სთვის
ინფრასტრუქტურა Llama-სთვის
Llama არის მოდელების ოჯახი. Llama 3.1 8B არის მაგალითი 8-მილიარდ-პარამეტრიანი მოდელის, არა ყველა Llama გამოშვების შესაძლებლობის დაპირება.
Llama განთავსების პროფილის მომზადება
- 01
მოდელის ვერსია, ზომა და ლიცენზია
- 02
პრეციზა და დროის მეხსიერება წონებზე მეტი
- 03
ჩატ ბლოკი, კონტექსტი და შეფასების პრომპტები
კონფიგურაციის მოთხოვნები
8B სქელი წონების შემთხვევაში 16 ბიტში, წონის მხოლოდ შეფასება არის 16 GB დესიმალი. დროის და KV კეშის დამატებითი მეხსიერება საჭიროებს; შეამოწმეთ მოდელის ლიცენზია.