Architektūros sprendimas
Neleiskite visos Llama šeimos dydžio nuo 8B pavyzdžio. Konteksto talpykla ir vykdymo perkrova yra papildomi prie svorio atminties.
GLOBALATLAS AI · Infrastruktūra Llama
Infrastruktūra Llama
Llama yra modelių šeima. Llama 3.1 8B yra pavyzdys apie 8 milijardus parametrų modelio, o ne pažado dėl kiekvieno Llama leidimo galios.
Paruošti Llama diegimo profilį
- 01
Modelio versija, dydis ir licencija
- 02
Tikslumas ir vykdymo atmintis virš svorių
- 03
Pokalbio šablonas, kontekstas ir vertinimo užklausos
Reikalavimai konfigūracijai
8B tankių svorių atveju 16 bitų, svorio tik įvertinimas yra 16 GB dešimtainis. Vykdymo ir KV talpykla reikalauja papildomos atminties; patikrinkite modelio licenciją.