GLOBALATLAS AI · Тусгай зориулалтын inference

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: өөрөө байршуулсан inference тохиргоо, BF16 weights, 8192-token context, GPU memory болон серверийн сонголт.

Тохиргоо

v3 tokenizer-той instruction-tuned текст загвар. Function calling-д нийцтэй chat template болон аппликейшний талын tool execution шаардлагатай.

Загвар: mistralai/Mistral-7B-Instruct-v0.3
Параметр / weights: 7.25B · — GB
Weights-ийн формат: BF16
Контекст / зэрэгцээ ажиллагаа: 8192 / 1
Контекстийн checkpoint хязгаар: 32768
Тооцоолсон GPU санах ой: Requires an updated assessment
Төлөвлөсөн RAM / диск: ≥ 32 GB / ≥ 100 GB
Serving runtime: vLLM · HTTP API
Лиценз: Apache-2.0

Тооцоонд BF16 weights, KV cache, 2 GB workspace, 15% GPU нөөц багтсан. RAM болон диск нь хөгжүүлэгчийн албан ёсны доод хэмжээ биш, GlobalAtlas төлөвлөлтийн шаардлага. Дискний төрөл, драйвер, runtime-ыг суурилуулалтын өмнө баталгаажуулна. 8192-token serving төсөвт оролт ба гаралт хоёулаа багтана; урт контекст эсвэл олон зэрэгцээ хүсэлт нь хэмжээг өөрчлөх, ачааллын тест хийх шаардлагатай.

Эх загварын карт

Дэд бүтцээ сонгоно уу

Тоног төхөөрөмжөө сонгож, дараа нь мэргэжилтэнтэй хамт боломж болон загвар суурилуулалтыг баталгаажуулна уу. Зөвхөн сервер захиалах нь загварыг суулгахгүй.

Бид энэ загварт нийцэх тохиргоог тантай хамт сонгоно.

Бүрэн тохиргоог хүсэх

Загвар, бүс нутаг, хүлээгдэж буй ачааллаа оруулна уу. Манай мэргэжилтнүүд техник хангамж, суурилуулалт, нэвтрэлтийн хамгаалалт болон эцсийн үнийг баталгаажуулна.

Atlas-тай ярилцах →

Мэргэжилтнээс тусламж хүсэх →

Ганцаарчилсан тохиргооны үнэлгээ авахын тулд шаардлагаа GlobalAtlas мэргэжилтнүүдэд илгээнэ үү. Тэд техник хангамж, нийцэл, нөхцөлийг шалгаад, имэйлээр хариу өгнө.