GLOBALATLAS AI · ПОСВЕТЕНА ИНФЕРЕНЦИЈА

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: самохостирана inference конфигурација, тежини BF16, контекст од 8192 токени, меморија GPU и избор на сервер.

Конфигурација

Текстуален модел усогласен со инструкции со tokenizer v3. Повикувањето функции бара компатибилен chat template и извршување алатки од страна на апликацијата.

Модел: mistralai/Mistral-7B-Instruct-v0.3
Параметри / тежини: 7.25B · — GB
Формат на тежини: BF16
Контекст / истовременост: 8192 / 1
Лимит на контекст за checkpoint: 32768
Проценета меморија GPU: Requires an updated assessment
Планирана RAM / диск: ≥ 32 GB / ≥ 100 GB
Serving runtime: vLLM · HTTP API
Лиценца: Apache-2.0

Проценката вклучува тежини BF16, KV cache, работен простор од 2 GB и 15% GPU резерва. RAM и дискот се барања за планирање на GlobalAtlas, а не официјални минимални вредности на развивачот. Типот на дискот, драјверите и runtime-от се потврдуваат пред инсталација. Буџетот за сервирање од 8192 токени ги вклучува влезот и излезот; подолг контекст или повеќе истовремени барања бараат измена на големината и load test.

Оригинална картичка на моделот

Изберете ја вашата инфраструктура

Изберете хардвер, потоа потврдете ја достапноста и инсталацијата на моделот со специјалист. Самата нарачка на сервер не го инсталира моделот.

Ќе избереме компатибилна конфигурација за овој модел заедно со вас.

Побарајте комплетно поставување

Вклучете го моделот, регионот и очекуваното оптоварување. Нашите специјалисти ќе ги потврдат хардверот, инсталацијата, заштитата на пристап и крајната цена.

Разговарајте со Atlas →

Побарај стручна помош →

Испратете ги вашите барања до специјалистите на GlobalAtlas за индивидуален преглед на конфигурацијата. Тие ќе го проверат хардверот, компатибилноста и условите, а потоа ќе одговорат по е-пошта.