GLOBALATLAS AI · ПОСВЕТЕНА ИНФЕРЕНЦИЈА

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: самохостирана inference конфигурација, тежини BF16, контекст од 8192 токени, меморија GPU и избор на сервер.

Конфигурација

Текстуален модел усогласен со инструкции. Пребарување документи бара посебна услуга за retrieval/indexing; сликите и аудиото не се поддржани од овој checkpoint.

Модел: Qwen/Qwen2.5-32B-Instruct
Параметри / тежини: 32.76B · — GB
Формат на тежини: BF16
Контекст / истовременост: 8192 / 1
Лимит на контекст за checkpoint: 32768
Проценета меморија GPU: Requires an updated assessment
Планирана RAM / диск: ≥ 128 GB / ≥ 200 GB
Serving runtime: vLLM · HTTP API
Лиценца: Apache-2.0

Проценката вклучува тежини BF16, KV cache, работен простор од 2 GB и 15% GPU резерва. RAM и дискот се барања за планирање на GlobalAtlas, а не официјални минимални вредности на развивачот. Типот на дискот, драјверите и runtime-от се потврдуваат пред инсталација. Буџетот за сервирање од 8192 токени ги вклучува влезот и излезот; подолг контекст или повеќе истовремени барања бараат измена на големината и load test.

Оригинална картичка на моделот

Изберете ја вашата инфраструктура

Изберете хардвер, потоа потврдете ја достапноста и инсталацијата на моделот со специјалист. Самата нарачка на сервер не го инсталира моделот.

Ќе избереме компатибилна конфигурација за овој модел заедно со вас.

Побарајте комплетно поставување

Вклучете го моделот, регионот и очекуваното оптоварување. Нашите специјалисти ќе ги потврдат хардверот, инсталацијата, заштитата на пристап и крајната цена.

Разговарајте со Atlas →

Побарај стручна помош →

Испратете ги вашите барања до специјалистите на GlobalAtlas за индивидуален преглед на конфигурацијата. Тие ќе го проверат хардверот, компатибилноста и условите, а потоа ќе одговорат по е-пошта.