GLOBALATLAS AI · UHISABATI MAALUM

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: usanidi wa inference unaojihostia, uzito wa BF16, muktadha wa tokeni 8192, kumbukumbu ya GPU na uteuzi wa seva.

Mipangilio

Modeli ya maandishi iliyofinyangwa kwa maelekezo. Utafutaji wa hati unahitaji huduma tofauti ya urejeshaji/faharasa; picha na sauti havitumiki na checkpoint hii.

Muundo wa mfano: Qwen/Qwen2.5-7B-Instruct
Vigezo / uzito: 7.62B · — GB
Muundo wa uzito: BF16
Muktadha / ulinganifu wa wakati mmoja: 8192 / 1
Kikomo cha muktadha wa checkpoint: 32768
Kumbukumbu iliyokadiriwa ya GPU: Requires an updated assessment
RAM / diski iliyopangwa: ≥ 32 GB / ≥ 100 GB
Muda wa utekelezaji wa kuhudumia: vLLM · HTTP API
Leseni: Apache-2.0

Kadirio linajumuisha uzito wa BF16, KV cache, eneo la kazi la GB 2 na nafasi ya ziada ya 15% GPU. RAM na diski ni mahitaji ya mipango ya GlobalAtlas, si viwango vya chini rasmi vya msanidi. Aina ya diski, viendeshi na muda wa utekelezaji huthibitishwa kabla ya usakinishaji. Bajeti ya kuhudumia ya tokeni 8192 inajumuisha ingizo na tokeo; muktadha mrefu zaidi au maombi mengi ya wakati mmoja yanahitaji ukubwa upya na jaribio la mzigo.

Kadi asili ya modeli

Chagua miundombinu yako

Chagua maunzi, kisha thibitisha upatikanaji na usakinishaji wa modeli na mtaalamu. Agizo la seva pekee halisakinishi modeli.

Tutachagua pamoja nawe usanidi unaoendana kwa modeli hii.

Omba usanidi kamili

Jumuisha modeli, eneo na mzigo unaotarajiwa. Wataalamu wetu watathibitisha maunzi, usakinishaji, ulinzi wa ufikiaji na bei ya mwisho.

Jadili na Atlas →

Omba usaidizi wa mtaalamu →

Tuma mahitaji yako kwa wataalamu wa GlobalAtlas kwa ukaguzi wa usanidi binafsi. Wataangalia maunzi, uoanifu na masharti, kisha kujibu kupitia barua pepe.