GLOBALATLAS AI · OMA INFEROINTI

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: itse isännöity päättelykokoonpano, BF16-painot, 8192-tokenin konteksti, GPU-muisti ja palvelimen valinta.

Kokoonpano

Ohjeistukseen hienosäädetty tekstimalli. Asiakirjahaku edellyttää erillistä haku-/indeksointipalvelua; kuvia ja ääntä ei tueta tässä tarkistuspisteessä.

Malli: Qwen/Qwen2.5-32B-Instruct
Parametrit / painot: 32.76B · — GB
Painomuoto: BF16
Konteksti / samanaikaisuus: 8192 / 1
Kontekstin enimmäisraja: 32768
Arvioitu GPU-muisti: Requires an updated assessment
Suunniteltu RAM / levy: ≥ 128 GB / ≥ 200 GB
Tarjoiluajonaika: vLLM · HTTP API
Lisenssi: Apache-2.0

Arvio sisältää BF16-painot, KV-välimuistin, 2 GB:n työtilan ja 15% GPU:n liikkumavaran. RAM ja levytila ovat GlobalAtlas-suunnitteluvaatimuksia, eivät kehittäjän virallisia minimejä. Levytyyppi, ajurit ja ajonaika vahvistetaan ennen asennusta. 8192-tokenin tarjoilubudjetti sisältää syötteen ja tulosteen; pidempi konteksti tai useammat samanaikaiset pyynnöt vaativat mitoituksen muutoksen ja kuormitustestin.

Alkuperäinen mallikortti

Valitse infrastruktuurisi

Valitse laitteisto ja vahvista sitten saatavuus ja mallin asennus asiantuntijan kanssa. Pelkkä palvelintilaus ei asenna mallia.

Valitsemme tähän malliin kanssasi yhteensopivan kokoonpanon.

Pyydä koko asennus

Sisällytä malli, alue ja arvioitu kuormitus. Asiantuntijamme vahvistavat laitteiston, asennuksen, käyttöoikeuksien suojauksen ja lopullisen hinnan.

Keskustele Atlasin kanssa →

Pyydä asiantuntija-apua →

Lähetä vaatimuksesi GlobalAtlas-asiantuntijoille yksilöllistä kokoonpanon arviointia varten. He tarkistavat laitteiston, yhteensopivuuden ja ehdot ja vastaavat sitten sähköpostitse.