GLOBALATLAS AI · INFERÈNCIA DEDICADA

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: configuració d’inferència autoallotjada, pesos de BF16, context de 8192 tokens, memòria de GPU i selecció de servidor.

Configuració

Model de text ajustat per instruccions. La cerca de documents requereix un servei de recuperació/indexació independent; les imatges i l’àudio no són compatibles amb aquest checkpoint.

Model: Qwen/Qwen2.5-7B-Instruct
Paràmetres / pesos: 7.62B · — GB
Format dels pesos: BF16
Context / concurrència: 8192 / 1
Límit de context del checkpoint: 32768
Memòria estimada de GPU: Requires an updated assessment
RAM / disc planificats: ≥ 32 GB / ≥ 100 GB
Execució de servei: vLLM · HTTP API
Llicència: Apache-2.0

L’estimació inclou pesos de BF16, memòria cau KV, espai de treball de 2 GB i marge de 15% GPU. RAM i disc són requisits de planificació de GlobalAtlas, no els mínims oficials del desenvolupador. El tipus de disc, els controladors i l’execució es confirmen abans de la instal·lació. El pressupost de servei de 8192 tokens inclou entrada i sortida; un context més llarg o més sol·licituds simultànies requereixen redimensionament i una prova de càrrega.

Fitxa original del model

Tria la teva infraestructura

Selecciona el maquinari i després confirma amb un especialista la disponibilitat i la instal·lació del model. La comanda del servidor per si sola no instal·la el model.

Seleccionarem amb tu una configuració compatible per a aquest model.

Sol·licita la configuració completa

Inclou el model, la regió i la càrrega prevista. Els nostres especialistes confirmaran el maquinari, la instal·lació, la protecció d’accés i el preu final.

Parla amb Atlas →

Sol·licita assistència d’un especialista →

Envia els teus requisits als especialistes de GlobalAtlas per a una revisió individual de la configuració. Comprovaran el maquinari, la compatibilitat i les condicions, i després respondran per correu electrònic.