GLOBALATLAS AI · ADANMIŞ ÇIKARIM

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: kendi barındırmalı çıkarım yapılandırması, BF16 ağırlıkları, 8192 tokenlık bağlam, GPU bellek ve sunucu seçimi.

Yapılandırma

Yönergeyle ince ayarlanmış metin modeli. Belge araması için ayrı bir alma/dizinleme hizmeti gerekir; bu kontrol noktası görüntü ve sesi desteklemez.

Model: Qwen/Qwen2.5-7B-Instruct
Parametreler / ağırlıklar: 7.62B · — GB
Ağırlık biçimi: BF16
Bağlam / eşzamanlılık: 8192 / 1
Bağlam sınırı: 32768
Tahmini GPU bellek: Requires an updated assessment
Planlanan RAM / disk: ≥ 32 GB / ≥ 100 GB
Sunum çalışma zamanı: vLLM · HTTP API
Lisans: Apache-2.0

Tahmin; BF16 ağırlıkları, KV önbelleği, 2 GB çalışma alanı ve 15% GPU payını içerir. RAM ve disk, geliştiricinin resmi asgari değerleri değil, GlobalAtlas planlama gereksinimleridir. Disk türü, sürücüler ve çalışma zamanı kurulum öncesinde doğrulanır. 8192 tokenlık sunum bütçesi giriş ve çıkışı içerir; daha uzun bir bağlam veya daha fazla eşzamanlı istek yeniden boyutlandırma ve yük testi gerektirir.

Orijinal model kartı

Altyapınızı seçin

Donanımı seçin, ardından bir uzmanla kullanılabilirlik ve model kurulumunu doğrulayın. Yalnızca sunucu siparişi modeli kurmaz.

Bu model için sizinle birlikte uyumlu bir yapılandırma seçeceğiz.

Tam kurulumu talep edin

Modeli, bölgeyi ve beklenen yükü belirtin. Uzmanlarımız donanımı, kurulumu, erişim korumasını ve nihai fiyatı doğrulayacaktır.

Atlas ile görüşün →

Uzman desteği isteyin →

Bireysel bir yapılandırma incelemesi için gereksinimlerinizi GlobalAtlas uzmanlarına gönderin. Donanımı, uyumluluğu ve koşulları kontrol edip ardından e-posta ile yanıt verecekler.