構成
指示調整済みテキストモデルです。文書検索には別途の検索／索引サービスが必要です。画像と音声はこのチェックポイントではサポートされていません。
- モデル
- Qwen/Qwen2.5-32B-Instruct
- パラメータ / 重み
- 32.76B · — GB
- 重み形式
- BF16
- コンテキスト / 同時実行
- 8192 / 1
- コンテキスト上限
- 32768
- 推定 GPU メモリ
- Requires an updated assessment
- 計画中の RAM / ディスク
- ≥ 128 GB / ≥ 200 GB
- 提供ランタイム
- vLLM · HTTP API
- ライセンス
- Apache-2.0
見積もりには、BF16 重み、KV キャッシュ、2 GB の作業領域、15% の GPU 余裕が含まれます。RAM とディスクはGlobalAtlasの計画要件であり、開発元の公式最小要件ではありません。ディスク種別、ドライバー、実行環境はインストール前に確認されます。8192 トークンの提供予算には入力と出力が含まれ、より長いコンテキストや同時リクエスト数の増加には再構成と負荷テストが必要です。
元のモデルカード