GLOBALATLAS AI · AIインフラストラクチャ
AIインフラストラクチャ
トレーニングはモデルを変更し、推論はそれを実行します。モデルサービング、データセット、アプリAPIは別々のリソース要件があります。
AIライフサイクルの段階を選択
トレーニングと適応
モデルを提供
LLMホスティング
モデルサービスには、メモリ内の重み、ランタイムバッファ、KVキャッシュ、アプリケーションエンドポイントが必要です。
探索 →AI推論
推論は訓練済みモデルを実行します。入力サイズ、バッチ処理、コンテキスト長が作業メモリとモデルの重みに影響します。
探索 →DeepSeek用インフラストラクチャ
DeepSeek-R1とその蒸留モデルは異なるワークロードです。蒸留リリースは1.5Bから70Bパラメータまであり、完全モデルには別のサイズ調整が必要です。
探索 →Llama用インフラストラクチャ
Llamaはモデルのファミリーです。Llama 3.1 8Bは、8十億パラメータのモデルの例であり、すべてのLlamaリリースの容量保証ではありません。
探索 →Mistral用インフラストラクチャ
Mistral 7Bおよびその他のMistralリリースはサイズとアーキテクチャが異なります。ハードウェアのサイズを決定する前に特定のモデルカードを選択してください。
探索 →Qwen用インフラストラクチャ
Qwenにはテキスト、コード、多モーダルモデルファミリーが含まれます。正確なモデルリリース、サポートされるサービングランタイム、精度、コンテキスト予算から開始してください。これらの選択がインフラ要件を決定します。
探索 →Gemma用インフラストラクチャ
Gemmaは複数のサイズとタスク特化型バリアントがあります。正確なモデルカードを選び、利用規約を確認し、ランタイムサポートを検証してからセルフホストサービスを計画してください。
探索 →Stable Diffusion用インフラストラクチャ
Stable Diffusionは画像生成ワークロードを提供します。SDXL Base、オプションのリファイナー、追加のワークフローパーツは別々のメモリとストレージ要件があります。解像度とバッチサイズはパイプライン全体に影響します。
探索 →FLUX用インフラストラクチャ
FLUXリリースはアーキテクチャ、推論コードおよびモデルライセンスで異なります。正確なリリースとサポートされるワークフローを選択し、意図した画像解像度と精度でピークメモリを測定してください。
探索 →Whisper用インフラストラクチャ
Whisperはオープンソースの音声認識モデルファミリーです。セルフホストの文字起こしはダウンロードしたモデル重みとローカル推論ランタイムを使用します。これはホスティングされた音声APIサブスクリプションとは別です。
探索 →