GLOBALATLAS AI · Infrastruktur AI
Infrastruktur AI
Perubahan pelatihan memodifikasi model; inferensi menjalankannya. Penyajian model, dataset, dan API aplikasi memiliki kebutuhan sumber daya terpisah.
Pilih tahap siklus hidup AI
Latih dan sesuaikan
Pelatihan AI
Pelatihan menyimpan aktivasi, gradien, dan status optimizer selain bobot model. Throughput dataset dan checkpoint juga penting.
Jelajahi →Fine-tuning
Fine-tuning menyesuaikan model yang sudah dilatih. Fine-tuning penuh dan metode efisien parameter memiliki kebutuhan memori yang berbeda.
Jelajahi →Layani sebuah model
Hosting LLM
Layanan model membutuhkan bobot dalam memori, buffer runtime, cache KV, dan endpoint aplikasi.
Jelajahi →Inferensi AI
Inferensi menjalankan model terlatih. Ukuran input, batching, dan panjang konteks menentukan memori kerja serta bobot model.
Jelajahi →Infrastruktur untuk DeepSeek
DeepSeek-R1 dan model distilasinya adalah beban kerja yang berbeda. Rilis distilasi mencakup 1,5B hingga 70B parameter; model lengkap memerlukan latihan ukuran terpisah.
Jelajahi →Infrastruktur untuk Llama
Llama adalah keluarga model. Llama 3.1 8B adalah contoh model dengan 8 miliar parameter, bukan janji kapasitas untuk setiap rilis Llama.
Jelajahi →Infrastruktur untuk Mistral
Mistral 7B dan rilis Mistral lainnya berbeda dalam ukuran dan arsitektur. Pilih kartu model tertentu sebelum menentukan ukuran perangkat keras.
Jelajahi →Infrastruktur untuk Qwen
Qwen mencakup keluarga model teks, kode, dan multimodal. Mulai dengan rilis model yang tepat, runtime layanan yang didukung, presisi, dan anggaran konteks; pilihan ini menentukan kebutuhan infrastruktur.
Jelajahi →Infrastruktur untuk Gemma
Gemma memiliki berbagai ukuran dan varian khusus tugas. Pilih model kartu yang tepat, terima syarat penggunaannya, dan verifikasi dukungan runtime sebelum merencanakan layanan mandiri.
Jelajahi →Infrastruktur untuk Stable Diffusion
Stable Diffusion melayani beban kerja pembuatan gambar. SDXL Base, refiner opsional, dan komponen alur kerja tambahan memiliki kebutuhan memori dan penyimpanan terpisah. Resolusi dan ukuran batch mempengaruhi seluruh pipeline.
Jelajahi →Infrastruktur untuk FLUX
Rilis FLUX berbeda dalam arsitektur, kode inferensi, dan lisensi model. Pilih rilis yang tepat dan alur kerja yang didukung, lalu ukur memori puncak pada resolusi dan presisi gambar yang diinginkan.
Jelajahi →Infrastruktur untuk Whisper
Whisper adalah keluarga model pengenalan suara sumber terbuka. Transkripsi yang di-host sendiri menggunakan bobot model yang diunduh dan runtime inferensi lokal; terpisah dari langganan API pengenalan suara yang di-host.
Jelajahi →Proses konten
Infrastruktur embedding
Pipeline embedding mengkodekan input ke dalam vektor dan biasanya menggabungkan eksekusi model dengan indeks atau basis data terpisah.
Jelajahi →Infrastruktur pembuatan gambar
Memori pembuatan gambar tergantung pada model, resolusi, ukuran batch, dan pipeline inferensi.
Jelajahi →Infrastruktur Speech AI
Transkripsi dan sintesis suara memiliki latensi, batching, dan kebutuhan pemrosesan audio yang berbeda.
Jelajahi →