GLOBALATLAS AI · AI-infrastruktur
AI-infrastruktur
Træningsændringer ændrer en model; inferens eksekverer den. Modelservice, datasæt og applikations-API'er har separate ressourcekrav.
Vælg en fase i AI-livscyklussen
Træn og tilpas
Tjen en model
Hosting af LLM
En modelservice har brug for vægte i hukommelsen, runtime-buffere, en KV-cache og en applikationsendepunkt.
Udforsk →AI-inferens
Inference udfører en trænet model. Input-størrelse, batching og kontekstlængde bestemmer arbejdshukommelse samt modelvægte.
Udforsk →Infrastruktur til DeepSeek
DeepSeek-R1 og dets destillerede modeller er forskellige arbejdsbelastninger. Destillerede udgivelser spænder fra 1,5B til 70B parametre; den fulde model kræver en separat størrelsesvurdering.
Udforsk →Infrastruktur til Llama
Llama er en familie af modeller. Llama 3.1 8B er et eksempel på en model med 8 milliarder parametre, ikke en kapacitetsgaranti for hver Llama-udgivelse.
Udforsk →Infrastruktur til Mistral
Mistral 7B og andre Mistral-udgivelser varierer i størrelse og arkitektur. Vælg en specifik model, før du størrelsesbestemmer hardware.
Udforsk →Infrastruktur til Qwen
Qwen inkluderer tekst-, kode- og multimodal modeller. Start med en præcis modeludgivelse, understøttet serveringstid, præcision og kontekstbudget; disse valg bestemmer infrastrukturkravene.
Udforsk →Infrastruktur til Gemma
Gemma har flere størrelser og opgavespecifikke varianter. Vælg den nøjagtige modelkort, accepter dens gældende brugsbetingelser og verificer runtime-understøttelse, før du planlægger en selvhostet tjeneste.
Udforsk →Infrastruktur til Stable Diffusion
Stable Diffusion håndterer billedgenereringsarbejdslaster. SDXL Base, en valgfri forfiner og yderligere workflow-komponenter har separate hukommelses- og lagringskrav. Opløsning og batchstørrelse påvirker hele pipeline.
Udforsk →Infrastruktur til FLUX
FLUX-udgivelser adskiller sig i arkitektur, inferenskode og modellicensering. Vælg den nøjagtige udgivelse og understøttet workflow, og mål derefter peak-hukommelse ved den tiltænkte billedopløsning og præcision.
Udforsk →Infrastruktur til Whisper
Whisper er en open-source talegenkendelsesfamilie. Selvhostet transskription bruger downloadede modelvægte og en lokal inference-runtime; det er adskilt fra en hosted tale-API-abonnement.
Udforsk →Behandl indhold
Indlejring-infrastruktur
Indlejring pipelines koder input til vektorer og kombinerer ofte modeludførelse med en separat indeks eller database.
Udforsk →Billedgenereringsinfrastruktur
Billedgenereringshukommelse afhænger af modellen, opløsningen, batch-størrelsen og inference-pipelinen.
Udforsk →Tale-AI-infrastruktur
Transskription og tale syntese har forskellige latenstid-, batching- og lydbehandlingskrav.
Udforsk →