GLOBALATLAS AI · AI-infrastructuur
AI-infrastructuur
Training wijzigt een model; inferentie voert het uit. Modelbediening, datasets en API's voor applicaties hebben aparte resourcevereisten.
Selecteer een fase van de AI-levenscyclus
Train en pas aan
AI-training
Training slaat activaties, gradiënten en optimizerstatus op naast modelgewichten. Datasetdoorvoer en checkpoints zijn ook belangrijk.
Verkennen →Fijn afstemmen
Fijn afstemmen past een voorgetraind model aan. Volledige fijn afstemming en parameter-efficiënte methoden hebben verschillende geheugeneisen.
Verkennen →Een model bedienen
Hosting van LLM
Een modelservice heeft gewichten in geheugen, runtime buffers, een KV-cache en een applicatie-eindpunt nodig.
Verkennen →AI inferentie
Inferentie voert een getraind model uit. Invoergrootte, batching en contextlengte bepalen werkgeheugen en modelgewichten.
Verkennen →Infrastructuur voor DeepSeek
DeepSeek-R1 en de gedistilleerde modellen zijn verschillende workloads. Gedistilleerde releases variëren van 1,5B tot 70B parameters; het volledige model vereist een aparte sizing-oefening.
Verkennen →Infrastructuur voor Llama
Llama is een familie van modellen. Llama 3.1 8B is een voorbeeld van een model met 8 miljard parameters, geen belofte voor capaciteit bij elke Llama-release.
Verkennen →Infrastructuur voor Mistral
Mistral 7B en andere Mistral-releases verschillen in grootte en architectuur. Kies een specifiek model voordat je hardware dimensioneert.
Verkennen →Infrastructuur voor Qwen
Qwen omvat tekst-, code- en multimodale modelfamilies. Begin met een exacte modelrelease, ondersteunde serveer-runtime, precisie en contextbudget; deze keuzes bepalen de infrastructuurvereisten.
Verkennen →Infrastructuur voor Gemma
Gemma heeft meerdere maten en taak-specifieke varianten. Kies de exacte modelkaart, accepteer de toepasselijke gebruiksvoorwaarden en controleer runtime-ondersteuning voordat je een zelfgehoste service plant.
Verkennen →Infrastructuur voor Stable Diffusion
Stable Diffusion is geschikt voor workloads voor beeldgeneratie. SDXL Base, een optionele refiner en aanvullende workflowcomponenten hebben aparte geheugen- en opslagvereisten. Resolutie en batchgrootte beïnvloeden de volledige pijplijn.
Verkennen →Infrastructuur voor FLUX
FLUX-releases verschillen in architectuur, inferentietaal en modellicentie. Selecteer de exacte release en ondersteunde workflow, en meet het piekgeheugen bij de beoogde beeldresolutie en precisie.
Verkennen →Infrastructuur voor Whisper
Whisper is een open-source spraakherkenningsfamilie. Zelfgehoste transcriptie gebruikt gedownloade modelgewichten en een lokale inferentieruntime; het is losgekoppeld van een hosted spraak-API-abonnement.
Verkennen →Verwerk inhoud
Inbeddingsinfrastructuur
Inbeddingspipelines coderen invoer in vectoren en combineren meestal modeluitvoering met een aparte index of database.
Verkennen →Infrastructuur voor beeldgeneratie
Geheugen voor beeldgeneratie hangt af van het model, de resolutie, batchgrootte en inferentie-pipeline.
Verkennen →Speech AI-infrastructuur
Transcriberen en spraaksynthese hebben verschillende latentie-, batching- en audioprocessing-vereisten.
Verkennen →