GLOBALATLAS AI · Infrastructure IA
Infrastructure AI
Les modifications de formation modifient un modèle ; l'inférence l'exécute. Le service de modèle, les ensembles de données et les API d'application ont des exigences de ressources séparées.
Sélectionnez une étape du cycle de vie de l’IA
Former et adapter
Formation AI
La formation stocke les activations, gradients et l'état de l'optimiseur en plus des poids du modèle. Le débit des ensembles de données et les points de contrôle sont également importants.
Explorer →Ajustement fin
L'ajustement fin adapte un modèle pré-entraîné. La méthode complète ou efficace en paramètres a des exigences mémoire différentes.
Explorer →Servir un modèle
Hébergement LLM
Un service de modèle nécessite des poids en mémoire, des tampons d’exécution, un cache KV et un point de terminaison d’application.
Explorer →Inférence AI
L'inférence exécute un modèle entraîné. La taille d'entrée, le traitement par lots et la longueur du contexte déterminent la mémoire de travail ainsi que les poids du modèle.
Explorer →Infrastructure pour DeepSeek
DeepSeek-R1 et ses modèles distillés sont des charges de travail différentes. Les versions distillées varient de 1,5B à 70B paramètres ; le modèle complet nécessite un exercice de dimensionnement séparé.
Explorer →Infrastructure pour Llama
Llama est une famille de modèles. Llama 3.1 8B est un exemple de modèle à 8 milliards de paramètres, pas une promesse de capacité pour chaque version de Llama.
Explorer →Infrastructure pour Mistral
Mistral 7B et autres versions Mistral diffèrent en taille et architecture. Sélectionnez une fiche modèle spécifique avant de dimensionner le matériel.
Explorer →Infrastructure pour Qwen
Qwen inclut des familles de modèles de texte, code et multimodaux. Commencez avec une version précise du modèle, le runtime de service supporté, la précision et le budget de contexte ; ces choix déterminent les besoins en infrastructure.
Explorer →Infrastructure pour Gemma
Gemma propose plusieurs tailles et variantes spécifiques à la tâche. Choisissez la carte modèle exacte, acceptez ses conditions d'utilisation et vérifiez la compatibilité runtime avant de planifier un service auto-hébergé.
Explorer →Infrastructure pour Stable Diffusion
Stable Diffusion sert des charges de travail de génération d'images. SDXL Base, un raffineur optionnel et des composants supplémentaires de workflow ont des exigences séparées en mémoire et stockage. La résolution et la taille du lot influencent l'ensemble du pipeline.
Explorer →Infrastructure pour FLUX
Les versions FLUX diffèrent par architecture, code d'inférence et licence du modèle. Sélectionnez la version exacte et le flux de travail supporté, puis mesurez la mémoire maximale à la résolution et précision d'image souhaitées.
Explorer →Infrastructure pour Whisper
Whisper est une famille de modèles de reconnaissance vocale open-source. La transcription auto-hébergée utilise des poids de modèle téléchargés et un environnement d’inférence local ; elle est distincte d’un abonnement API de reconnaissance vocale hébergé.
Explorer →Traiter le contenu
Infrastructure d'intégration
Les pipelines d'intégration encodent l'entrée en vecteurs et combinent généralement l'exécution du modèle avec un index ou une base de données séparée.
Explorer →Infrastructure de génération d'images
La mémoire de génération d'images dépend du modèle, de la résolution, de la taille du lot et du pipeline d'inférence.
Explorer →Infrastructure AI pour la parole
La transcription et la synthèse vocale ont des exigences de latence, de batching et de traitement audio différentes.
Explorer →