ტრენინგი
განაწილეთ მეხსიერება წონებისა, ოპტიმიზატორის მდგომარეობისა და აქტივაციებისათვის. მრავალ GPU ტრენინგი საჭიროებს შესაბამის ინტერკონექტს.
ჰოპერი · მონაცემთა ცენტრი
NVIDIA H100 მოთხოვნად AI სამუშაოებისთვის
80 GB HBM3 მეხსიერება სამუშაოებისთვის, სადაც მეხსიერების ბიუჯეტი არქიტექტურას განსაზღვრავს. დაგეგმეთ თქვენი ტრენინგი ან ინფერენსის სერვერი მოდელის, მონაცემთა ნაკრების და GPU ტოპოლოგიის მიხედვით.
გადახედეთ კონფიგურაციებსთქვენი სერვერი
შეიმუშავეთ თქვენი სამუშაო პროცესის გარშემო
GPU მეხსიერება არის სერვერის ერთ-ერთი ნაწილი. სრული კონფიგურაციისთვის მიუთითეთ CPU, სისტემური RAM, შენახვა და რეგიონი.
- მოდელის ზომა და მეხსიერების ბიუჯეტი
- CPU, RAM და მონაცემთა ბაზის შენახვა
- რეგიონი და განთავსების მოთხოვნები
დამუშავებები
როცა მეხსიერება ყველაზე მნიშვნელოვანია
LLM ინფერენცია
VRAM-ის დაგეგმვა მოდელთან და KV კეშთან ერთად. კონტექსტის სიგრძე და ერთდროული მოთხოვნები გავლენას ახდენენ მეხსიერების მოთხოვნაზე.
საინჟინრო გამოთვლები
შეადარეთ ნუმერიკული სიზუსტე და CUDA პროგრამული მოთხოვნები თქვენს გამოთვლასთან, სანამ აირჩევთ ჰოსტს.
მდებარეობა
აირჩიეთ თქვენი სამუშაო პროცესისთვის რეგიონი
შეინახეთ გამოთვლა ახლოს თქვენს მონაცემებთან და მომხმარებლებთან. მოცულობა შემოწმებულია არჩეული მოდელის და რეგიონისთვის.
ევროპა
ხელმისაწვდომია მოთხოვნის მიხედვით
აშშ
ხელმისაწვდომია მოთხოვნის მიხედვით
აზია
ხელმისაწვდომია მოთხოვნის მიხედვით
შედარება
გაათვალისწინეთ სხვა მეხსიერების ბიუჯეტი
Ampere80 GB
NVIDIA A100
დამყარი CUDA სამუშაოები და მოდელის ტრენინგი
- მეხსიერება
- HBM2e
- სტატუსი
- მოთხოვნის მიხედვით
მოთხოვნა ფასზეკონფიგურაცია და რეგიონი უნდა დადასტურდეს
გააანალიზეთ მოდელი Hopper141 GB
NVIDIA H200
მეხსიერებაზე ორიენტირებული LLM ინფერენცია და სამეცნიერო გამოთვლები
- მეხსიერება
- HBM3e
- სტატუსი
- მოთხოვნის მიხედვით
მოთხოვნა ფასზეკონფიგურაცია და რეგიონი უნდა დადასტურდეს
გააანალიზეთ მოდელი Ada Lovelace24 GB
NVIDIA RTX 4090
პროოტოტიპირება, გამოსახულების გენერაცია და რენდერი
- მეხსიერება
- GDDR6X
- სტატუსი
- მოთხოვნის მიხედვით
მოთხოვნა ფასზეკონფიგურაცია და რეგიონი უნდა დადასტურდეს
გააანალიზეთ მოდელი რომელი H100 ვერსიაა აღწერილი?
მიმართება H100 SXM 80 GB-ს. PCIe და NVL ვარიანტები განსხვავდება; ზუსტი GPU ვარიანტი უნდა იყოს დადასტურებული სერვერის კონფიგურაციაში.
გაიგე 80 GB გარჩევა ჩემი მოდელი მოერგება?
არა. წონები, სიზუსტე, აქტივაციები და კეშები მეხსიერების ბიუჯეტს იზიარებენ. შეამოწმეთ თქვენი ჩარჩო და ტესტი თქვენი სამუშაოსთვის.
შეგიძლიათ რამდენიმე GPU მოთხოვნა?
დიახ, ჩართეთ GPU რაოდენობა და ინტერკონექტის მოთხოვნები თქვენს მოთხოვნაში. შესაძლებლობა და ტოპოლოგია საჭიროებს დადასტურებას განლაგებამდე.
თქვენი კონფიგურაცია
მოითხოვეთ ინფრასტრუქტურის შეთავაზება
აირჩიეთ რესურსები და მუშაობის დრო. თქვენი კონფიგურაციის ფასს დავადასტურებთ.
თითოეული რესურსი აქვს თავისი ჩამოთვლილი კონფიგურაცია. მრავალი GPU სერვერი არ ქმნის NVLink კლასტერს. თვეში განაკვეთი მოიცავს მთელ ბილინგის პერიოდს; შენახვა და ტრაფიკი გარეთ კონფიგურაციის არ არის გათვალისწინებული.