প্রশিক্ষণ
ওজন, অপটিমাইজার স্টেট এবং অ্যাক্টিভেশন জন্য মেমরি বরাদ্দ করুন। মাল্টি-GPU প্রশিক্ষণের জন্য উপযুক্ত ইন্টারকनेक্টও প্রয়োজন।
হপার · ডেটা সেন্টার
চাহিদা সম্পন্ন AI ওয়ার্কলোডের জন্য NVIDIA H100
80 GB HBM3 মেমরি ওয়ার্কলোডের জন্য যেখানে মেমরি বাজেট আর্কিটেকচার নির্ধারণ করে। আপনার প্রশিক্ষণ বা ইনফারেন্স সার্ভার পরিকল্পনা করুন মডেল, ডেটাসেট এবং GPU টোপোলজির উপর ভিত্তি করে।
কনফিগারেশন দেখুনআপনার সার্ভার
আপনার workload এর চারপাশে নির্মাণ করুন
GPU স্মৃতি সার্ভারের একটি অংশ। সম্পূর্ণ কনফিগারেশন পরীক্ষা করতে CPU, সিস্টেম RAM, স্টোরেজ এবং অঞ্চল নির্দিষ্ট করুন।
- মডেল আকার এবং মেমরি বাজেট
- CPU, RAM এবং ডেটাসেট স্টোরেজ
- অঞ্চল ও ডিপ্লয়মেন্ট প্রয়োজনীয়তা
ওয়ার্কলোডস
স্মৃতি সবচেয়ে গুরুত্বপূর্ণ যখন
LLM ইনফারেন্স
মডেল ও KV ক্যাশের জন্য VRAM পরিকল্পনা করুন। প্রসঙ্গ দৈর্ঘ্য ও সমান্তরাল অনুরোধ মেমরি চাহিদা প্রভাবিত করে।
বৈজ্ঞানিক গণনা
নির্ণীত সংখ্যাগত নির্ভুলতা এবং CUDA সফটওয়্যার প্রয়োজনীয়তা আপনার গণনায় মিলান করুন, তারপর হোস্ট নির্বাচন করুন।
অবস্থান
আপনার workload এর জন্য একটি অঞ্চল নির্বাচন করুন
আপনার ডেটা এবং ব্যবহারকারীদের কাছাকাছি কম্পিউট রাখুন। ক্ষমতা নির্বাচিত মডেল এবং অবস্থানের জন্য পরীক্ষা করা হয়।
ইউরোপ
অনুরোধে উপলব্ধতা
যুক্তরাষ্ট্র
অনুরোধে উপলব্ধতা
এশিয়া
অনুরোধে উপলব্ধতা
তুলনা করুন
একটি ভিন্ন মেমরি বাজেট বিবেচনা করুন
অ্যাম্পিয়ার80 GB
NVIDIA A100
প্রতিষ্ঠিত CUDA ওয়ার্কলোড এবং মডেল প্রশিক্ষণ
- মেমরি
- HBM2e
- অবস্থা
- অনুরোধে
অনুরোধে মূল্যকনফিগারেশন এবং অঞ্চল নিশ্চিত করুন
মডেল অন্বেষণ করুন Hopper141 GB
NVIDIA H200
মেমরি-সংবেদনশীল LLM ইনফারেন্স এবং বৈজ্ঞানিক গণনা
- মেমরি
- HBM3e
- অবস্থা
- অনুরোধে
অনুরোধে মূল্যকনফিগারেশন এবং অঞ্চল নিশ্চিত করুন
মডেল অন্বেষণ করুন অডা লভলেস24 GB
NVIDIA RTX 4090
প্রোটোটাইপিং, ছবি উৎপাদন ও রেন্ডারিং
- মেমরি
- GDDR6X
- অবস্থা
- অনুরোধে
অনুরোধে মূল্যকনফিগারেশন এবং অঞ্চল নিশ্চিত করুন
মডেল অন্বেষণ করুন এখানে কোন H100 ভ্যারিয়েন্ট বর্ণনা করা হয়েছে?
রেফারেন্স স্পেসিফিকেশন H100 SXM 80 GB। PCIe ও NVL ভ্যারিয়েন্ট আলাদা; নির্দিষ্ট GPU ভ্যারিয়েন্ট সার্ভার কনফিগারেশনে নিশ্চিত করতে হবে।
80 GB কি আমার মডেল ফিট হবে তা নিশ্চিত করে?
নাই। ওজন, প্রিসিশন, অ্যাকটিভেশন ও ক্যাশে মেমরি বাজেট ভাগ করে। আপনার ফ্রেমওয়ার্ক পরীক্ষা করুন ও পরিকল্পিত ওয়ার্কলোডের জন্য।
আমি কি একাধিক GPU অনুরোধ করতে পারি?
হ্যাঁ, আপনার অনুরোধে GPU গণনা ও ইন্টারকানেক্ট প্রয়োজনীয়তা অন্তর্ভুক্ত করুন। ক্ষমতা ও টপোলজি নিশ্চিত হওয়ার আগে ডিপ্লয়মেন্ট।
আপনার কনফিগারেশন
একটি অবকাঠামো কোট অনুরোধ করুন
রিসোর্স ও পরিচালনার সময় নির্বাচন করুন। আমরা আপনার কনফিগারেশনের জন্য একটি মূল্য নিশ্চিত করব।
প্রতিটি সম্পদের নিজস্ব তালিকাভুক্ত কনফিগারেশন রয়েছে। একাধিক GPU সার্ভার NVLink ক্লাস্টার তৈরি করে না। মাসিক হার পুরো বিলিং সময়কালের জন্য; কনফিগারেশনের বাইরে স্টোরেজ এবং ট্রাফিক অন্তর্ভুক্ত নয়।