ਟ੍ਰੇਨਿੰਗ
ਵਜ਼ਨ, ਓਪਟੀਮਾਈਜ਼ਰ ਸਥਿਤੀ ਅਤੇ ਐਕਟੀਵੇਸ਼ਨ ਲਈ ਮੈਮੋਰੀ ਵੰਡੋ। ਮਲਟੀ-GPU ਟ੍ਰੇਨਿੰਗ ਲਈ ਇੱਕ ਉਚਿਤ ਇੰਟਰਕਨੈਕਟ ਵੀ ਲੋੜੀਂਦਾ ਹੈ।
ਹੌਪਰ · ਡਾਟਾ ਸੈਂਟਰ
ਮੰਗਲੀਆਂ AI ਕਾਰਜਾਂ ਲਈ NVIDIA H100
ਜਿੱਥੇ ਮੈਮੋਰੀ ਬਜਟ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਆਕਾਰ ਦਿੰਦਾ ਹੈ, ਉਥੇ ਕੰਮਾਂ ਲਈ 80 GB HBM3 ਮੈਮੋਰੀ। ਆਪਣੇ ਮਾਡਲ, ਡੇਟਾਸੈੱਟ ਅਤੇ GPU ਟੋਪੋਲੋਜੀ ਦੇ ਆਧਾਰ 'ਤੇ ਆਪਣਾ ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਇਨਫਰੈਂਸ ਸਰਵਰ ਯੋਜਨਾ ਬਣਾਓ।
ਸੰਰਚਨਾਵਾਂ ਵੇਖੋਤੁਹਾਡਾ ਸਰਵਰ
ਆਪਣੇ ਵਰਕਲੋਡ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਬਣਾਓ
ਜੀਪਿਊ ਮੈਮੋਰੀ ਸਰਵਰ ਦਾ ਇੱਕ ਹਿੱਸਾ ਹੈ। ਪੂਰੀ ਸੰਰਚਨਾ ਜਾਂਚਣ ਲਈ ਸੀਪੀਯੂ, ਸਿਸਟਮ ਰੈਮ, ਸਟੋਰੇਜ ਅਤੇ ਖੇਤਰ ਦਰਜ ਕਰੋ।
- ਮਾਡਲ ਦਾ ਆਕਾਰ ਅਤੇ ਮੈਮੋਰੀ ਬਜਟ
- CPU, RAM ਅਤੇ ਡੇਟਾਸੈੱਟ ਸਟੋਰੇਜ
- ਖੇਤਰ ਅਤੇ ਤਾਇਨਾਤੀ ਦੀਆਂ ਲੋੜਾਂ
ਵਰਕਲੋਡ
ਜਦੋਂ ਮੈਮੋਰੀ ਸਭ ਤੋਂ ਜ਼ਿਆਦਾ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੀ ਹੈ
LLM ਇਨਫਰੈਂਸ
ਮਾਡਲ ਅਤੇ KV ਕੈਸ਼ ਲਈ VRAM ਦੀ ਯੋਜਨਾ ਇਕੱਠੇ ਬਣਾਓ। ਸੰਦਰਭ ਦੀ ਲੰਬਾਈ ਅਤੇ ਸਮਕਾਲੀ ਬੇਨਤੀਆਂ ਮੈਮੋਰੀ ਦੀ ਮੰਗ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀਆਂ ਹਨ।
ਵਿਗਿਆਨਕ ਗਣਨਾ
ਹੋਸਟ ਚੁਣਨ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣੇ ਗਣਨਾ ਲਈ ਸੰਖਿਆਤਮਕ ਸਹੀਤਾ ਅਤੇ CUDA ਸਾਫਟਵੇਅਰ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਮੇਲ ਖਾਓ।
ਟਿਕਾਣਾ
ਆਪਣੇ ਵਰਕਲੋਡ ਲਈ ਖੇਤਰ ਚੁਣੋ
ਕੰਪਿਊਟ ਨੂੰ ਆਪਣੇ ਡੇਟਾ ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਨੇੜੇ ਰੱਖੋ। ਚੁਣੇ ਮਾਡਲ ਅਤੇ ਸਥਾਨ ਲਈ ਸਮਰੱਥਾ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਯੂਰਪ
ਮੰਗ 'ਤੇ ਉਪਲਬਧਤਾ
ਅਮਰੀਕਾ
ਮੰਗ 'ਤੇ ਉਪਲਬਧਤਾ
ਏਸ਼ੀਆ
ਮੰਗ 'ਤੇ ਉਪਲਬਧਤਾ
ਤੁਲਨਾ ਕਰੋ
ਵੱਖਰਾ ਮੈਮੋਰੀ ਬਜਟ ਸੋਚੋ
ਐਮਪੇਅਰ80 GB
NVIDIA A100
ਸਥਾਪਿਤ CUDA ਵਰਕਲੋਡ ਅਤੇ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ
- ਮੈਮੋਰੀ
- HBM2e
- ਸਥਿਤੀ
- ਮੰਗ 'ਤੇ
ਮੰਗ 'ਤੇ ਕੀਮਤਸੰਰਚਨਾ ਅਤੇ ਖੇਤਰ ਦੀ ਪੁਸ਼ਟੀ ਹੋਣੀ ਹੈ
ਮਾਡਲ ਖੋਜੋ ਹੌਪਰ141 GB
NVIDIA H200
ਮੈਮੋਰੀ-ਗੰਭੀਰ LLM ਇਨਫਰੈਂਸ ਅਤੇ ਵਿਗਿਆਨਕ ਕੰਪਿਊਟਿੰਗ
- ਮੈਮੋਰੀ
- HBM3e
- ਸਥਿਤੀ
- ਮੰਗ 'ਤੇ
ਮੰਗ 'ਤੇ ਕੀਮਤਸੰਰਚਨਾ ਅਤੇ ਖੇਤਰ ਦੀ ਪੁਸ਼ਟੀ ਹੋਣੀ ਹੈ
ਮਾਡਲ ਖੋਜੋ ਆਡਾ ਲਵਲੇਸ24 GB
NVIDIA RTX 4090
ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ, ਚਿੱਤਰ ਬਣਾਉਣਾ ਅਤੇ ਰੇਂਡਰਿੰਗ
- ਮੈਮੋਰੀ
- GDDR6X
- ਸਥਿਤੀ
- ਮੰਗ 'ਤੇ
ਮੰਗ 'ਤੇ ਕੀਮਤਸੰਰਚਨਾ ਅਤੇ ਖੇਤਰ ਦੀ ਪੁਸ਼ਟੀ ਹੋਣੀ ਹੈ
ਮਾਡਲ ਖੋਜੋ ਕਿਹੜਾ H100 ਵੈਰੀਅੰਟ ਵਰਣਨ ਕੀਤਾ ਗਿਆ ਹੈ?
ਸੰਦਰਭ ਵਿਸ਼ੇਸ਼ਤਾ H100 SXM 80 GB ਹੈ। PCIe ਅਤੇ NVL ਵੈਰੀਅੰਟ ਵੱਖ-ਵੱਖ ਹਨ; ਸਹੀ GPU ਵੈਰੀਅੰਟ ਸਰਵਰ ਸੰਰਚਨਾ ਵਿੱਚ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।
ਕੀ 80 GB ਮੇਰੇ ਮਾਡਲ ਲਈ ਯਕੀਨੀ ਹੈ ਕਿ ਫਿੱਟ ਹੋ ਜਾਵੇਗਾ?
ਨਹੀਂ। ਵਜ਼ਨ, ਪ੍ਰਿਸੀਜ਼ਨ, ਐਕਟੀਵੇਸ਼ਨ ਅਤੇ ਕੈਸ਼ ਮੈਮੋਰੀ ਬਜਟ ਸਾਂਝਾ ਕਰਦੇ ਹਨ। ਆਪਣੇ ਫਰੇਮਵਰਕ ਦੀ ਜਾਂਚ ਕਰੋ ਅਤੇ ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਵਰਕਲੋਡ ਦੀ ਟੈਸਟਿੰਗ ਕਰੋ।
ਕੀ ਮੈਂ ਕਈ GPUs ਦੀ ਮੰਗ ਕਰ ਸਕਦਾ ਹਾਂ?
ਹਾਂ, ਆਪਣੇ ਬੇਨਤੀ ਵਿੱਚ GPU ਗਿਣਤੀ ਅਤੇ ਇੰਟਰਕਨੈਕਟ ਲੋੜਾਂ ਸ਼ਾਮਲ ਕਰੋ। ਸਮਰੱਥਾ ਅਤੇ ਟੋਪੋਲੋਜੀ ਤਾਇਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।
ਤੁਹਾਡੀ ਸੰਰਚਨਾ
ਇਨਫ੍ਰਾਸਟਰਕਚਰ ਕੋਟ ਦੀ ਬੇਨਤੀ ਕਰੋ
ਸਰੋਤ ਅਤੇ ਚਲਾਉਣ ਦਾ ਸਮਾਂ ਚੁਣੋ। ਅਸੀਂ ਤੁਹਾਡੀ ਸੰਰਚਨਾ ਲਈ ਕੀਮਤ ਦੀ ਪੁਸ਼ਟੀ ਕਰਾਂਗੇ।
ਹਰ ਸਰੋਤ ਦੀ ਆਪਣੀ ਸੂਚੀਬੱਧ ਸੰਰਚਨਾ ਹੁੰਦੀ ਹੈ। ਕਈ GPU ਸਰਵਰ NVLink ਕਲੱਸਟਰ ਨਹੀਂ ਬਣਾਉਂਦੇ। ਮਾਸਿਕ ਦਰਾਂ ਪੂਰੇ ਬਿਲਿੰਗ ਅਵਧੀ ਨੂੰ ਕਵਰ ਕਰਦੀਆਂ ਹਨ; ਸੰਰਚਨਾ ਤੋਂ ਬਾਹਰ ਸਟੋਰੇਜ ਅਤੇ ਟ੍ਰੈਫਿਕ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ।