GLOBALATLAS AI · AI ਇਨਫਰਾਸਟਰੱਕਚਰ
AI ਇੰਫਰਾਸਟਰੱਕਚਰ
ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਨੂੰ ਬਦਲਦੀ ਹੈ; ਇਨਫਰੈਂਸ ਇਸ ਨੂੰ ਚਲਾਉਂਦੀ ਹੈ। ਮਾਡਲ ਸਰਵਿੰਗ, ਡੇਟਾਸੈੱਟ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ API ਵੱਖਰੇ ਸਰੋਤ ਲੋੜਾਂ ਰੱਖਦੇ ਹਨ।
AI ਜੀਵਨਚੱਕਰ ਦਾ ਇੱਕ ਪੜਾਅ ਚੁਣੋ
ਟ੍ਰੇਨ ਕਰੋ ਅਤੇ ਅਨੁਕੂਲਿਤ ਕਰੋ
AI ਟ੍ਰੇਨਿੰਗ
ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਵਜ਼ਨਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਐਕਟੀਵੇਸ਼ਨ, ਗ੍ਰੇਡੀਐਂਟ ਅਤੇ ਓਪਟੀਮਾਈਜ਼ਰ ਸਟੇਟ ਨੂੰ ਸਟੋਰ ਕਰਦੀ ਹੈ। ਡੇਟਾਸੈੱਟ ਥਰੂਪੁੱਟ ਅਤੇ ਚੈਕਪੌਇੰਟ ਵੀ ਮਹੱਤਵਪੂਰਨ ਹਨ।
ਖੋਜੋ →ਫਾਈਨ-ਟਿਊਨਿੰਗ
ਫਾਈਨ-ਟਿਊਨਿੰਗ ਇੱਕ ਪ੍ਰੀ-ਟ੍ਰੇਨਡ ਮਾਡਲ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਦੀ ਹੈ। ਪੂਰੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਅਤੇ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਵਿਧੀਆਂ ਦੀਆਂ ਯਾਦਾਸ਼ਤ ਦੀਆਂ ਲੋੜਾਂ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ।
ਖੋਜੋ →ਮਾਡਲ ਸਰਵ ਕਰੋ
LLM ਹੋਸਟਿੰਗ
ਮਾਡਲ ਸੇਵਾ ਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਭਾਰ, ਰਨਟਾਈਮ ਬਫਰ, KV ਕੈਸ਼ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਐਂਡਪੌਇੰਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਖੋਜੋ →AI ਇਨਫਰੈਂਸ
ਅਨੁਮਾਨ ਇੱਕ ਪ੍ਰਸ਼ਿਖਤ ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ। ਇਨਪੁੱਟ ਆਕਾਰ, ਬੈਚਿੰਗ ਅਤੇ ਸੰਦਰਭ ਲੰਬਾਈ ਕੰਮ ਕਰਨ ਵਾਲੀ ਮੈਮੋਰੀ ਅਤੇ ਮਾਡਲ ਵਜ਼ਨ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ।
ਖੋਜੋ →DeepSeek ਲਈ ਢਾਂਚਾ
DeepSeek-R1 ਅਤੇ ਇਸ ਦੇ distilled ਮਾਡਲ ਵੱਖ-ਵੱਖ ਵਰਕਲੋਡ ਹਨ। Distilled ਰਿਲੀਜ਼ 1.5B ਤੋਂ 70B ਪੈਰਾਮੀਟਰ ਤੱਕ ਫੈਲਦੇ ਹਨ; ਪੂਰਾ ਮਾਡਲ ਵੱਖਰੀ ਮਾਪਣ ਕਸਰਤ ਦੀ ਲੋੜ ਹੈ।
ਖੋਜੋ →Llama ਲਈ ਢਾਂਚਾ
Llama ਮਾਡਲਾਂ ਦਾ ਪਰਿਵਾਰ ਹੈ। Llama 3.1 8B 8-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਦਾ ਉਦਾਹਰਨ ਹੈ, ਹਰ Llama ਰਿਲੀਜ਼ ਲਈ ਸਮਰੱਥਾ ਦਾ ਵਾਅਦਾ ਨਹੀਂ।
ਖੋਜੋ →Mistral ਲਈ ਢਾਂਚਾ
Mistral 7B ਅਤੇ ਹੋਰ Mistral ਰਿਲੀਜ਼ਾਂ ਆਕਾਰ ਅਤੇ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ। ਹਾਰਡਵੇਅਰ ਸਾਈਜ਼ਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਕਿਸੇ ਖਾਸ ਮਾਡਲ ਕਾਰਡ ਦੀ ਚੋਣ ਕਰੋ।
ਖੋਜੋ →Qwen ਲਈ ਢਾਂਚਾ
Qwen ਵਿੱਚ ਟੈਕਸਟ, ਕੋਡ ਅਤੇ ਮਲਟੀਮੋਡਲ ਮਾਡਲ ਪਰਿਵਾਰ ਸ਼ਾਮਲ ਹਨ। ਇੱਕ ਸਹੀ ਮਾਡਲ ਰਿਲੀਜ਼, ਸਹਾਇਤਾਕਾਰੀ ਸਰਵਿੰਗ ਰਨਟਾਈਮ, ਪ੍ਰਿਸੀਜ਼ਨ ਅਤੇ ਸੰਦਰਭ ਬਜਟ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ; ਇਹ ਚੋਣਾਂ ਇੰਫ੍ਰਾਸਟਰੱਕਚਰ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੀਆਂ ਹਨ।
ਖੋਜੋ →Gemma ਲਈ ਢਾਂਚਾ
Gemma ਦੇ ਕਈ ਆਕਾਰ ਅਤੇ ਟਾਸਕ-ਵਿਸ਼ੇਸ਼ ਵਰਜਨ ਹਨ। ਸਹੀ ਮਾਡਲ ਕਾਰਡ ਚੁਣੋ, ਇਸਦੇ ਲਾਗੂ ਉਪਯੋਗ ਦੀਆਂ ਸ਼ਰਤਾਂ ਸਵੀਕਾਰ ਕਰੋ ਅਤੇ ਸਵੈ-ਹੋਸਟ ਕੀਤੀ ਸੇਵਾ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਰਨਟਾਈਮ ਸਹਾਇਤਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।
ਖੋਜੋ →Stable Diffusion ਲਈ ਢਾਂਚਾ
Stable Diffusion ਚਿੱਤਰ-ਉਤਪੱਤੀ ਵਾਲੇ ਵਰਕਲੋਡਾਂ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। SDXL Base, ਇੱਕ ਵਿਕਲਪਿਕ ਰਿਫਾਈਨਰ ਅਤੇ ਵਾਧੂ ਵਰਕਫ਼ਲੋ ਘਟਕਾਂ ਦੀ ਮੈਮੋਰੀ ਅਤੇ ਸਟੋਰੇਜ ਲੋੜਾਂ ਵੱਖਰੀਆਂ ਹਨ। ਰੈਜ਼ੋਲੂਸ਼ਨ ਅਤੇ ਬੈਚ ਆਕਾਰ ਪੂਰੇ ਪਾਈਪਲਾਈਨ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ।
ਖੋਜੋ →FLUX ਲਈ ਢਾਂਚਾ
FLUX ਰਿਲੀਜ਼ਾਂ ਆਰਕੀਟੈਕਚਰ, ਇਨਫਰੰਸ ਕੋਡ ਅਤੇ ਮਾਡਲ ਲਾਇਸੈਂਸਿੰਗ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ। ਸਹੀ ਰਿਲੀਜ਼ ਅਤੇ ਸਮਰਥਿਤ ਵਰਕਫਲੋ ਚੁਣੋ, ਫਿਰ ਨਿਰਧਾਰਿਤ ਚਿੱਤਰ ਰੇਜ਼ੋਲੂਸ਼ਨ ਅਤੇ ਪ੍ਰਿਸੀਜ਼ਨ 'ਤੇ ਚੋਟੀ ਦੀ ਮੈਮੋਰੀ ਮਾਪੋ।
ਖੋਜੋ →Whisper ਲਈ ਢਾਂਚਾ
Whisper ਇੱਕ ਖੁੱਲ੍ਹਾ-ਸਰੋਤ ਬੋਲੀ-ਪਛਾਣ ਮਾਡਲ ਪਰਿਵਾਰ ਹੈ। ਖੁਦ-ਮੇਜ਼ਬਾਨੀ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਡਾਊਨਲੋਡ ਕੀਤੇ ਮਾਡਲ ਵਜ਼ਨਾਂ ਅਤੇ ਸਥਾਨਕ ਇਨਫਰੈਂਸ ਰਨਟਾਈਮ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ; ਇਹ ਹੋਸਟ ਕੀਤੀ ਗਈ ਬੋਲੀ API ਸਬਸਕ੍ਰਿਪਸ਼ਨ ਤੋਂ ਵੱਖਰੀ ਹੈ।
ਖੋਜੋ →ਸਮੱਗਰੀ ਪ੍ਰਕਿਰਿਆ ਕਰੋ
ਐਮਬੈੱਡਿੰਗ ਢਾਂਚਾ
ਐਮਬੈੱਡਿੰਗ ਪਾਈਪਲਾਈਨ ਇਨਪੁੱਟ ਨੂੰ ਵੇਕਟਰਾਂ ਵਿੱਚ ਕੋਡ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਮਾਡਲ ਚਲਾਉਣ ਨੂੰ ਵੱਖਰੇ ਇੰਡੈਕਸ ਜਾਂ ਡੇਟਾਬੇਸ ਨਾਲ ਜੋੜਦੀਆਂ ਹਨ।
ਖੋਜੋ →ਚਿੱਤਰ ਬਣਾਉਣ ਦੀ ਢਾਂਚਾ
ਚਿੱਤਰ ਬਣਾਉਣ ਦੀ ਮੈਮੋਰੀ ਮਾਡਲ, ਰੇਜ਼ੋਲੂਸ਼ਨ, ਬੈਚ ਆਕਾਰ ਅਤੇ ਇਨਫਰੰਸ ਪਾਈਪਲਾਈਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।
ਖੋਜੋ →ਸਪੀਚ AI ਢਾਂਚਾ
ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਅਤੇ ਸਪੀਚ ਸਿੰਥੇਸਿਸ ਦੀ ਲੇਟੈਂਸੀ, ਬੈਚਿੰਗ ਅਤੇ ਆਡੀਓ-ਪ੍ਰੋਸੈਸਿੰਗ ਦੀਆਂ ਲੋੜਾਂ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ।
ਖੋਜੋ →