GLOBALATLAS AI · Infrastruktur AI

Infrastruttura ta’ AI

Il-bidliet fit-taħriġ jbidlu mudell; l-inferenza twettaq dan. Servizz tal-mudell, datasets u APIs tal-applikazzjoni għandhom rekwiżiti ta’ riżorsi separati.

Agħżel stadju tal-ħajja tal-AI

Taħriġ u adattament

Serva mudell

Hosting LLM

Servizz ta’ mudell jeħtieġ piżijiet fil-memorja, buffers tal-ħin tal-eżekuzzjoni, cache KV u punt ta’ aċċess għall-applikazzjoni.

Esplora

Inferenza ta’ AI

L-inferenza twettaq mudell mħarreġ. Id-daqs tal-input, il-batching u l-kontest ta' tul jiddeterminaw il-memorja li taħdem u l-piżijiet tal-mudell.

Esplora

Infrastruttura għal DeepSeek

DeepSeek-R1 u l-mudelli distillati tiegħu huma xogħolijiet differenti. Ir-rilaxx distillat jvarja minn 1.5B sa 70B parametri; il-mudell sħiħ jeħtieġ eżerċizzju ta' daqs separat.

Esplora

Infrastruttura għal Llama

Llama hija familja ta' mudelli. Llama 3.1 8B hija eżempju ta' mudell b'8 biljuni ta' parametri, mhux wegħda ta' kapasità għal kull rilaxx ta' Llama.

Esplora

Infrastruttura għal Mistral

Mistral 7B u rilaxxijiet oħra ta' Mistral jvarjaw fid-daqs u fl-arkitettura. Agħżel karta ta' mudell speċifika qabel ma tiddetermina l-hardware.

Esplora

Infrastruttura għal Qwen

Qwen jinkludi familji ta’ mudelli ta’ test, kodiċi u multimodali. Ibda b’verżjoni eżatta tal-mudell, ħruġ ta’ servizz appoġġjat, preċiżjoni u baġit ta’ kuntest; dawn il-għażliet jiddeterminaw ir-rekwiżiti tal-infrastruttura.

Esplora

Infrastruttura għal Gemma

Gemma għandha diversi daqs u varjanti speċifiċi għall-kompiti. Agħżel il-mudell eżatt, aċċetta t-termini ta' użu applikabbli u ivverifika l-appoġġ għall-ħin ta' ħruġ qabel ma tippjana servizz self-hosted.

Esplora

Infrastruttura għal Stable Diffusion

Stable Diffusion jservi xogħolijiet ta' ġenerazzjoni ta' immaġni. SDXL Base, refiner optional u komponenti addizzjonali tal-fluss tax-xogħol għandhom rekwiżiti ta' memorja u ħażna separati. Ir-riżoluzzjoni u l-batch size jaffettwaw il-pipeline kollu.

Esplora

Infrastruttura għal FLUX

Il-verżjonijiet FLUX jvarjaw fl-arkitettura, il-kodiċi ta' inferenza u l-licenzjar tal-mudell. Agħżel ir-rilaxx eżatt u l-fluss tax-xogħol appoġġjat, imbagħad ikkalkula l-memoria ta' qafas fil-ritratt u l-preċiżjoni prevista.

Esplora

Infrastruttura għal Whisper

Whisper huwa familja ta' mudelli ta' riċeviment tal-vuċi open-source. It-tranżizzjoni li tissejvja fuq is-server tiegħek tuża piżijiet tal-mudell miż-żieda u ħin ta' inferenza lokal; hija separata minn abbonament API tal-vuċi hostjat.

Esplora

Proċessa kontenut