Desisyon sa arkitektura
Ang isang GPU server at isang managed endpoint ay magkaibang produkto. Dapat pangalanan ng request ang operating model at ang unit na ginagamit sa pagsukat ng konsumo.
GLOBALATLAS AI · AI inference
AI inference
Ang inference ay nagsasagawa ng isang trained na modelo. Ang laki ng input, batching at haba ng konteksto ang tumutukoy sa working memory at mga weights ng modelo.
Latency o batch throughput?
- 01
Mga kahilingan sa interactive: sukatin ang unang response latency
- 02
Batch jobs: sukatin ang nakumpletong inputs bawat oras na interval
- 03
Subaybayan ang peak memory para sa napiling input length
Mga pangangailangan sa configuration
Magpasya sa pagitan ng GPU VM na iyong pinapatakbo at isang managed endpoint. Kasalukuyang sinusuri ng public Finder ang mga alok na GPU VM, hindi ang isang managed inference SLA.