# Bagaimana membagi antrean API video secara adil di antara banyak pelanggan? > Gunakan antrean per pelanggan, penjadwalan berbobot, concurrency terbatas, dan aging. Pisahkan pekerjaan interaktif dari batch serta ukur throughput dan waktu tunggu. Satu FIFO memungkinkan batch besar lebih awal memblokir pelanggan yang hanya menunggu satu preview. Fairness dirancang sebelum panggilan provider. ## Pisahkan antrean tenant dari eksekusi provider Simpan antrean logis per pelanggan. Scheduler pusat memilih tenant lebih dulu lalu job yang memenuhi syarat. ## Definisikan biaya job yang dinormalisasi | Input | Kontribusi | |---|---| | Route model | Pengali dasar | | Durasi | Faktor waktu | | Resolusi | Faktor proses dan harga | | Jumlah output | Mengalikan pekerjaan | | Runtime historis | Koreksi dari pengukuran | ## Gunakan weighted deficit round robin ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Kredit tak terpakai dapat dibawa dengan batas, sehingga job berbeda dapat ditangani tanpa prediksi sempurna. ## Batasi concurrency dan peminjaman Tetapkan maksimum in-flight per tenant. Izinkan meminjam kapasitas kosong dan ambil kembali bertahap saat pelanggan lain kembali. ## Pisahkan kelas interaktif dan batch | Kelas | Sasaran | Perlindungan | |---|---|---| | Interaktif | Waktu tunggu rendah | Batas burst | | Standar | Seimbang | Concurrency tenant | | Batch | Utilisasi tinggi | Aging dan budget | | Recovery | Menyelesaikan job ambigu | Cadangan kecil | ## Cegah starvation dengan aging Naikkan prioritas efektif bertahap bersama waktu tunggu dan beri batas. Setelah ambang, cadangkan slot berikutnya. ## Terapkan batas admission dan biaya Tunda atau tolak dengan status jelas bila storage, in-flight, atau budget harian terlampaui. Jangan buang diam-diam. ## Ukur fairness selain throughput Bandingkan waktu tunggu, porsi terkirim, kapasitas pinjaman, dan intervensi dengan permintaan dan bobot. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) dapat menyatukan model, tetapi kontrak dan kebijakan fairness tetap di aplikasi. ## Kesimpulan Antrean tenant, biaya normal, bobot, batas, dan aging memakai kapasitas kosong tanpa menyingkirkan pelanggan kecil. ## FAQ ### Mengapa satu FIFO tidak adil? Batch besar dapat memenuhi bagian depan antrean dan menunda request interaktif kecil. ### Algoritma apa yang cocok? Weighted deficit round robin praktis untuk biaya dan bobot berbeda. ### Bolehkah paket berbayar mendapat bobot lebih? Ya, dengan kebijakan jelas dan perlindungan dari starvation. ### Bagaimana memperkirakan biaya job? Normalkan model, durasi, resolusi, jumlah output, dan runtime terukur. ### Bagaimana batch dan interaktif berdampingan? Cadangkan kapasitas per kelas dan gunakan aging. ### Apakah Atlas Cloud mengganti tenant scheduler? Tidak. Akses dapat disatukan, tetapi fairness, kuota, dan budget tetap di aplikasi.