# Come condividere equamente una coda API video tra più clienti? > Usa code per cliente, scheduling ponderato, concorrenza limitata e aging. Separa lavori interattivi e batch e misura throughput e tempi di attesa. Una sola FIFO permette a un grande batch di bloccare un cliente in attesa di una singola anteprima. L’equità va progettata prima della chiamata al provider. ## Separa le code dei tenant dall’esecuzione del provider Mantieni una coda logica per cliente. Lo scheduler sceglie prima il tenant e poi un job idoneo. ## Definisci un costo normalizzato del job | Input | Contributo | |---|---| | Route del modello | Moltiplicatore base | | Durata | Fattore temporale | | Risoluzione | Fattore di processo e prezzo | | Numero di output | Moltiplica il lavoro | | Runtime storico | Correzione recente | ## Usa weighted deficit round robin ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Il credito non usato può accumularsi entro un limite, gestendo job diseguali senza previsioni perfette. ## Limita concorrenza e prestito Definisci un massimo in-flight per tenant. Consenti il prestito quando altri sono inattivi e recupera capacità gradualmente. ## Separa classi interattive e batch | Classe | Obiettivo | Protezione | |---|---|---| | Interattiva | Bassa attesa | Limite di burst | | Standard | Equilibrio | Concorrenza per tenant | | Batch | Alto utilizzo | Aging e budget | | Recupero | Risolvere ambiguità | Piccola riserva | ## Previeni la starvation con aging Aumenta la priorità effettiva con l’età e applica un tetto. Riserva il prossimo slot oltre una soglia. ## Applica limiti di ammissione e spesa Ritarda o rifiuta con stato esplicito quando si superano limiti di job, in-flight o budget. Non eliminare in silenzio. ## Misura equità oltre al throughput Confronta attesa, quota consegnata, capacità presa in prestito e interventi con domanda e peso. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) può unificare i modelli, ma contratti e policy di equità restano nell’app. ## In conclusione Code per tenant, costi normalizzati, pesi, limiti e aging usano capacità libera senza rendere invisibili i clienti piccoli. ## FAQ ### Perché una singola FIFO è ingiusta? Un grande batch può occupare la testa e ritardare richieste interattive più piccole. ### Quale algoritmo funziona bene? Weighted deficit round robin gestisce costi e pesi differenti. ### I piani a pagamento possono avere pesi diversi? Sì, con una politica esplicita e protezione dalla starvation. ### Come stimo il costo di un job? Normalizza modello, durata, risoluzione, output e runtime osservato. ### Come convivono batch e interattivo? Usa capacità riservata per classe e aging. ### Atlas Cloud sostituisce lo scheduler? No. Unifica l’accesso, mentre equità, quote e budget restano nell’applicazione.