# Hur delar du en video-API-kö rättvist mellan flera kunder? > Använd köer per kund, viktad rättvis schemaläggning, begränsad samtidighet och aging. Separera interaktivt arbete från batch och mät genomströmning och väntetid. En enda FIFO låter en tidig stor batch blockera en kund som väntar på en förhandsvisning. Rättvisa utformas före leverantörsanropet. ## Separera tenantköer från leverantörskörning Håll en logisk kö per kund. Den centrala schemaläggaren väljer först tenant och sedan jobb. ## Definiera normaliserad jobbkostnad | Input | Bidrag | |---|---| | Modellrutt | Basmultiplikator | | Längd | Tidsfaktor | | Upplösning | Process- och prisfaktor | | Antal outputs | Multiplicerar arbete | | Historisk körtid | Korrigering från mätning | ## Använd weighted deficit round robin ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Begränsad överföring av oanvänd kredit hanterar olika jobb utan perfekt prognos. ## Begränsa samtidighet och lån Sätt ett in-flight-tak per tenant. Låt ledig kapacitet lånas och återta den gradvis när andra återkommer. ## Separera interaktiva och batchklasser | Klass | Mål | Skydd | |---|---|---| | Interaktiv | Kort väntan | Burstgräns | | Standard | Balans | Samtidighet per tenant | | Batch | Hög användning | Aging och budget | | Recovery | Lösa osäkra jobb | Liten reserv | ## Förhindra starvation med aging Höj effektiv prioritet gradvis med väntetiden och sätt ett tak. Reservera nästa plats efter en tröskel. ## Tillämpa admission- och budgetgränser Skjut upp eller avvisa med tydlig status när lagring, in-flight eller dagsbudget överskrids. Släng inget tyst. ## Mät rättvisa tillsammans med throughput Jämför väntetid, levererad andel, lånad kapacitet och ingrepp med efterfrågan och vikten. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) kan samla modeller, men avtal och rättvisepolicy stannar i appen. ## Slutsats Tenantköer, normaliserade kostnader, vikter, gränser och aging använder ledig kapacitet utan att tränga undan små kunder. ## FAQ ### Varför är en enda FIFO orättvis? En stor batch kan fylla köns början och försena små interaktiva begäranden. ### Vilken algoritm fungerar? Weighted deficit round robin hanterar olika kostnader och vikter praktiskt. ### Kan betalplaner få högre vikt? Ja, med en tydlig policy och skydd mot starvation. ### Hur uppskattas jobbkostnad? Normalisera modell, längd, upplösning, antal outputs och mätt körtid. ### Hur samexisterar batch och interaktivt? Reservera kapacitet per klass och använd aging. ### Ersätter Atlas Cloud tenant scheduler? Nej. Åtkomst kan samlas, men rättvisa, kvoter och budget ligger i appen.