# Jak sprawiedliwie współdzielić kolejkę API wideo między klientami? > Używaj kolejek klienta, planowania ważonego, ograniczonej współbieżności i aging. Oddziel zadania interaktywne od batch i mierz przepustowość oraz oczekiwanie. Jedna FIFO pozwala dużemu wcześniejszemu pakietowi zablokować klienta czekającego na jeden podgląd. Sprawiedliwość projektuje się przed wywołaniem dostawcy. ## Oddziel kolejki tenantów od wykonania u dostawcy Zachowaj logiczną kolejkę na klienta. Centralny scheduler najpierw wybiera tenant, potem zadanie. ## Zdefiniuj znormalizowany koszt zadania | Wejście | Wkład | |---|---| | Trasa modelu | Mnożnik bazowy | | Długość | Współczynnik czasu | | Rozdzielczość | Współczynnik procesu i ceny | | Liczba wyników | Mnoży pracę | | Historyczny runtime | Korekta z pomiarów | ## Używaj weighted deficit round robin ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Ograniczone przenoszenie niewykorzystanego kredytu obsługuje nierówne zadania bez idealnej prognozy. ## Ogranicz współbieżność i pożyczanie Ustal limit in-flight na tenant. Pozwól pożyczać wolną pojemność i stopniowo ją odzyskuj, gdy wracają inni. ## Oddziel klasy interaktywne i batch | Klasa | Cel | Ochrona | |---|---|---| | Interaktywna | Małe oczekiwanie | Limit burst | | Standard | Równowaga | Współbieżność tenant | | Batch | Wysokie użycie | Aging i budżet | | Recovery | Rozwiązać niepewne zadania | Mała rezerwa | ## Zapobiegaj starvation przez aging Stopniowo podnoś efektywny priorytet wraz z oczekiwaniem i stosuj limit. Po przekroczeniu progu rezerwuj następne miejsce. ## Egzekwuj limity admission i budżetu Odkładaj lub odrzucaj z jasnym statusem po przekroczeniu storage, in-flight lub budżetu. Niczego nie usuwaj po cichu. ## Mierz fairness obok throughput Porównuj oczekiwanie, dostarczony udział, pożyczoną pojemność i interwencje z popytem i wagą. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) może ujednolicić modele, ale umowy i polityka fairness pozostają w aplikacji. ## Podsumowanie Kolejki tenantów, koszty, wagi, limity i aging wykorzystują wolną pojemność bez wypychania małych klientów. ## FAQ ### Dlaczego jedna FIFO jest niesprawiedliwa? Duży batch może zająć początek i opóźnić małe interaktywne żądania. ### Jaki algorytm działa dobrze? Weighted deficit round robin obsługuje różne koszty i wagi. ### Czy płatne plany mogą mieć większą wagę? Tak, przy jawnej polityce i ochronie przed starvation. ### Jak szacować koszt zadania? Normalizuj model, długość, rozdzielczość, liczbę wyników i zmierzony runtime. ### Jak łączyć batch i interakcję? Rezerwuj pojemność według klas i stosuj aging. ### Czy Atlas Cloud zastępuje scheduler tenantów? Nie. Dostęp można ujednolicić, ale fairness, limity i budżety pozostają w aplikacji.