# Wie teilen mehrere Kunden eine Video-API-Warteschlange fair? > Nutzen Sie Kundenwarteschlangen, gewichtete faire Planung, begrenzte Parallelität und Aging. Trennen Sie interaktive und Batch-Jobs und messen Sie Durchsatz sowie Wartezeitgerechtigkeit. Eine einzelne FIFO lässt einen frühen Großauftrag einen Kunden blockieren, der nur eine Vorschau erwartet. Fairness beginnt vor dem Provider-Aufruf. ## Tenant-Warteschlangen von der Provider-Ausführung trennen Halten Sie pro Kunde eine logische Warteschlange. Der zentrale Scheduler wählt zuerst den Tenant und dann einen Job. ## Normalisierte Jobkosten definieren | Eingabe | Beitrag | |---|---| | Modellroute | Basismultiplikator | | Dauer | Zeitfaktor | | Auflösung | Verarbeitungs- und Preisfaktor | | Anzahl Ausgaben | Multipliziert die Arbeit | | Historische Laufzeit | Korrektur aus Messwerten | ## Weighted Deficit Round Robin verwenden ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Begrenztes Übertragen ungenutzter Credits behandelt ungleiche Jobs ohne perfekte Laufzeitprognose. ## Parallelität und Ausleihen begrenzen Definieren Sie ein In-flight-Maximum je Tenant. Leihen Sie freie Kapazität aus und nehmen Sie sie bei Rückkehr anderer Kunden schrittweise zurück. ## Interaktive und Batch-Klassen trennen | Klasse | Ziel | Schutz | |---|---|---| | Interaktiv | Kurze Wartezeit | Burst-Limit | | Standard | Balance | Tenant-Parallelität | | Batch | Hohe Auslastung | Aging und Budget | | Recovery | Unklare Jobs klären | Kleine Reserve | ## Starvation mit Aging verhindern Erhöhen Sie die effektive Priorität mit dem Alter und deckeln Sie sie. Reservieren Sie bei überschrittener Wartezeit den nächsten Platz. ## Admission- und Ausgabenlimits durchsetzen Verzögern oder verweigern Sie klar begründet, wenn gespeicherte Jobs, In-flight-Limit oder Tagesbudget überschritten sind. Nichts still verwerfen. ## Fairness neben Durchsatz messen Vergleichen Sie Wartezeit, gelieferten Anteil, ausgeliehene Kapazität und Eingriffe mit Nachfrage und Gewicht. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) kann Modelle vereinheitlichen, doch Verträge und Fairness-Regeln bleiben in der Anwendung. ## Fazit Tenant-Warteschlangen, normalisierte Kosten, Gewichte, Parallelitätsgrenzen und Aging nutzen freie Kapazität, ohne kleine Kunden zu verdrängen. ## FAQ ### Warum ist eine einzige FIFO unfair? Ein großer Batch kann den Kopf blockieren und kleine interaktive Anfragen verzögern. ### Welcher Algorithmus eignet sich? Weighted Deficit Round Robin ist für unterschiedliche Kosten und Gewichte praktisch. ### Dürfen bezahlte Tarife höhere Gewichte haben? Ja, wenn die Regel transparent ist und andere Tarife nicht verhungern. ### Wie wird Jobkosten geschätzt? Normalisieren Sie Modell, Dauer, Auflösung, Ausgaben und gemessene Laufzeit. ### Wie koexistieren Batch und interaktiv? Nutzen Sie reservierte Klassenkapazität und Aging. ### Ersetzt Atlas Cloud den Tenant-Scheduler? Nein. Modellzugriff kann zentral sein, Fairness, Quoten und Budgets bleiben in Ihrer Anwendung.