<!-- Canonical URL: https://ask.atlascloud.ai/zh-TW/share-video-api-queue-fairly-across-customers -->

# 如何在多個客戶之間公平共享視頻 API 隊列？

> 使用每客戶隊列、加權公平調度、有界併發和等待時間老化，避免單一租戶壟斷視頻容量。分離交互式與批量任務，保留少量恢復容量，並同時衡量吞吐量與等待公平性。

<!-- Canonical URL: https://ask.atlascloud.ai/share-video-api-queue-fairly-across-customers -->

公平性在請求到達提供商之前就已決定。若所有提交進入同一個 FIFO，先上傳一千個任務的客戶會阻塞只需要一個預覽的客戶。隊列可能很忙、吞吐很高，卻仍然是糟糕的多租戶產品。

調度器應圍繞客戶、服務類別和預計任務成本建模。每個租戶獲得有界份額，空閒容量可以借用，並用等待老化避免任何客戶永久排隊。

## 將租戶隊列與提供商執行分開

即使最終調用同一提供商，也應為每個客戶保留邏輯隊列。中央調度器先選擇租戶，再選擇該租戶內的任務，從而清晰控制併發、預算、限流、取消和故障隔離。

## 定義規範化任務成本

單純按請求計數不夠，因為短 480p 片段與長高分辨率片段消耗不同。

| 輸入 | 示例貢獻 |
|---|---|
| 模型路由 | 基礎倍數 |
| 請求時長 | 線性或實測時長系數 |
| 分辨率 | 相對處理與價格系數 |
| 輸出數量 | 乘以預計工作量 |
| 歷史運行時間 | 用近期任務修正 |

調度估計應穩定且可修正，但除非與商業計量完全一致，否則不要直接用它給客戶計費。

## 使用加權虧空輪詢

每個活躍租戶隨時間獲得 credit；當下一任務成本不超過餘額時才派發，未用餘額可在上限內累積。

```text
for tenant in active_tenants:
    tenant.credit += quantum * tenant.weight
    while tenant.next_job.cost <= tenant.credit and capacity_available:
        dispatch(tenant.next_job)
        tenant.credit -= tenant.next_job.cost
```

這種方法既支持服務權重，也不要求完美預測運行時間。

## 限制併發和借用

為每個租戶設置最大 in-flight 數量。其他租戶空閒時允許借用，但它們返回後應逐步回收容量。視頻生成通常無法經濟地強制搶佔，因此准入階段不能一次派發過多借用任務。

## 分離交互式和批量類別

編輯器里等待結果的人與夜間目錄批處理的時延需求不同。

| 類別 | 調度目標 | 防護規則 |
|---|---|---|
| 交互式 | 低排隊延遲 | 每用戶突發上限 |
| 標準 | 平衡延遲與吞吐 | 每租戶併發 |
| 批量 | 高利用率 | 老化與每日預算 |
| 恢復 | 完成不確定或中斷任務 | 少量受保護容量 |

不要讓所有請求都自稱緊急，交互式類別應與真實產品動作或套餐權益綁定。

## 通過老化防止飢餓

隨等待時間增加任務的有效優先級，並設置上限。若某租戶超過等待閾值，可臨時提高權重或預留下一個可用槽位，同時記錄這次干預。

## 執行准入和預算限制

公平調度無法解決無限輸入。租戶超過存儲任務數、在途數量、每日預算或賬戶安全閾值時，應拒絕、延遲或要求審批，並返回明確狀態，而不是靜默丟棄。

## 同時衡量公平性與吞吐量

跟蹤每租戶和服務類別的排隊延遲分位數、最大等待、完成成本單位、借用容量、受限提交和飢餓干預，並將交付份額與合格需求和配置權重對比。

[Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) 可以通過一個 OpenAI 兼容平台統一文本、圖像和視頻模型訪問。公平策略仍屬於應用，因為它取決於客戶合同、預算和任務語義。

## 結論

使用租戶隊列、規範化成本、加權虧空輪詢、有界併發和等待老化。分離交互與批量容量並允許受控借用，讓大客戶利用空閒資源而不會讓小客戶消失。

## FAQ

### 為什麼單一 FIFO 視頻隊列不公平？

提交大批任務的客戶可能長期佔據隊首，使只等待一個預覽的客戶也被阻塞。

### 哪種調度算法適合視頻生成？

加權虧空輪詢比較實用，它能處理成本不同的任務和客戶權重，而不需要精確預測運行時間。

### 付費等級是否應獲得不同隊列份額？

可以，但策略必須透明且有上限。更高權重可以改善服務，但不能讓低權重租戶永久飢餓。

### 如何估算不同視頻任務的成本？

根據模型、時長、分辨率和真實資源時間計算規範化成本單位，並用已完成任務修正估計。

### 批量任務如何與交互式任務共存？

使用獨立服務類別和預留容量，在每個類別內部執行公平調度，並通過老化讓舊批量任務最終得到處理。

### Atlas Cloud 會取代租戶調度器嗎？

不會。Atlas Cloud 可統一模型訪問與賬單，但租戶身份、准入、公平性、配額和等待時間仍由應用負責。