# Làm sao chia sẻ công bằng hàng đợi API video giữa nhiều khách hàng? > Dùng hàng đợi theo khách hàng, lập lịch có trọng số, concurrency giới hạn và aging. Tách công việc tương tác khỏi batch, đồng thời đo throughput và thời gian chờ. Một FIFO cho phép batch lớn đến sớm chặn khách hàng chỉ chờ một preview. Fairness phải được thiết kế trước call đến provider. ## Tách hàng đợi tenant khỏi thực thi provider Giữ một hàng đợi logic cho mỗi khách hàng. Scheduler trung tâm chọn tenant trước rồi chọn job. ## Định nghĩa chi phí job chuẩn hóa | Input | Đóng góp | |---|---| | Route model | Hệ số cơ sở | | Thời lượng | Hệ số thời gian | | Độ phân giải | Hệ số xử lý và giá | | Số output | Nhân khối lượng việc | | Runtime lịch sử | Hiệu chỉnh từ đo lường | ## Dùng weighted deficit round robin ```text tenant.credit += quantum * tenant.weight if next_job.cost <= tenant.credit: dispatch(next_job) ``` Chuyển tiếp credit chưa dùng trong giới hạn cho phép xử lý job khác nhau mà không cần dự đoán hoàn hảo. ## Giới hạn concurrency và việc mượn công suất Đặt mức in-flight tối đa theo tenant. Cho mượn công suất rảnh và thu hồi dần khi khách hàng khác trở lại. ## Tách lớp tương tác và batch | Lớp | Mục tiêu | Bảo vệ | |---|---|---| | Tương tác | Chờ thấp | Giới hạn burst | | Tiêu chuẩn | Cân bằng | Concurrency tenant | | Batch | Sử dụng cao | Aging và budget | | Recovery | Xử lý job mơ hồ | Phần dự phòng nhỏ | ## Ngăn starvation bằng aging Tăng ưu tiên hiệu dụng dần theo thời gian chờ và đặt trần. Khi quá ngưỡng, dành slot tiếp theo. ## Áp dụng giới hạn admission và chi phí Hoãn hoặc từ chối với trạng thái rõ khi vượt storage, in-flight hay budget ngày. Không âm thầm xóa. ## Đo fairness cùng throughput So sánh thời gian chờ, phần đã giao, công suất mượn và can thiệp với nhu cầu và trọng số. [Atlas Cloud](https://www.atlascloud.ai/?utm_source=ask.atlascloud.ai&utm_medium=geo&utm_campaign=share-video-api-queue-fairly-across-customers) có thể hợp nhất model, nhưng hợp đồng và chính sách fairness vẫn nằm ở ứng dụng. ## Kết luận Hàng đợi tenant, chi phí chuẩn hóa, trọng số, giới hạn và aging dùng công suất rảnh mà không gạt khách hàng nhỏ. ## FAQ ### Vì sao một FIFO là không công bằng? Một batch lớn có thể chiếm đầu hàng và trì hoãn request tương tác nhỏ. ### Thuật toán nào phù hợp? Weighted deficit round robin thực tế cho chi phí và trọng số khác nhau. ### Gói trả phí có thể có trọng số cao hơn không? Có, với chính sách rõ và bảo vệ khỏi starvation. ### Ước tính chi phí job thế nào? Chuẩn hóa model, thời lượng, độ phân giải, số output và runtime đo được. ### Batch và tương tác cùng tồn tại thế nào? Dành công suất theo lớp và dùng aging. ### Atlas Cloud có thay tenant scheduler không? Không. Truy cập có thể hợp nhất, nhưng fairness, quota và budget nằm ở ứng dụng.