# Làm thế nào để xây dựng bộ phát lại yêu cầu đã khử nhạy cảm cho di chuyển API LLM? > Xây dựng corpus nhỏ có phiên bản bằng cách chọn mẫu theo độ phủ, bỏ trường không cần, thay giá trị nhạy cảm bằng dữ liệu tổng hợp nhất quán giữ cấu trúc, cô lập công cụ ngoài và quét lại sản phẩm cuối trước khi duyệt. Hãy xây dựng bộ phát lại đã khử nhạy cảm bằng cách lấy mẫu yêu cầu sản xuất có tính đại diện, phát hiện và thay thế bí mật cùng dữ liệu cá nhân, giữ các đặc tính cấu trúc ảnh hưởng đến hành vi mô hình và xác nhận không còn nội dung nhạy cảm. Lưu bộ này như một artifact kiểm thử có phiên bản với các assertion dự kiến, không phải bản xuất log thô. Mục tiêu là độ phủ hành vi mà không sao chép rủi ro sản xuất sang tập dữ liệu mới. ## Xác định điều bộ phát lại phải chứng minh Liệt kê rủi ro di chuyển trước khi lấy mẫu. Các chiều phổ biến gồm độ dài prompt, ngôn ngữ, schema công cụ, đầu ra có cấu trúc, thành phần đa phương thức, streaming, từ chối vì an toàn, ngữ cảnh lớn và tham số mô hình. Tạo các nhóm độ phủ và chủ động chọn ví dụ. Mẫu ngẫu nhiên có thể bỏ qua dạng yêu cầu hiếm nhưng quan trọng, còn một bộ chỉ gồm lỗi trong quá khứ có thể làm sai lệch lưu lượng bình thường. ## Giảm thiểu ngay khi thu thập Chỉ xuất các trường cần để phát lại. Loại bỏ header ủy quyền, cookie, địa chỉ IP, siêu dữ liệu tài khoản, trường thanh toán và log không liên quan trước khi dữ liệu đến không gian kiểm thử. Dùng allowlist như sau: ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` Tạo `fixture_id` mới; không dùng lại ID người dùng hoặc ID yêu cầu nhà cung cấp làm khóa fixture công khai. ## Phát hiện dữ liệu nhạy cảm theo nhiều lớp Kết hợp bộ dò xác định, từ điển riêng của tổ chức và xem xét theo ngữ cảnh. Tìm API key, bearer token, khóa riêng, chuỗi kết nối, địa chỉ email, số điện thoại, số tài khoản, hostname nội bộ, bí mật trong mã nguồn và định danh được quản lý. Không bộ dò nào hoàn chỉnh. Chạy nhiều lượt và chuyển kết quả không chắc chắn cho người có thẩm quyền xem xét. Cũng phải coi ảnh và tài liệu đính kèm là nguồn dữ liệu; siêu dữ liệu và pixel có thể chứa thông tin nhạy cảm. ## Thay thế trong khi vẫn giữ hành vi Dùng placeholder có kiểu và nhất quán như `` hoặc ``. Cùng một giá trị gốc phải ánh xạ đến cùng placeholder trong một fixture để tham chiếu vẫn nhất quán, nhưng ánh xạ không được đảo ngược bên ngoài một quy trình tạm thời được kiểm soát chặt. Giữ các đặc tính quan trọng với kiểm thử: độ dài gần đúng, lớp Unicode, kiểu JSON, kích thước danh sách, hình dạng dấu phân cách và quan hệ giữa các trường. Nếu độ dài token kích hoạt lỗi, hãy thay văn bản đã bỏ bằng văn bản tổng hợp an toàn có số token tương tự. Không chỉ hash các giá trị entropy thấp như số điện thoại. Chúng thường có thể bị đoán. Hãy xóa hoặc tổng hợp khi không cần khả năng đảo ngược. ## Loại bỏ nội dung chủ động và nguy hiểm Tập dữ liệu phát lại có thể chứa prompt injection, lệnh công cụ, URL hoặc mã gây tác dụng phụ. Mặc định tắt công cụ ngoài và thay triển khai công cụ có khả năng ghi bằng stub xác định. Chỉ cho phép truy cập mạng đến endpoint kiểm thử được kiểm soát. Không bao giờ phát lại thông tin xác thực sản xuất, URL có chữ ký, lệnh phá hủy hoặc đích webhook của khách hàng. ## Thêm assertion thay vì câu trả lời chính xác Đầu ra LLM có thể thay đổi, vì vậy hãy lưu kiểm tra hành vi: tính hợp lệ của schema, trường bắt buộc, lựa chọn công cụ, loại từ chối, ngôn ngữ, độ trễ tối đa, giới hạn token và điểm rubric ngữ nghĩa. Chỉ giữ một số ít fixture khớp tuyệt đối cho biến đổi thực sự có tính xác định. Ghi ID mô hình nguồn và đích, phiên bản adapter, phiên bản mẫu prompt và ngày phát lại trong mọi lần chạy. ## Xác thực artifact đã khử nhạy cảm Trước khi duyệt, hãy quét bí mật, dò PII, kiểm tra loại tệp và xem thủ công một mẫu. Xác nhận mỗi nhóm độ phủ vẫn được đại diện sau khi biên tập. Fixture an toàn nhưng không còn tái hiện hành vi gốc nên được thay bằng một bản tổng hợp tương đương. Hạn chế quyền truy cập bộ phát lại như dữ liệu kiểm thử, không phải tài liệu công khai. Áp dụng kiểm soát truy cập, thời hạn lưu, log kiểm toán và đường xóa. Giữ mọi ánh xạ tạm từ gốc sang placeholder ở nơi riêng và hủy sau xác thực khi chính sách cho phép. ## Dùng bộ này làm cổng di chuyển Chạy cùng fixture qua adapter nguồn và đích. So sánh đầu ra đã chuẩn hóa, hành vi lỗi, độ trễ, mức dùng và chi phí. Điều tra chênh lệch theo nhóm độ phủ, rồi thêm fixture hồi quy cho những điểm không tương thích mới phát hiện. Quản lý phiên bản tập dữ liệu và quy tắc khử nhạy cảm cùng nhau để kết quả luôn giải thích được. ## Kết luận Bộ phát lại an toàn là corpus kiểm thử tối thiểu được xây dựng có chủ đích, không phải log sản xuất được sao chép. Hãy kết hợp nhiều lớp phát hiện và xem xét, thay giá trị nhạy cảm bằng dữ liệu tổng hợp giữ cấu trúc, stub tác dụng phụ và gắn assertion hành vi. Quét lại artifact cuối trước khi dùng nó làm cổng di chuyển. ## FAQ ### Vì sao không phát lại bản xuất ngẫu nhiên của log sản xuất? Log thô có thể lộ bí mật và dữ liệu cá nhân, còn mẫu ngẫu nhiên có thể bỏ sót dạng yêu cầu hiếm. Hãy xây dựng tập tối thiểu theo nhóm rủi ro rõ ràng. ### Nên thay giá trị nhạy cảm thế nào? Dùng placeholder có kiểu nhất quán hoặc dữ liệu tổng hợp giữ độ dài, kiểu, dấu phân cách, lớp Unicode và quan hệ cần thiết nhưng không thể đảo. ### Hash có đủ để ẩn danh dữ liệu người dùng không? Không với giá trị entropy thấp như số điện thoại vì có thể đoán. Hãy xóa hoặc tổng hợp nếu không cần đảo ngược. ### Phát lại lời gọi công cụ an toàn thế nào? Mặc định tắt công cụ ngoài và thay bằng stub deterministic. Không dùng thông tin xác thực sản xuất, webhook khách hàng hay hiệu ứng ghi thật. ### Đầu ra dự kiến có phải khớp chính xác không? Thường là không. Dùng assertion cho schema, trường bắt buộc, chọn công cụ, từ chối, ngôn ngữ, độ trễ, mức dùng và chấm điểm; chỉ khớp tuyệt đối với việc deterministic. ### Duyệt bộ phát lại cuối thế nào? Quét bí mật và PII, kiểm tra tệp, xem thủ công một mẫu, xác nhận độ phủ và áp dụng kiểm soát truy cập, lưu giữ và xóa.