# 如何為 LLM API 遷移建立經過去識別化的請求重播集？ > 圍繞行為涵蓋範圍選擇樣本、刪除不必要欄位、用一致且保留結構的合成資料取代敏感值、隔離外部工具，並在核准前重新掃描最終成品，從而建立最小化且有版本的重播語料。 建立去識別化重播集時，應從生產請求中選擇有代表性的樣本，識別並取代密鑰與個人資料，同時保留影響模型行為的結構特徵，最後確認沒有敏感內容殘留。將它保存為帶版本的測試成品和斷言，而不是原始日誌匯出。 目標是在不把生產風險複製到新資料集的情況下涵蓋真實行為。 ## 定義重播要證明什麼 取樣前列出遷移風險，包括提示詞長度、語言、工具 schema、結構化輸出、多模態部分、串流傳輸、安全拒答、大型上下文和模型參數。 建立涵蓋類別並有目的地選擇樣本。隨機樣本可能遺漏罕見但重要的形態，只收集歷史故障又會扭曲正常流量。 ## 在收集階段最小化資料 只匯出重播必需欄位。在資料進入測試空間前刪除授權標頭、Cookie、IP 位址、帳戶中繼資料、帳單欄位和無關日誌。 可使用如下允許清單： ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` 生成新的 `fixture_id`，不要把使用者 ID 或服務商請求 ID 當作公開測試樣本鍵。 ## 分層偵測敏感資料 結合確定性偵測器、組織專用字典和上下文審查。尋找 API 密鑰、Bearer token、私鑰、連線字串、電子郵件地址、電話號碼、帳號、內部主機名稱、原始碼密鑰和受監管識別碼。 任何偵測器都不完整。應執行多輪檢查，並讓獲授權的審查者處理不確定比對。圖像和附件也屬於資料來源，其中繼資料和像素都可能含有敏感資訊。 ## 取代時保留行為 使用 `` 或 `` 這類帶類型的一致預留位置。同一測試樣本中的同一原值應對應為相同預留位置，但在受控臨時流程之外不能反向還原。 保留與測試有關的特性，例如大致長度、Unicode 類別、JSON 類型、清單大小、分隔符號形態和欄位關係。若權杖長度會觸發問題，就用權杖數接近的安全合成文字取代。 不要只對電話號碼等低熵值做雜湊，它們通常可以被猜出。不需要可逆性時，應刪除或合成。 ## 移除主動和危險內容 重播集可能包含提示詞注入、工具命令、URL 或會產生副作用的程式碼。預設停用外部工具，並用確定性樁取代可寫工具。 網路存取只能指向受控測試端點。不得重播生產憑證、簽名 URL、破壞性命令或客戶 webhook 位址。 ## 加入斷言，而不是精確答案 LLM 輸出會變化，因此應保存行為檢查，包括 schema 有效性、必填欄位、工具選擇、拒答類別、語言、最大延遲、權杖邊界和語意評分。只有真正確定性的轉換才適合精確比對。 每次執行都記錄來源和目標模型 ID、介面卡版本、提示範本版本與重播日期。 ## 驗證去識別化成品 核准前執行密鑰掃描、PII 偵測、檔案類型檢查和人工抽樣。確認處理後每個涵蓋類別仍然存在。若測試樣本安全但不再觸發原行為，就應以合成等價樣本取代。 把重播集當作測試資料而非公開文件來保護，套用存取控制、保留期、稽核日誌和刪除路徑。臨時原值對應應分開存放，並在政策允許時於驗證後銷毀。 ## 用作遷移閘門 透過來源介面卡和目標介面卡執行相同樣本，比較統一後的輸出、錯誤行為、延遲、用量和成本。按涵蓋類別調查差異，並為新發現的不相容增加迴歸樣本。 資料集和去識別化規則應一同版本化，保證結果可解釋。 ## 總結 安全重播集是專門設計、最小化的測試語料，而不是複製的生產日誌。應分層偵測和審查，用保留結構的合成資料取代敏感值，隔離副作用，並附加行為斷言。在它成為遷移閘門前，再對最終成品執行一次掃描。 ## FAQ ### 為什麼不能直接重播隨機生產日誌？ 原始日誌可能洩漏密鑰和個人資料，隨機抽樣也可能遺漏罕見請求形態。應圍繞明確的遷移風險類別建立最小集合。 ### 應如何取代敏感值？ 使用帶類型的一致預留位置或合成資料，保留相關長度、類型、分隔符號、Unicode 類別和欄位關係，同時避免可逆。 ### 雜湊足以匿名化使用者資料嗎？ 對電話號碼等低熵值通常不夠，因為它們可以被猜出。不需要還原時，優先刪除或使用合成資料。 ### 如何安全重播工具呼叫請求？ 預設停用外部工具，並用確定性樁取代。不得包含生產憑證、客戶 webhook 或有寫入副作用的操作。 ### 預期輸出應使用精確文字嗎？ 通常不應。可使用 schema、必填欄位、工具選擇、拒答、語言、延遲、用量和評分斷言，精確比對只適用於確定性工作。 ### 如何核准最終重播集？ 執行密鑰與 PII 掃描，檢查內嵌檔案，人工抽查，確認涵蓋範圍仍完整，並設定存取控制、保留期和刪除策略。