# Hur bygger du en sanerad uppspelningsmängd för en LLM API-migrering? > Bygg en liten versionshanterad korpus genom att välja exempel efter täckning, ta bort onödiga fält, ersätta känsliga värden med konsekventa strukturbärande syntetiska data, isolera externa verktyg och skanna slutartefakten igen före godkännande. Bygg en sanerad uppspelningsmängd genom att välja representativa produktionsbegäranden, upptäcka och ersätta hemligheter och personuppgifter, bevara strukturegenskaper som påverkar modellbeteendet och validera att inget känsligt finns kvar. Lagra den som en versionshanterad testartefakt med assertioner, inte som en rå loggexport. Målet är beteendetäckning utan att kopiera produktionsrisk till en ny datamängd. ## Definiera vad uppspelningen ska bevisa Lista migreringsriskerna före urvalet. Vanliga dimensioner är promptlängd, språk, verktygsscheman, strukturerad utdata, multimodala delar, streaming, säkerhetsavslag, stora kontext och modellparametrar. Skapa täckningskategorier och välj exempel avsiktligt. Slumpmässiga urval kan missa sällsynta former, medan en samling med bara tidigare fel kan förvränga normal trafik. ## Minimera vid insamlingen Exportera bara fält som krävs för uppspelning. Ta bort authorization headers, cookies, IP-adresser, kontometadata, faktureringsfält och orelaterade loggar innan data når testmiljön. Använd en allowlist som: ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` Skapa ett nytt `fixture_id`; återanvänd inte användar-ID eller leverantörens begärande-ID som publik fixturenyckel. ## Upptäck känsliga data i flera lager Kombinera deterministiska detektorer, organisationsspecifika ordlistor och kontextuell granskning. Sök efter API keys, bearer tokens, private keys, connection strings, e-post, telefonnummer, kontonummer, interna värdnamn, källkodshemligheter och reglerade identifierare. Ingen detektor är komplett. Kör flera pass och skicka osäkra träffar till behörig granskare. Behandla bilder och dokument som datakällor eftersom metadata och pixlar kan innehålla känsligt innehåll. ## Ersätt men bevara beteendet Använd typade, konsekventa platshållare som `` eller ``. Samma originalvärde ska mappas till samma platshållare inom en fixture, men mappningen ska inte kunna återställas utanför en strikt kontrollerad tillfällig process. Bevara ungefärlig längd, Unicode-klass, JSON-typ, liststorlek, avgränsarform och relationer mellan fält. Om tokenlängd utlöser ett fel, ersätt borttagen text med säker syntetisk text med liknande tokenantal. Hasha inte bara värden med låg entropi, som telefonnummer. De kan ofta gissas. Radera eller syntetisera när reversibilitet inte behövs. ## Ta bort aktivt och farligt innehåll Uppspelningsdata kan innehålla prompt injection, verktygskommandon, URL:er eller kod med sidoeffekter. Inaktivera externa verktyg som standard och ersätt skrivande implementationer med deterministiska stubbar. Tillåt nätverk bara till kontrollerade test-endpoints. Spela aldrig upp produktionsuppgifter, signerade URL:er, destruktiva kommandon eller kunders webhook-mål. ## Lägg till assertioner i stället för exakta svar LLM-resultat varierar, så lagra beteendekontroller: giltigt schema, obligatoriska fält, verktygsval, avslagskategori, språk, maximal latens, tokenintervall och semantiska bedömningar. Använd exakt matchning bara för verkligt deterministiska omvandlingar. Registrera källans och målets modell-ID:n, adapterversion, promptmallversion och uppspelningsdatum vid varje körning. ## Validera den sanerade artefakten Kör hemlighetsskanning, personuppgiftsdetektion, filtypskontroll och manuell stickprovsgranskning före godkännande. Bekräfta att varje täckningskategori finns kvar efter redigering. En säker fixture som inte längre utövar originalbeteendet bör ersättas syntetiskt. Skydda mängden som testdata, inte offentlig dokumentation. Tillämpa åtkomstkontroll, lagringstid, granskningslogg och raderingsväg. Förvara tillfällig originalmappning separat och förstör den efter validering när policyn tillåter. ## Använd den som migreringsgrind Kör samma fixtures genom käll- och måladaptrar. Jämför normaliserade resultat, felbeteende, latens, användning och kostnad. Undersök skillnader per täckningskategori och lägg till regressionsfixtures för nya inkompatibiliteter. Versionshantera datamängden och saneringsreglerna tillsammans så att resultaten kan förklaras. ## Slutsats En säker uppspelningsmängd är en avsiktligt byggd, minimerad testkorpus, inte kopierade produktionsloggar. Använd flera lager av upptäckt och granskning, ersätt känsliga värden med strukturbärande syntetiska data, stubba sidoeffekter och lägg till beteendeassertioner. Skanna slutartefakten igen innan den blir migreringsgrind. ## FAQ ### Varför inte spela upp ett slumpmässigt utdrag ur produktionsloggar? Råloggar kan läcka hemligheter och personuppgifter, medan slumpmässiga urval kan missa ovanliga begärandeformer. Bygg en minimerad mängd utifrån tydliga riskkategorier. ### Hur bör känsliga värden ersättas? Använd konsekventa, typade platshållare eller syntetiska data som bevarar längd, typ, avgränsare, Unicode-klass och nödvändiga relationer utan att vara reversibla. ### Räcker hashing för att anonymisera användardata? Inte för värden med låg entropi, som telefonnummer, eftersom de kan gissas. Radera eller syntetisera när reversibilitet inte krävs. ### Hur spelas verktygsanrop upp säkert? Inaktivera externa verktyg som standard och ersätt dem med deterministiska stubbar. Använd inte produktionsuppgifter, kundwebhooks eller verkliga skrivåtgärder. ### Måste förväntade resultat matcha exakt? Vanligen inte. Använd assertioner för schema, obligatoriska fält, verktygsval, avslag, språk, latens, användning och bedömning; använd exakt matchning bara för deterministiska uppgifter. ### Hur godkänns den slutliga uppspelningsmängden? Skanna efter hemligheter och personuppgifter, kontrollera filtyper, granska ett urval manuellt, bekräfta täckning och tillämpa åtkomstkontroll, lagringstid och radering.