# Hoe bouw je een opgeschoonde request-replayset voor een LLM-API-migratie? > Bouw een minimale, geversioneerde corpus door op dekking te selecteren, onnodige velden te verwijderen, gevoelige waarden consistent door structuurbehoudende synthetische data te vervangen, externe tools te isoleren en het eindartefact opnieuw te scannen. Selecteer representatieve productieaanvragen, detecteer en vervang geheimen en persoonsgegevens, behoud structuur die het modelgedrag beïnvloedt en controleer dat niets gevoeligs achterblijft. Sla dit op als geversioneerd testartefact met assertions, niet als ruwe logexport. Het doel is gedragsdekking zonder productierisico naar een nieuwe dataset te kopiëren. ## Definieer wat de replay moet bewijzen Maak vóór selectie een lijst van risico's: lengte, talen, tool-schema, gestructureerde uitvoer, multimodale delen, streaming, veiligheidsweigeringen, grote context en parameters. Maak dekkingscategorieën en kies bewust. Een willekeurige steekproef mist zeldzame vormen; alleen fouten verzamelen vertekent normaal verkeer. ## Minimaliseer tijdens verzameling Exporteer alleen noodzakelijke velden. Verwijder autorisatieheaders, cookies, IP's, accountmetadata, facturering en irrelevante logs vóór de testomgeving. Gebruik een allowlist zoals: ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` Maak een nieuwe `fixture_id`; gebruik geen gebruiker- of provider-ID als openbare sleutel. ## Detecteer gevoelige data in lagen Combineer deterministische scanners, organisatiewoordenboeken en contextreview. Zoek API-sleutels, tokens, privésleutels, verbindingsstrings, e-mail, telefoons, accounts, interne hosts, codegeheimen en gereguleerde ID's. Geen scanner is volledig. Voer meerdere passes uit en laat onzekere matches bevoegd beoordelen. Metadata en pixels van afbeeldingen en documenten kunnen ook gevoelig zijn. ## Vervang met behoud van gedrag Gebruik consistente getypeerde placeholders zoals `` en ``. Dezelfde waarde krijgt binnen een case dezelfde placeholder, maar de mapping mag buiten een gecontroleerd tijdelijk proces niet omkeerbaar zijn. Behoud lengte, Unicode-klasse, JSON-type, lijstgrootte, scheidingstekens en relaties. Als tokenlengte relevant is, gebruik veilige synthetische tekst van vergelijkbare grootte. Hash telefoonnummers en andere waarden met lage entropie niet alleen. Verwijder of synthetiseer als omkeerbaarheid niet nodig is. ## Verwijder actieve en gevaarlijke inhoud Cases kunnen prompt injection, commando's, URL's of code met effecten bevatten. Schakel externe tools standaard uit en vervang schrijvende tools door deterministische stubs. Sta netwerk alleen toe naar gecontroleerde test-endpoints. Replay geen productiecredentials, ondertekende URL's, destructieve commando's of klantwebhooks. ## Voeg assertions toe, geen exacte antwoorden LLM-uitvoer varieert. Bewaar controles voor schema, verplichte velden, toolkeuze, weigering, taal, maximale latency, tokenlimieten en semantische beoordeling. Gebruik exacte gelijkheid alleen voor deterministische taken. Registreer bron- en doelmodel, adapterversie, template en datum per run. ## Valideer het opgeschoonde artefact Scan vóór goedkeuring op geheimen en PII, inspecteer bestandstypen en bekijk handmatig een steekproef. Bevestig dat elke categorie behouden is. Vervang een veilige maar niet meer effectieve case door een synthetisch equivalent. Bescherm de set als testdata, niet als publieke documentatie. Pas toegang, bewaring, audit en verwijdering toe. Scheid tijdelijke mappings en vernietig ze na validatie als beleid dit toestaat. ## Gebruik het als migratiegate Draai dezelfde cases via bron- en doeladapter. Vergelijk genormaliseerde uitvoer, fouten, latency, gebruik en kosten. Onderzoek verschillen per categorie en voeg regressiecases toe. Versioneer dataset en opschoningsregels samen. ## Samenvatting Een veilige replayset is een ontworpen minimale testcorpus, geen kopie van productielogs. Gebruik gelaagde detectie, structuurbehoudende synthetische data, geïsoleerde effecten en gedragsassertions. Scan opnieuw voordat de set als migratiegate dient. ## FAQ ### Waarom geen willekeurige export van productielogs replayen? Ruwe logs kunnen geheimen en persoonsgegevens bevatten, terwijl een willekeurige steekproef zeldzame vormen mist. Bouw de minimale set op basis van expliciete risicocategorieën. ### Hoe moeten gevoelige waarden worden vervangen? Gebruik consistente getypeerde placeholders of synthetische data die relevante lengte, type, scheidingstekens, Unicode-klasse en relaties bewaren zonder omkeerbaar te zijn. ### Is hashing genoeg om gebruikersdata te anonimiseren? Niet voor waarden met lage entropie, zoals telefoonnummers, die geraden kunnen worden. Verwijder of synthetiseer als omkeerbaarheid niet nodig is. ### Hoe replay je toolcalls veilig? Schakel externe tools standaard uit en vervang ze door deterministische stubs. Gebruik geen productiecredentials, klantwebhooks of echte schrijfeffecten. ### Moet verwachte uitvoer exact overeenkomen? Meestal niet. Gebruik assertions voor schema, velden, toolkeuze, weigering, taal, latency, gebruik en beoordeling; exacte gelijkheid alleen voor deterministische taken. ### Hoe keur je de uiteindelijke replayset goed? Scan op geheimen en PII, inspecteer bestanden, bekijk handmatig een steekproef, bevestig dekking en pas toegang, bewaring en verwijdering toe.