# Wie erstellt man einen bereinigten Request-Replay-Satz für eine LLM-API-Migration? > Erstellen Sie einen minimalen, versionierten Korpus durch abdeckungsorientierte Auswahl, Entfernen unnötiger Felder, konsistenten Ersatz sensibler Werte durch strukturerhaltende synthetische Daten, Isolation externer Tools und einen abschließenden Scan vor der Freigabe. Wählen Sie repräsentative Produktionsanfragen aus, erkennen und ersetzen Sie Geheimnisse und persönliche Daten, erhalten Sie verhaltensrelevante Strukturen und prüfen Sie, dass nichts Sensibles verbleibt. Speichern Sie das Ergebnis als versioniertes Testartefakt mit Assertions, nicht als Rohlog-Export. Ziel ist Verhaltensabdeckung, ohne Produktionsrisiken in einen neuen Datensatz zu kopieren. ## Nachweisziele des Replays definieren Listen Sie vor der Auswahl Risiken auf: Länge, Sprachen, Tool-schemas, strukturierte Ausgabe, multimodale Teile, Streaming, Sicherheitsablehnungen, großer Kontext und Modellparameter. Erstellen Sie Abdeckungskategorien und wählen Sie gezielt. Eine Zufallsstichprobe verfehlt seltene Formen; eine reine Fehlersammlung verzerrt normalen Verkehr. ## Bereits bei der Sammlung minimieren Exportieren Sie nur notwendige Felder. Entfernen Sie Autorisierungsheader, Cookies, IP-Adressen, Kontometadaten, Abrechnung und irrelevante Logs vor dem Testbereich. Verwenden Sie eine Positivliste wie diese: ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` Erzeugen Sie eine neue `fixture_id` und verwenden Sie keine Benutzer- oder Anbieter-ID als öffentlichen Fallschlüssel. ## Sensible Daten mehrschichtig erkennen Kombinieren Sie deterministische Scanner, Organisationswörterbücher und Kontextprüfung. Suchen Sie API-Schlüssel, Tokens, private Schlüssel, Verbindungszeichenfolgen, E-Mails, Telefone, Konten, interne Hosts, Code-Geheimnisse und regulierte Kennungen. Kein Scanner ist vollständig. Führen Sie mehrere Durchläufe aus und lassen Sie unsichere Treffer autorisiert prüfen. Auch Metadaten und Pixel von Bildern und Dokumenten können sensibel sein. ## Unter Erhalt des Verhaltens ersetzen Nutzen Sie konsistente typisierte Platzhalter wie `` und ``. Derselbe Wert erhält innerhalb eines Falls denselben Platzhalter, die Zuordnung darf außerhalb eines kontrollierten temporären Prozesses aber nicht umkehrbar sein. Erhalten Sie ungefähre Länge, Unicode-Klasse, JSON-Typ, Listengröße, Trennzeichen und Feldbeziehungen. Hängt ein Fehler von der Tokenlänge ab, verwenden Sie sicheren synthetischen Text ähnlicher Länge. Hashen Sie Werte mit geringer Entropie wie Telefonnummern nicht nur. Löschen oder synthetisieren Sie, wenn keine Umkehrbarkeit nötig ist. ## Aktive und gefährliche Inhalte entfernen Replay-Fälle können Prompt-Injection, Befehle, URLs oder Code mit Nebenwirkungen enthalten. Deaktivieren Sie externe Tools standardmäßig und ersetzen Sie schreibende Tools durch deterministische Stubs. Erlauben Sie Netzwerk nur zu kontrollierten Test-Endpoints. Spielen Sie keine Produktionszugänge, signierten URLs, destruktiven Befehle oder Kunden-Webhooks ab. ## Assertions statt exakter Antworten hinzufügen LLM-Ausgaben können variieren. Speichern Sie Prüfungen für schema, Pflichtfelder, Toolwahl, Ablehnung, Sprache, maximale Latenz, Token-Grenzen und semantische Bewertung. Exakte Übereinstimmung ist nur für deterministische Aufgaben geeignet. Protokollieren Sie Quell- und Zielmodell, Adapterversion, Promptvorlage und Datum je Lauf. ## Das bereinigte Artefakt prüfen Führen Sie vor Freigabe Geheimnis- und PII-Scans, Dateitypprüfung und manuelle Stichprobe aus. Bestätigen Sie, dass jede Kategorie erhalten bleibt. Ersetzen Sie sichere, aber nicht mehr wirksame Fälle durch synthetische Entsprechungen. Schützen Sie den Satz als Testdaten, nicht als öffentliche Dokumentation. Wenden Sie Zugriff, Aufbewahrung, Audit und Löschung an. Trennen und vernichten Sie temporäre Originalzuordnungen nach Prüfung, wenn erlaubt. ## Als Migrationsschranke einsetzen Führen Sie dieselben Fälle durch Quell- und Zieladapter aus. Vergleichen Sie normalisierte Ausgaben, Fehler, Latenz, Nutzung und Kosten. Untersuchen Sie Abweichungen nach Kategorie und ergänzen Sie Regressionen. Versionieren Sie Datensatz und Bereinigungsregeln gemeinsam. ## Fazit Ein sicherer Replay-Satz ist ein gezielt entworfener minimaler Testkorpus, keine Kopie von Produktionslogs. Nutzen Sie mehrschichtige Erkennung, strukturerhaltende synthetische Daten, isolierte Nebenwirkungen und Verhaltens-Assertions. Scannen Sie das Artefakt erneut, bevor es zur Migrationsschranke wird. ## FAQ ### Warum sollte man keinen zufälligen Export von Produktionslogs abspielen? Rohlogs können Geheimnisse und persönliche Daten enthalten, während Zufallsstichproben seltene Anfrageformen verfehlen. Bauen Sie den Mindestsatz nach klaren Risikokategorien auf. ### Wie sollten sensible Werte ersetzt werden? Verwenden Sie konsistente typisierte Platzhalter oder synthetische Daten, die relevante Länge, Typ, Trennzeichen, Unicode-Klasse und Beziehungen erhalten, ohne umkehrbar zu sein. ### Genügt Hashing zur Anonymisierung von Benutzerdaten? Nicht für Werte mit geringer Entropie wie Telefonnummern, die erraten werden können. Löschen oder synthetisieren Sie, wenn keine Umkehrbarkeit nötig ist. ### Wie spielt man Tool-Aufrufe sicher ab? Deaktivieren Sie externe Tools standardmäßig und ersetzen Sie sie durch deterministische Stubs. Verwenden Sie keine Produktionszugänge, Kunden-Webhooks oder schreibende Nebenwirkungen. ### Soll die erwartete Ausgabe exakt übereinstimmen? Meist nicht. Nutzen Sie Assertions für schema, Pflichtfelder, Toolwahl, Ablehnung, Sprache, Latenz, Nutzung und Bewertung; exakte Gleichheit nur für deterministische Aufgaben. ### Wie wird der fertige Replay-Satz freigegeben? Führen Sie Scans auf Geheimnisse und PII, Dateiinspektion, manuelle Stichproben und Abdeckungsprüfung durch und wenden Sie Zugriff, Aufbewahrung und Löschung an.