# Bagaimana Membuat Set Replay Permintaan yang Disanitasi untuk Migrasi API LLM? > Buat korpus kecil berversi dengan memilih sampel berdasarkan cakupan, menghapus field yang tidak diperlukan, mengganti nilai sensitif dengan data sintetis konsisten yang mempertahankan struktur, mengisolasi alat eksternal, dan memindai ulang artefak akhir sebelum persetujuan. Buat set replay yang disanitasi dengan mengambil sampel permintaan produksi representatif, mendeteksi dan mengganti rahasia serta data pribadi, mempertahankan fitur struktur yang memengaruhi perilaku model, dan memvalidasi bahwa tidak ada konten sensitif tersisa. Simpan sebagai artefak uji berversi dengan assertion, bukan ekspor log mentah. Tujuannya adalah cakupan perilaku tanpa menyalin risiko produksi ke dataset baru. ## Tentukan apa yang harus dibuktikan replay Daftar risiko migrasi sebelum sampling. Dimensi umum meliputi panjang prompt, bahasa, schema alat, output terstruktur, bagian multimodal, streaming, penolakan keamanan, konteks besar, dan parameter model. Buat kategori cakupan dan pilih contoh secara sengaja. Sampel acak dapat melewatkan bentuk permintaan langka, sedangkan koleksi yang hanya berisi kegagalan lama dapat mendistorsi trafik normal. ## Minimalkan saat pengumpulan Ekspor hanya field yang diperlukan. Hapus authorization header, cookie, alamat IP, metadata akun, field penagihan, dan log yang tidak relevan sebelum data mencapai workspace uji. Gunakan allowlist seperti: ```json { "fixture_id": "fx_0042", "request": { "model_alias": "support_default", "messages": [], "tools": [], "temperature": 0.2 }, "assertions": { "valid_json": true, "required_keys": ["category", "confidence"] } } ``` Buat `fixture_id` baru; jangan gunakan ID pengguna atau ID permintaan penyedia sebagai kunci fixture publik. ## Deteksi data sensitif secara berlapis Gabungkan detektor deterministik, kamus organisasi, dan tinjauan kontekstual. Cari API key, bearer token, private key, connection string, email, nomor telepon, nomor rekening, hostname internal, rahasia source code, dan pengenal teregulasi. Tidak ada detektor yang lengkap. Jalankan beberapa tahap dan kirim kecocokan meragukan ke peninjau berwenang. Perlakukan gambar dan dokumen sebagai sumber data karena metadata dan piksel dapat memuat informasi sensitif. ## Ganti sambil mempertahankan perilaku Gunakan placeholder bertipe dan konsisten seperti `` atau ``. Nilai asli yang sama harus memetakan ke placeholder yang sama dalam satu fixture agar referensi koheren, tetapi pemetaan tidak boleh dapat dibalik di luar proses sementara yang dikendalikan. Pertahankan panjang perkiraan, kelas Unicode, tipe JSON, ukuran daftar, bentuk pemisah, dan hubungan antarfield. Jika panjang token memicu kegagalan, ganti teks dengan teks sintetis aman yang jumlah tokennya serupa. Jangan hanya meng-hash nilai berentropi rendah seperti nomor telepon karena dapat ditebak. Hapus atau sintesis jika reversibilitas tidak diperlukan. ## Hapus konten aktif dan berbahaya Dataset replay dapat berisi prompt injection, perintah alat, URL, atau kode yang menimbulkan efek samping. Nonaktifkan alat eksternal secara default dan ganti implementasi yang dapat menulis dengan stub deterministik. Izinkan jaringan hanya ke endpoint uji terkontrol. Jangan memutar ulang kredensial produksi, URL bertanda tangan, perintah destruktif, atau tujuan webhook pelanggan. ## Tambahkan assertion, bukan jawaban persis Output LLM dapat berubah, jadi simpan pemeriksaan perilaku: validitas schema, field wajib, pemilihan alat, kategori penolakan, bahasa, latensi maksimum, batas token, dan skor rubrik semantik. Gunakan exact match hanya untuk transformasi yang benar-benar deterministik. Catat ID model sumber dan target, versi adapter, versi template prompt, dan tanggal replay pada setiap eksekusi. ## Validasi artefak yang disanitasi Sebelum persetujuan, jalankan pemindaian rahasia, deteksi PII, pemeriksaan jenis file, dan tinjauan sampel manual. Pastikan setiap kategori cakupan tetap terwakili setelah redaksi. Fixture yang aman tetapi tidak lagi menguji perilaku asli harus diganti dengan padanan sintetis. Batasi set replay seperti data uji, bukan dokumentasi publik. Terapkan kontrol akses, retensi, audit log, dan jalur penghapusan. Simpan pemetaan sementara asli ke placeholder secara terpisah dan musnahkan setelah validasi bila kebijakan mengizinkan. ## Gunakan dalam gerbang migrasi Jalankan fixture yang sama melalui adapter sumber dan target. Bandingkan output ternormalisasi, perilaku kesalahan, latensi, penggunaan, dan biaya. Selidiki perbedaan berdasarkan kategori cakupan, lalu tambahkan fixture regresi untuk ketidakcocokan baru. Versikan dataset dan aturan sanitasi bersama agar hasil tetap dapat dijelaskan. ## Intinya Set replay yang aman adalah korpus uji minimal yang dibuat khusus, bukan salinan log produksi. Lapisi deteksi dan tinjauan, ganti nilai sensitif dengan data sintetis yang mempertahankan struktur, stub efek samping, dan tambahkan assertion perilaku. Pindai ulang artefak sebelum menjadi gerbang migrasi. ## FAQ ### Mengapa tidak memutar ulang ekspor acak log produksi? Log mentah dapat membocorkan rahasia dan data pribadi, sedangkan sampel acak dapat melewatkan bentuk permintaan langka. Buat set minimal berdasarkan kategori risiko yang jelas. ### Bagaimana nilai sensitif harus diganti? Gunakan placeholder bertipe yang konsisten atau data sintetis yang mempertahankan panjang, tipe, pemisah, kelas Unicode, dan hubungan penting tetapi tidak dapat dibalik. ### Apakah hashing cukup untuk menganonimkan data pengguna? Tidak untuk nilai berentropi rendah seperti nomor telepon karena dapat ditebak. Hapus atau sintesis jika reversibilitas tidak dibutuhkan. ### Bagaimana memutar ulang pemanggilan alat dengan aman? Nonaktifkan alat eksternal secara default dan ganti dengan stub deterministik. Jangan gunakan kredensial produksi, webhook pelanggan, atau efek tulis nyata. ### Haruskah keluaran yang diharapkan cocok persis? Biasanya tidak. Gunakan assertion untuk schema, field wajib, pemilihan alat, penolakan, bahasa, latensi, penggunaan, dan penilaian; gunakan exact match hanya untuk tugas deterministik. ### Bagaimana menyetujui set replay akhir? Pindai rahasia dan PII, periksa jenis file, tinjau sampel secara manual, konfirmasi cakupan, serta terapkan kontrol akses, retensi, dan penghapusan.