# Ubrzavanje osiguranja kvalitete sintetičkih podataka uz Formize

Sintetički podaci postali su temelj za treniranje modernih modela strojnog učenja, osobito kada su stvarni podaci rijetki, osjetljivi ili strogo regulirani. Ipak, vrijednost sintetičkih podataka ovisi o **kvaliteti** — ako generirani zapisi sadrže statistički drift, skrivenu pristranost ili curenje privatnosti, modeli u nastavku nasljeđuju te nedostatke. Tradicionalni procesi osiguranja kvalitete (QA) su ručni, vremenski zahtjevni i skloni greškama, što organizacijama otežava korak s brzim ciklusima iteracije modela.

**Formize**, platforma za upravljanje podacima s niskim kodom, nudi snažan način za **automatizaciju statističke validacije** i ugrađivanje provjera kvalitete izravno u cjevovode sintetičkih podataka. U ovom članku ćemo:

1. Objasniti zašto je QA za sintetičke podatke poseban izazov.  
2. Detaljno opisati ključne komponente Formizea koje omogućuju automatiziranu validaciju.  
3. Proći kroz cjelokupni radni tok, ilustriran Mermaid dijagramom.  
4. Istaknuti najbolje prakse za statistička testiranja, otkrivanje anomalija i izvještavanje o usklađenosti.  
5. Prikazati studiju slučaja iz zdravstvenog sektora.  

Na kraju ćete imati konkretan plan kako pretvoriti generiranje sintetičkih podataka iz “crne kutije” u **transparentan, auditable i kontinuirano nadziran** proces.

---

## 1. Zašto sintetički podaci trebaju vlastiti sloj QA

| Aspekt | Stvarni podaci | Sintetički podaci |
|--------|----------------|-------------------|
| **Izvor** | Prikupljeno sa senzora, transakcija, anketa | Proizvedeno generativnim modelima (GAN‑i, difuzija, LLM‑i) |
| **Kontrola** | Ograničena; podaci mogu sadržavati šum, nedostajuće vrijednosti | Potpuna kontrola nad parametrima generacije |
| **Rizik** | Povrede privatnosti, pristranost, kršenje regulativa | Statistički drift, kolaps moda, curenje privatnosti |
| **Verifikacija** | Standardna ETL validacija (shema, provjere null‑ova) | Potrebna je statistička sličnost, korisnost i metričke privatnosti |

QA za sintetičke podatke mora odgovoriti na tri pitanja:

1. **Statistička vjernost** – Odgovara li sintetička distribucija stvarnoj ciljnoj distribuciji unutar prihvatljivih tolerancija?  
2. **Korisnost** – Hoće li modeli trenirani na sintetičkim podacima postići usporedivu izvedbu s modelima treniranim na stvarnim podacima?  
3. **Privatnost i usklađenost** – Izbjegava li sintetički skup rizik ponovne identifikacije i zadovoljava li regulative poput [GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html) ili [CCPA](https://oag.ca.gov/privacy/ccpa)?

Ručno vođeni proračuni u tablicama i ad‑hoc skripte ne mogu pratiti brzinu modernih AI timova. Automatizacija je ključna.

---

## 2. Formize značajke koje omogućuju automatizirano osiguranje kvalitete

Formize pruža **deklarativni tvorac obrazaca**, **motor radnih tokova** i **metapodatkovnu pohranu spremnu za reviziju**. Sljedeće mogućnosti izravno podupiru QA za sintetičke podatke:

| Značajka | Kako pomaže QA za sintetičke podatke |
|----------|--------------------------------------|
| **Dinamička pravila validacije** | Definirajte statističke pragove (npr. Kolmogorov‑Smirnov p‑vrijednost > 0.05) kao ponovno upotrebljiva pravila. |
| **Okidači temeljeni na pravilima** | Automatski pokrenite validaciju kad novi sintetički skup podataka pristigne u spremnik ili nakon izvođenja treniranja modela. |
| **Verziona linija podataka** | Zabilježite porijeklo svakog sintetičkog batcha, povezujući parametre generacije, verziju modela i rezultate validacije. |
| **Ugrađene Python/SQL skripte** | Pokrenite prilagođena statistička testiranja (npr. chi‑square, Earth Mover’s Distance) bez napuštanja Formize sučelja. |
| **Upravljanje u stvarnom vremenu** | Vizualizirajte metrike drifta, stope prolaza i zastavice usklađenosti za sve dionike. |
| **Neizmjenjiv audit trail** | Svaki rezultat validacije pohranite na nepromjenjivi ledger, zadovoljavajući zahtjeve revizije. |
| **Integracija s niskim kodom** | Povežite se s jezerima podataka, registrima modela i CI/CD cjevovodima putem unaprijed izgrađenih konektora. |

Ovi blokovi omogućuju **zatvoreni krug** QA sustava: generiranje → validacija → sanacija → ponovna generacija, sve orkestrirano bez opsežnog “glue” koda.

---

## 3. Cjelokupni radni tok

Dolje je tipičan pipeline koji organizacije mogu implementirati uz Formize. Dijagram koristi Mermaid sintaksu; nazivi čvorova su u dvostrukim navodnicima prema zahtjevu.

```mermaid
flowchart TD
    A["Synthetic Data Generation Service"] --> B["Formize Ingestion Endpoint"]
    B --> C["Create New Dataset Record (Versioned)"]
    C --> D["Trigger Validation Ruleset"]
    D --> E["Statistical Tests (KS, EMD, Chi‑Square)"]
    D --> F["Privacy Checks (DP‑Laplacian, k‑Anonymity)"]
    E --> G["Utility Evaluation (Model Retrain & Compare)"]
    F --> G
    G --> H["Aggregate Results"]
    H --> I["Pass/Fail Decision"]
    I -->|Pass| J["Publish to Production Data Lake"]
    I -->|Fail| K["Notify Data Engineer & Auto‑Remediation Bot"]
    K --> L["Adjust Generation Parameters"]
    L --> A
    J --> M["Update Lineage & Audit Log"]
    M --> N["Dashboard & Stakeholder Reporting"]
```

### Objašnjenje koraka

1. **Synthetic Data Generation Service** – Bilo koji model (GAN, difuzija, LLM) zapisuje svoj izlaz u oblak.  
2. **Formize Ingestion Endpoint** – Lagani webhook hvata događaj i kreira novi zapis dataset‑a, automatski dodjeljujući verzijski identifikator.  
3. **Trigger Validation Ruleset** – Formize evaluira priloženi skup pravila, koji može sadržavati više statističkih i privatnih provjera.  
4. **Statistički testovi** – Ugrađene Python akcije izračunavaju metrike sličnosti distribucije u odnosu na referentni stvarni dataset pohranjen u jezeru podataka.  
5. **Provjere privatnosti** – Formize pokreće diferencijalne privatne estimatore i izračune k‑anonimnosti kako bi osigurao da nijedna osoba ne može biti ponovno identificirana.  
6. **Evaluacija korisnosti** – Opcionalno, privremeni model se trenira na sintetičkom batchu; njegova izvedba se uspoređuje s referentnim modelom pomoću unaprijed definiranog metrika (npr. ΔF1‑score < 5%).  
7. **Agregacija rezultata** – Svi ishodi testova konsolidiraju se u jedinstveni izvještaj validacije.  
8. **Odluka prolaz/neprolaz** – Poslovna logika određuje je li batch spreman za produkciju.  
9. **Objava ili sanacija** – Prolazni batchovi se premještaju u produkcijsko jezero; neprolazni aktiviraju automatsko obavijest (Slack/Teams) i bot za sanaciju koji prilagođava parametre generacije (npr. learning rate, razinu šuma).  
10. **Linija podataka i audit log** – Svaki korak, uključujući točnu verziju koda i parametre, bilježi se nepromjenjivo.  
11. **Dashboard i izvještavanje** – Izvršni menadžeri pregledavaju compliance dashboarde koji prikazuju trendove kroz vrijeme, omogućujući proaktivno upravljanje.

---

## 4. Dizajniranje učinkovitih pravila validacije

### 4.1 Statistička vjernost

| Metrika | Tipični prag | Kada koristiti |
|---------|--------------|----------------|
| **Kolmogorov‑Smirnov (KS) p‑vrijednost** | > 0.05 | Kontinuirane numeričke značajke |
| **Earth Mover’s Distance (EMD)** | < 0.1 (skalirano) | Višedimenzionalne distribucije |
| **Chi‑Square za kategorizirane** | p‑vrijednost > 0.05 | Niskokardinalne kategorije |
| **Očuvanje korelacije** | Razlika Pearson r < 0.1 | Provjera interakcija značajki |

Formize omogućuje enkodiranje ovih pragova kao **objekte pravila**:

```yaml
rules:
  - name: "KS Numeric Fidelity"
    type: python
    script: |
      import scipy.stats as st
      p = st.ks_2samp(real['age'], synth['age']).pvalue
      assert p > 0.05, f"KS test failed (p={p})"
```

### 4.2 Jamstva privatnosti

* **Diferencijalni privatni budžet** – Provjerite da kumulativni ε ostane ispod definiranog limita politike.  
* **k‑Anonimnost** – Osigurajte da svaka grupa kvazi‑identifikatora sadrži najmanje *k* zapisa.  

Modul privatnosti u Formizeu može izračunati ove metrike u letu i podići **zastavicu kršenja privatnosti** ako se pragovi prekrše.

### 4.3 Mjere korisnosti

Umjesto treniranja punog modela svaki put, možete koristiti **proxy modele** (npr. logističku regresiju) za brzu procjenu korisnosti. Formize pohranjuje referentnu izvedbu u **referentni artefakt**, omogućujući jednostavnu kalkulaciju delta‑a.

```python
baseline_f1 = 0.87
synth_f1 = train_and_evaluate(synth_dataset)
assert abs(baseline_f1 - synth_f1) < 0.05, "Utility drop exceeds 5%"
```

### 4.4 Upozorenja i sanacija

Formize se integrira s popularnim platformama za reagiranje na incidente (PagerDuty, Opsgenie). Neuspjelo pravilo može automatski:

* Otvoriti ticket s točnim detaljima greške.  
* Pokrenuti **posao podešavanja parametara** koji izvršava grid pretragu nad hiper‑parametrima generacije.  
* Ponovno pokrenuti pipeline kada se generira novi sintetički batch.

---

## 5. Najbolje prakse za održivo QA sintetičkih podataka

1. **Verzija referentnog stvarnog skupa podataka** – Pohranite bazni dataset koji koristite za statističko uspoređivanje u verzionirano jezero. Time sprječavate “pokretni cilj” kada se stvarni podaci sami mijenjaju.  
2. **Odvojeni slojevi upravljanja** – Koristite jedan Formize radni prostor za **regulatornu usklađenost** (privatnost, audit) i drugi za **tehničku kvalitetu** (statistički testovi). Ovo odražava razdvajanje dužnosti koje zahtijevaju mnogi standardi.  
3. **Kontinuirano praćenje** – Implementirajte pravila validacije kao **real‑time okidače**, a ne noćne batch zadatke. Brza povratna informacija smanjuje nepotrebno ponovno generiranje.  
4. **Objašnjivost** – Priložite **ljudski čitljivo objašnjenje** svakom pravilu (npr. “KS test osigurava da distribucija dobi odgovara podacima iz popisa stanovništva”). Ovo pomaže revizorima i ne‑tehničkim dionicima.  
5. **Skalabilna izvedba** – Iskoristite serverless motor izvršavanja u Formizeu za paralelno pokretanje teških statističkih testova, osiguravajući da latencija ostane ispod nekoliko minuta čak i za datasetove od milijuna redaka.  

---

## 6. Studija slučaja iz stvarnog svijeta: Sintetički zapisi pacijenata za mrežu bolnica

**Pozadina** – Velika bolnička mreža trebala je sintetičke zapise pacijenata za treniranje modela predviđanja ponovnog prijema, uz poštivanje **[HIPAA](https://www.hhs.gov/hipaa/index.html)**. Tim za podatke generirao je 5 milijuna sintetičkih redaka koristeći uvjetni GAN.

**Izazov** – Početni batchi su prošli osnovne provjere sheme, ali su pokazali **odstupanje u distribuciji dobi** i **pretjeranu rizik od re‑identifikacije** kod rijetkih dijagnoza.

**Implementacija Formizea**

| Komponenta | Konfiguracija |
|------------|----------------|
| **Ingestion** | Webhook iz GAN pipelinea prema `/datasets` endpointu Formizea. |
| **Ruleset** | KS test na dobi, chi‑square na kodovima dijagnoza, ε‑budžet ≤ 1.0, k‑anonimnost ≥ 5. |
| **Utility Test** | Logistička regresija za predviđanje ponovnog prijema, ΔAUC ≤ 0.03. |
| **Bot za sanaciju** | Prilagodio je težinu gubitka GAN‑a za rijetke kodove i povećao injekciju šuma. |

**Rezultat**

* **Stopa prolaza u prvom krugu** – 42 % generiranih batcha nije prošlo nijedno pravilo.  
* **Prosječno vrijeme rješavanja** – Smanjeno s 48 sati (ručno) na 6 sati (automatizirano).  
* **Ocjena usklađenosti** – Postignuta ocjena “A‑” na internom hospitalnom checklistu za privatnost.  
* **Izvedba modela** – Model treniran na sintetičkim podacima dosegao je 0.84 AUC, što je unutar 2 % od referentnog modela na stvarnim podacima.  

Bolnica sada pokreće Formize‑vođeni QA pipeline pri svakom sintetičkom izdanju, pružajući revizorima **nepromjenjiv zapis** koji zadovoljava i **[HIPAA](https://www.hhs.gov/hipaa/index.html)** i državne zakone poput **[CCPA](https://oag.ca.gov/privacy/ccpa)**.

---

## 7. Proširenje okvira: budući smjerovi

1. **LLM‑generirano generiranje testova** – Upotrijebite veliki jezični model za automatsko predlaganje novih statističkih testova na temelju sheme dataset‑a.  
2. **Federativna validacija** – Izvršavajte Formize‑ova pravila preko više podataka‑silosa bez premještanja sirovih podataka, poštujući lokalne restrikcije.  
3. **Objašnjivi izvještaji o driftu** – Kombinirajte Formize‑ove audit logove s vizualnim objašnjenjima (npr. SHAP vrijednostima) kako biste točno identificirali koje značajke uzrokuju pomake distribucije.  
4. **Plug‑in‑ovi za regulative** – Predefinirani paketi pravila za **[GDPR](https://gdpr.eu/)**, **[CCPA](https://oag.ca.gov/privacy/ccpa)** i nadolazeće AI regulative (EU AI Act) koje se mogu jednostavno ubaciti u bilo koji pipeline.  

---

## 8. Kako započeti s Formize za QA sintetičkih podataka

1. **Kreirajte radni prostor** – U Formize konzoli odaberite *New Workspace* i izaberite predložak “Synthetic Data QA”.  
2. **Definirajte referentne dataset‑e** – Učitajte svoj stvarni bazni dataset i označite ga kao `reference`.  
3. **Izgradite skup pravila** – Koristite drag‑and‑drop tvorac pravila ili zalijepite Python skripte kao što je prikazano ranije.  
4. **Povežite generator** – Dodajte webhook URL u svoj skript za generiranje sintetičkih podataka; Formize će automatski kreirati zapis dataset‑a pri svakom pokretanju.  
5. **Objavite dashboard** – Aktivirajte pregled u stvarnom vremenu i podijelite linkove s pravom za čitanje s timovima za usklađenost.  

Dostupan je **30‑dnevni besplatni probni period**, što vam omogućuje da prototipirate cijeli workflow bez ikakvih početnih troškova.