
# Komponibilni sintetički podatkovni pipelinei s Formize‑om

Sintetički podaci postali su temelj za treniranje AI modela koji poštuju privatnost, ali pravi izazov je **orkestracija** generiranja, validacije i upravljanja na način koji se može skalirati, ostaje auditable i poštuje zero‑trust sigurnost. Tradicionalni monolitni pipelinei zaključavaju timove u rigidne radne tokove, čine ažuriranja usklađenosti bolnim i ometaju brzu eksperimentaciju.  

U ovom članku predstavljamo **komponibilnu arhitekturu pipelinea** izgrađenu na Formize‑ovom low‑code engineu za radne tokove, serverless funkcijama i zero‑trust kontrolama pristupa ([NIST CSF](https://www.nist.gov/cyberframework)). Razbijanjem cjelokupnog životnog ciklusa sintetičkih podataka na zamjenjive, ponovno upotrebljive blokove, organizacije mogu:

* **Zamijeniti modele generiranja** (GAN‑ovi, difuzijski modeli, LLM‑bazirani) bez prepisivanja downstream logike.  
* **Automatizirati validaciju** (statistička sličnost, otkrivanje pristranosti, curenje PII‑ja) kao neovisne servise.  
* **Provesti upravljanje** (dinamički pristanak, licenciranje, audit trail) kroz politike upravljane od Formize‑a.  
* **Skalirati po potrebi** koristeći cloud‑native serverless runtime‑ove (AWS Lambda, Azure Functions, Google Cloud Run).  

Rezultat je **plug‑and‑play** ekosustav koji ubrzava razvoj AI‑ja uz stalno postavljanje usklađenosti i sigurnosti u prvi plan.

---

## 1. Zašto je komponibilnost važna

| Tradicionalni monolit | Komponibilni pipeline |
|-----------------------|-----------------------|
| Tvrdo povezivanje između generiranja, validacije i pohrane | Nezavisni servisi komuniciraju putem event streamova |
| Hard‑kodirani provjere pristanka → krhko kad se regulative promijene | Politika kao kod pohranjena u Formize, ažurira se trenutno |
| Skaliranje zahtijeva provisioning velikih VM‑ova | Serverless funkcije automatski skaliraju po zahtjevu |
| Auditing raspršen kroz logove | Centralizirani nepromjenjivi audit trail putem Formize + blockchain |

Prijelaz s monolita na komponibilnu arhitekturu odražava evoluciju mikroservisa u web razvoju. Pipelinei za sintetičke podatke profitiraju od istih principa: **slabo povezivanje, neovisno izdavanje i sučelja vođena ugovorima**.

---

## 2. Osnovni građevni blokovi

1. **Data Generation Service (Gen‑X)** – Serverless funkcija koja poziva odabrani model sintetičkih podataka (npr. difuzijski model za medicinsko snimanje). Ulazni parametri (seed, privacy budget, shema podataka) dostavljaju se putem Formize obrasca.

2. **Validation Suite (Val‑Y)** – Zbirka stateless funkcija koje obavljaju:
   * **Statističku sličnost** (Kolmogorov‑Smirnov, Wasserstein udaljenost).  
   * **Otkrivanje pristranosti** (metrike pravičnosti po demografskim segmentima).  
   * **PII curenje** (named‑entity recognition + provjere diferencijalne privatnosti).  

3. **Governance Engine (Gov‑Z)** – Formize‑driven motor politika koji:
   * Procjenjuje **dinamički pristanak** nasuprot decentraliziranim identitetima (DID).  
   * Izdaje **smart‑contract licence** na blockchain ledgeru.  
   * Zapisuje **nepromjenjive audit unose** u tamper‑proof log.

4. **Orchestration Layer** – Event‑driven radni tok definiran u Formize‑u koji povezuje gore navedene servise koristeći **Webhooks**, **Message Queues** (npr. AWS SQS) i **state machines** (AWS Step Functions).

5. **Storage & Catalog** – Enkriptirana objektna pohrana (S3, GCS) s metapodacima indeksiranim u Formize‑ovom katalogu podataka, omogućujući otkrivanje i praćenje linije podataka.

---

## 3. Dizajniranje radnog toka u Formize‑u

Formize pruža vizualni low‑code canvas gdje je svaki blok prikazan kao čvor. Radni tok se može izvesti kao JSON definicija i verzionirati uz kod.

Ispod je **Mermaid dijagram** koji ilustrira visokorazinski tok:

```mermaid
flowchart TD
    A["Formize Consent Form"] -->|Submit| B["Trigger Generation (Gen‑X)"]
    B --> C["Store Raw Synthetic Data"]
    C --> D["Publish Event to Validation Queue"]
    D --> E["Validate (Val‑Y)"]
    E -->|Pass| F["Update Metadata in Catalog"]
    E -->|Fail| G["Notify Reviewer"]
    F --> H["Governance Check (Gov‑Z)"]
    H --> I["Issue License & Log Audit"]
    I --> J["Make Data Available to Consumers"]
    G --> K["Manual Review Loop"]
    K --> B
```

*All node labels are wrapped in double quotes as required.*

### 3.1. Izvedba korak po korak

| Korak | Akcija | Tehnologija |
|------|--------|------------|
| 1 | Korisnik popuni Formize obrazac pristanka, odabire domen podataka, privacy budget i namjenu upotrebe. | Formize UI + Decentralized Identity (DID) verification |
| 2 | Formize emitira webhook prema **Gen‑X** (AWS Lambda). | Serverless function (Python) |
| 3 | **Gen‑X** preuzima model iz registra modela (npr. MLflow) i generira dataset. | PyTorch / TensorFlow |
| 4 | Sintetički izlaz se pohranjuje u enkriptirani S3 bucket; metapodaci (shema, parametri generiranja) se zapisuju u Formize katalog. | S3 + Formize API |
| 5 | Poruka u SQS pokreće **Val‑Y** funkcije paralelno. | AWS Lambda + SQS |
| 6 | Rezultati validacije se agregiraju; ako bilo koja provjera ne uspije, obavijest se šalje putem Formize‑a recenzentu. | SNS + Formize notifications |
| 7 | Po uspjehu, **Gov‑Z** procjenjuje pristanak, kreira smart‑contract licencu na Ethereum‑u i zapisuje transakciju u nepromjenjivi ledger. | Solidity + Hyperledger Fabric |
| 8 | Finalni paket podataka se označava “Ready” i postaje dostupan kroz Formize‑ov data marketplace. | Formize Marketplace API |

---

## 4. Implementacija Zero‑Trust kontrola

Zero‑trust znači **nikad ne vjeruj, uvijek provjeri**. U komponibilnom pipelineu ovaj princip se provodi na tri sloja:

### 4.1. Identitet‑centrirani pristup

* Svaki zahtjev prema serverless funkciji nosi **JWT** potpisan DID‑om podnositelja.  
* Formize validira token nasuprot **Verifiable Credential** koji kodira opseg pristanka i datum isteka.

### 4.2. Politika‑kao‑kod

Upravljačke politike pohranjene su kao **OPA (Open Policy Agent) pravila** unutar Formize‑a. Primjer pravila za isteklost pristanka:

```rego
package consent

allow {
    input.consent.expiry > time.now_ns()
    input.consent.scope == "research"
}
```

Kada korak validacije pokuša zapisati podatke, motor politika u realnom vremenu evaluira pravilo i odbija svaku operaciju koja krši pristanak.

### 4.3. End‑to‑End enkripcija

* Podaci u mirovanju enkriptirani su **KMS ključevima upravljanim od strane kupca**.  
* Podaci u tranzitu između servisa zaštićeni su **mutual TLS** (mTLS) i potpisanim payload‑ovima.  
* Audit logovi su hashirani i ancorirani na blockchain, jamčeći nepromjenjivost.

---

## 5. Automatizirane tehnike validacije

### 5.1. Statistička sličnost

```python
import numpy as np
from scipy.stats import ks_2samp

def ks_distance(real, synthetic):
    return ks_2samp(real, synthetic).statistic
```

Prag (npr. 0.05) definiran je u Formize‑u i može se ažurirati bez redeploy‑a koda.

### 5.2. Otkrivanje pristranosti

Korištenjem **Fairlearn**:

```python
from fairlearn.metrics import demographic_parity_difference

def bias_score(labels, predictions, protected):
    return demographic_parity_difference(labels, predictions, sensitive_features=protected)
```

Ako bias score premaši limit definiran politikom, pipeline usmjerava dataset na korak remedijacije (npr. re‑balansiranje).

### 5.3. PII curenje skeniranje

Lagani NER model identificira potencijalni PII, zatim **differential privacy** računalo provjerava epsilon budžet:

```python
from diffprivlib.mechanisms import Laplace

def pii_check(text, epsilon=1.0):
    # Simple token count as proxy for privacy budget consumption
    noisy_count = Laplace(epsilon=epsilon).randomise(len(text.split()))
    return noisy_count < 100  # arbitrary safe threshold
```

Sve funkcije validacije vraćaju **standardizirani JSON** payload koji Formize konzumira za odlučivanje o sljedećem koraku.

---

## 6. Automatizacija upravljanja s Formize‑om

Formize‑ov **workflow engine** može automatski:

* **Generirati smart‑contract licence** koje ugrađuju ograničenja upotrebe (npr. “samo za istraživanje, bez komercijalne redistribucije”).  
* **Priložiti verificirane vjerodajnice** datasetu, omogućujući downstream potrošačima da dokažu usklađenost.  
* **Stvoriti nepromjenjive audit unose** koji uključuju: timestamp generiranja, verziju modela, privacy budget, score‑ove validacije i hash pristanka.

Ti unosi pohranjeni su u **Merkle stablo** čiji korijenski hash periodično zapisujemo u Ethereum transakciju, pružajući dokaz nepromijenjenosti cijelog izvršenja pipelinea.

---

## 7. Skaliranje s serverless‑om

Budući da je svaki blok **stateless funkcija**, skaliranje je linearno s opterećenjem:

| Opterećenje (dataset‑a/sat) | Gen‑X instance | Val‑Y instance | Gov‑Z instance |
|----------------------------|----------------|----------------|----------------|
| 10 | 2 | 4 | 1 |
| 100 | 12 | 20 | 3 |
| 1 000 | 120 | 200 | 10 |

Serverless platforme automatski provisioniraju potrebnu konurenciju, a Formize‑ova **auto‑retry** logika jamči exactly‑once obradu čak i pri privremenim greškama.

---

## 8. Primjer iz prakse: Konsortium za istraživanje u zdravstvu

Konsortium sastavljen od više institucija trebao je sintetičke zapise pacijenata za AI‑vođeno otkrivanje lijekova, uz usklađenost s [GDPR‑om](https://gdpr.eu/) i [HIPAA‑om](https://www.hhs.gov/hipaa/index.html). Primjenom komponibilnog pipelinea:

1. **Pristanak** je prikupljen putem Formize obrazaca povezanih s DID‑om svakog sudionika.  
2. **Generiranje** je koristilo conditional GAN treniran na de‑identificiranim EHR‑ovima.  
3. **Validacija** je otkrila preostali 0,3 % PII curenja; automatizirani remedijacijski korak ponovno je trenirao model s restriktivnijim epsilon‑om.  
4. **Upravljanje** je izdala blockchain‑backed licencu koja je dopuštala samo “nekomercijalno istraživanje” i zapisala svaki pristup podacima u nepromjenjivi ledger.

Konsortium je smanjio vrijeme do podataka s **tjedana na sate**, a priprema za reviziju regulatora postala je pitanje prezentacije nepromjenjivih ledger unosa.

---

## 9. Lista provjera – najbolje prakse

- **Definirajte jasne ugovore** između blokova pipelinea (shema ulaza, shema izlaza, kodovi grešaka).  
- **Verzionarite politike** u Formize; tretirajte ih kao kod.  
- **Omogućite feature flagove** za eksperimentalne modele generiranja kako biste izbjegli prekide downstream validacije.  
- **Monitorirajte latenciju** na svakom stupnju; postavite alarme u Formize za abnormalne skokove.  
- **Redovito rotirajte enkripcijske ključeve** i pohranite politike rotacije u Formize.  
- **Izvedite periodične drill‑ove usklađenosti** simulirajući povlačenje pristanka i provjeravajući automatsko karantiranje podataka.

---

## 10. Smjerovi za budućnost

1. **AI‑pomoć pri generiranju politika** – Koristiti LLM‑ove za sastavljanje klauzula pristanka na temelju regulatornih ažuriranja, zatim ih push‑ati u Formize na reviziju.  
2. **Edge‑native generiranje** – Deploy‑ati Gen‑X kao lagani WebAssembly modul na IoT gateway‑e, omogućujući on‑device generiranje sintetičkih podataka s zero‑trust attestacijom.  
3. **Cross‑chain auditing** – Ancorirati Merkle korijene na više blockchainova (Ethereum, Polygon, Solana) radi redundancije i optimizacije troškova.  
4. **Self‑healing pipelinei** – Kombinirati signale neuspjeha validacije s reinforcement learningom za automatsko podešavanje hiperparametara generiranja.

---

## Pogledajte i

- [Zero Trust Architecture for Data Pipelines – NIST SP 800‑207](https://csrc.nist.gov/publications/detail/sp/800-207/final)  
- [Differential Privacy in Synthetic Data – Google Research](https://research.google/pubs/differential-privacy-synthetic-data)  
- [Open Policy Agent (OPA) – Policy as Code](https://www.openpolicyagent.org/)