
# Komponovatelné syntetické datové potrubí s Formize

Syntetická data se stala základním kamenem pro trénování modelů AI šetrných k soukromí, ale skutečná výzva spočívá v **orchestraci** generování, validace a správy tak, aby to bylo škálovatelné, auditovatelné a respektovalo bezpečnostní principy zero‑trust. Tradiční monolitické pipeline svazují týmy do rigidních pracovních postupů, činí aktualizace souladnosti bolestivými a brání rychlé experimentaci.  

V tomto článku představujeme **komponovatelnou architekturu pipeline** postavenou na nízkokódovém workflow engine Formize, serverless funkcích a kontrolách zero‑trust ([NIST CSF](https://www.nist.gov/cyberframework)). Rozdělením kompletního životního cyklu syntetických dat na vyměnitelné, znovupoužitelné bloky mohou organizace:

* **Vyměňovat generovací modely** (GAN, difúzní, na LLM založené) bez nutnosti přepisovat downstream logiku.  
* **Automatizovat validaci** (statistická podobnost, detekce biasu, únik PII) jako nezávislé služby.  
* **Vynucovat správu** (dynamický souhlas, licencování, auditní stopy) prostřednictvím politik řízených Formize.  
* **Škálovat na vyžádání** pomocí cloud‑native serverless runtime (AWS Lambda, Azure Functions, Google Cloud Run).  

Výsledkem je **plug‑and‑play** ekosystém, který urychluje vývoj AI a zároveň udržuje soulad a bezpečnost v popředí.

---

## 1. Proč je důležitá komponovatelnost

| Tradiční monolit | Komponovatelná pipeline |
|------------------|------------------------|
| Úzké propojení mezi generováním, validací a úložištěm | Nezávislé služby komunikují přes event streamy |
| Hard‑coded kontroly souhlasu → křehké při změně regulací | Politika jako kód uložená ve Formize, aktualizována okamžitě |
| Škálování vyžaduje provisioning velkých VM | Serverless funkce se automaticky škálují podle požadavku |
| Auditing roztříštěný v logech | Centralizovaná neměnná auditní stopa přes Formize + blockchain |

Posun od monolitu k komponovatelné architektuře odráží evoluci mikroservisů ve vývoji webu. Pipeline pro syntetická data těží ze stejných principů: **volné propojení, nezávislé nasazení a kontrakt‑driven rozhraní**.

---

## 2. Základní stavební bloky

1. **Data Generation Service (Gen‑X)** – Serverless funkce, která spouští vybraný model syntetických dat (např. difúzní model pro medicínské snímky). Vstupní parametry (seed, rozpočet soukromí, schéma dat) jsou dodány přes formulář Formize.

2. **Validation Suite (Val‑Y)** – Kolekce stateless funkcí, které provádějí:  
   * **Statistickou podobnost** (Kolmogorov‑Smirnov, Wasserstein distance).  
   * **Detekci biasu** (fairness metriky podle demografických segmentů).  
   * **Sken úniku PII** (rozpoznávání pojmenovaných entit + kontrola diferencované soukromí).

3. **Governance Engine (Gov‑Z)** – Politický engine řízený Formize, který:  
   * Vyhodnocuje **dynamický souhlas** proti decentralizovaným identitám (DID).  
   * Vydává **smart‑contract licence** na blockchain ledgeru.  
   * Zapisuje **neměnné auditní záznamy** do nezfalšovatelného logu.

4. **Orchestration Layer** – Event‑driven workflow definovaný ve Formize, který propojuje výše uvedené služby pomocí **Webhooks**, **Message Queues** (např. AWS SQS) a **state machines** (AWS Step Functions).

5. **Storage & Catalog** – Šifrované objektové úložiště (S3, GCS) s metadaty indexovanými v datovém katalogu Formize, což umožňuje vyhledatelnost a sledování linie dat.

---

## 3. Návrh workflow ve Formize

Formize poskytuje vizuální low‑code plátno, kde je každý blok reprezentován jako uzel. Workflow lze exportovat jako JSON definici a verzovat spolu s kódem.

Níže je **Mermaid diagram**, který ilustruje vysokou úroveň toku:

```mermaid
flowchart TD
    A["Formize souhlasový formulář"] -->|Odeslat| B["Spustit generování (Gen‑X)"]
    B --> C["Uložit surová syntetická data"]
    C --> D["Publikovat událost do validační fronty"]
    D --> E["Validovat (Val‑Y)"]
    E -->|Projde| F["Aktualizovat metadata v katalogu"]
    E -->|Selže| G["Upozornit recenzenta"]
    F --> H["Kontrola správy (Gov‑Z)"]
    H --> I["Vydat licenci & zaznamenat audit"]
    I --> J["Zpřístupnit data spotřebitelům"]
    G --> K["Manuální revizní smyčka"]
    K --> B
```

*Všechny popisky uzlů jsou uzavřeny v dvojitých uvozovkách, jak je požadováno.*

### 3.1. Krok‑za‑krokem provedení

| Krok | Akce | Technologie |
|------|------|-------------|
| 1 | Uživatel vyplní Formize souhlasový formulář, vybere datovou doménu, rozpočet soukromí a zamýšlené použití. | Formize UI + Decentralizovaná identita (DID) verifikace |
| 2 | Formize odešle webhook do **Gen‑X** (AWS Lambda). | Serverless funkce (Python) |
| 3 | **Gen‑X** načte model z registru modelů (např. MLflow) a vygeneruje dataset. | PyTorch / TensorFlow |
| 4 | Syntetický výstup se uloží do šifrovaného S3 bucketu; metadata (schéma, parametry generování) se zapíší do katalogu Formize. | S3 + Formize API |
| 5 | Zpráva v SQS spustí **Val‑Y** funkce paralelně. | AWS Lambda + SQS |
| 6 | Výsledky validace se agregují; pokud některá kontrola selže, Formize pošle notifikaci recenzentovi. | SNS + Formize notifikace |
| 7 | Po úspěchu **Gov‑Z** vyhodnotí souhlas, vytvoří smart‑contract licenci na Ethereum a zapíše transakci do neměnného ledgeru. | Solidity + Hyperledger Fabric |
| 8 | Finální datový balíček je označen jako „Ready“ a zpřístupněn přes datový marketplace Formize. | Formize Marketplace API |

---

## 4. Implementace zero‑trust kontrol

Zero‑trust znamená **nikdy nevěřit, vždy ověřovat**. V komponovatelné pipeline je tento princip vynucen na třech úrovních:

### 4.1. Identity‑Centric Access

* Každý požadavek na serverless funkci nese **JWT** podepsaný DID žadatele.  
* Formize ověří token proti **Verifiable Credential**, který obsahuje rozsah souhlasu a expiraci.

### 4.2. Policy‑as‑Code

Politiky jsou uloženy jako **OPA (Open Policy Agent) pravidla** uvnitř Formize. Příklad pravidla pro expiraci souhlasu:

```rego
package consent

allow {
    input.consent.expiry > time.now_ns()
    input.consent.scope == "research"
}
```

Když validační krok zkusí zapsat data, engine v reálném čase vyhodnotí pravidlo a odmítne jakoukoli operaci, která souhlas porušuje.

### 4.3. End‑to‑End šifrování

* Data v klidu jsou šifrována pomocí **klíčů spravovaných zákazníkem v KMS**.  
* Data v pohybu mezi službami jsou chráněna **mutual TLS** (mTLS) a podepsanými payloady.  
* Auditní logy jsou hashovány a ukotveny na blockchain, což zaručuje neměnnost.

---

## 5. Automatizované validační techniky

### 5.1. Statistická podobnost

```python
import numpy as np
from scipy.stats import ks_2samp

def ks_distance(real, synthetic):
    return ks_2samp(real, synthetic).statistic
```

Prahová hodnota (např. 0.05) je definována ve Formize a může být aktualizována bez redeploye kódu.

### 5.2. Detekce biasu

Pomocí **Fairlearn**:

```python
from fairlearn.metrics import demographic_parity_difference

def bias_score(labels, predictions, protected):
    return demographic_parity_difference(labels, predictions, sensitive_features=protected)
```

Pokud skóre biasu překročí limit definovaný politikou, pipeline nasměruje dataset do kroku remediace (např. re‑balancování).

### 5.3. Sken úniku PII

Lehký NER model identifikuje potenciální PII, poté **differential privacy** účetní zkontroluje epsilon rozpočet:

```python
from diffprivlib.mechanisms import Laplace

def pii_check(text, epsilon=1.0):
    # Jednoduchý počet tokenů jako proxy pro spotřebu rozpočtu soukromí
    noisy_count = Laplace(epsilon=epsilon).randomise(len(text.split()))
    return noisy_count < 100  # arbitrární bezpečný práh
```

Všechny validační funkce vrací **standardizovaný JSON** payload, který Formize použije k rozhodnutí o dalším kroku.

---

## 6. Automatizace správy pomocí Formize

Workflow engine Formize může automaticky:

* **Generovat smart‑contract licence**, které vkládají omezení použití (např. „pouze výzkum, žádná komerční redistribuce“).  
* **Připojit verifikovatelné credentialy** k datasetu, což umožní downstream spotřebitelům prokázat soulad.  
* **Vytvořit neměnné auditní záznamy**, které zahrnují: čas generování, verzi modelu, rozpočet soukromí, validační skóre a hash souhlasu.

Tyto záznamy jsou uloženy v **Merkle stromu**, jehož kořenový hash je periodicky zapisován do transakce na Ethereum, čímž poskytuje důkaz o nezfalšovatelnosti celého provedení pipeline.

---

## 7. Škálování pomocí serverless

Protože každý blok je **stateless funkce**, škálování je lineární s pracovním zatížením:

| Zátěž (datasetů/hodinu) | Instance Gen‑X | Instance Val‑Y | Instance Gov‑Z |
|--------------------------|----------------|----------------|----------------|
| 10 | 2 | 4 | 1 |
| 100 | 12 | 20 | 3 |
| 1 000 | 120 | 200 | 10 |

Serverless platformy automaticky provisionují požadovanou koncurrency a Formize‑ovo **auto‑retry** zajišťuje exactly‑once zpracování i při dočasných selháních.

---

## 8. Reálný případ použití: Konsorcium pro výzkum ve zdravotnictví

Konsorcium několika institucí potřebovalo syntetické záznamy pacientů pro AI‑driven objevování léků, přičemž muselo splňovat [GDPR](https://gdpr.eu/) i [HIPAA](https://www.hhs.gov/hipaa/index.html). Přijetím komponovatelné pipeline:

1. **Souhlas** byl zachycen pomocí Formize formulářů propojených s DID každého účastníka.  
2. **Generování** použilo podmíněný GAN trénovaný na de‑identifikovaných EHR.  
3. **Validace** odhalila 0,3 % únik PII; automatizovaný remediční krok přetrénoval model s přísnějším epsilon.  
4. **Správa** vydala blockchain‑backed licenci, která umožňovala pouze „nekomerční výzkum“ a zaznamenala každý přístup k datům do neměnné ledgeru.

Konsorcium snížilo čas‑do‑dat z **týdnů na hodiny** a příprava auditu pro regulátory se zredukovala na předložení neměnných ledgerových záznamů.

---

## 9. Kontrolní seznam nejlepších praktik

- **Definujte jasné kontrakty** mezi bloky pipeline (schéma vstupu, výstupu, chybové kódy).  
- **Verzujte politiky** ve Formize; považujte je za kód.  
- **Povolte feature flagy** pro experimentální generovací modely, aby nedošlo k přerušení downstream validace.  
- **Monitorujte latenci** na každé úrovni; nastavte alerty ve Formize pro neobvyklé špičky.  
- **Pravidelně rotujte šifrovací klíče** a uložte politiky rotace ve Formize.  
- **Provádějte periodické cvičení souhlasu** simulací odvolání souhlasu a ověřením automatické karantény dat.

---

## 10. Budoucí směřování

1. **AI‑asistovaná tvorba politik** – Využít LLM k automatickému návrhu souhlasových klauzulí na základě regulatorních aktualizací a poté je pushnout do Formize k revizi.  
2. **Edge‑native generování** – Nasadit Gen‑X jako lehký WebAssembly modul na IoT bránách, což umožní on‑device tvorbu syntetických dat s zero‑trust attestation.  
3. **Cross‑Chain auditování** – Ukotvit Merkle kořeny na více blockchainových sítích (Ethereum, Polygon, Solana) pro redundanci a optimalizaci nákladů.  
4. **Self‑Healing pipeline** – Kombinovat signály selhání validace s reinforcement learningem, aby se automaticky upravovaly hyperparametry generování.

---

## Viz také

- [Zero Trust Architecture for Data Pipelines – NIST SP 800‑207](https://csrc.nist.gov/publications/detail/sp/800-207/final)  
- [Differential Privacy in Synthetic Data – Google Research](https://research.google/pubs/differential-privacy-synthetic-data)  
- [Open Policy Agent (OPA) – Policy as Code](https://www.openpolicyagent.org/)