
# Koostettavat synteettisen datan putkistot Formizella

Synteettinen data on noussut kulmakiveksi yksityisyyttä suojaavien AI-mallien kouluttamisessa, mutta todellinen haaste on **orkestrointi** tuotannossa, validoinnissa ja hallinnossa tavalla, joka skaalautuu, pysyy auditoitavana ja kunnioittaa zero‑trust‑turvallisuutta. Perinteiset monoliittiset putkistot lukitsevat tiimit jäykkiin työnkulkuihin, tekevät säädösten päivityksistä kivuliaita ja haittaavat nopeaa kokeilua.  

Tässä artikkelissa esittelemme **koostettavan putkistoarkkitehtuurin**, joka on rakennettu Formizin low‑code‑työnkulkumoottorin, serverless‑funktioiden ja zero‑trust‑pääsynhallinnan ([NIST CSF](https://www.nist.gov/cyberframework)) päälle. Pilkkomalla synteettisen datan koko elinkaari vaihdettaviksi, uudelleenkäytettäviksi osiksi, organisaatiot voivat:

* **Vaihda generointimalleja** (GANit, diffuusio, LLM‑pohjaiset) ilman, että alasuuntaista logiikkaa täytyy kirjoittaa uudelleen.  
* **Automatisoi validointi** (tilastollinen samankaltaisuus, vinouman havaitseminen, PII‑vuoto) itsenäisinä palveluina.  
* **Pakota hallinto** (dynaaminen suostumus, lisensointi, auditointijäljet) Formizin ohjaamien politiikkojen kautta.  
* **Skaalaa tarpeen mukaan** käyttämällä pilvipohjaisia serverless‑ajoympäristöjä (AWS Lambda, Azure Functions, Google Cloud Run).  

Tuloksena on **plug‑and‑play**‑ekosysteemi, joka nopeuttaa AI-kehitystä pitäen säädösten noudattamisen ja turvallisuuden keskiössä.

---

## 1. Miksi koostettavuus on tärkeää

| Perinteinen monoliitti | Koostettava putkisto |
|------------------------|----------------------|
| Tiukka kytkentä generoinnin, validoinnin ja tallennuksen välillä | Itsensä palvelut kommunikoivat tapahtumavirtojen kautta |
| Koodatut suostumustarkistukset → haavoittuvia säädösten muuttuessa | Politiikka koodina tallennettuna Formiziin, päivittyy välittömästi |
| Skaalaus vaatii suurten virtuaalikoneiden provisionoinnin | Serverless‑funktiot skaalautuvat automaattisesti jokaisen pyynnön mukaan |
| Auditointi hajallaan lokitiedostoissa | Keskitetty muuttumaton auditointijälki Formizin + lohkoketjun kautta |

Siirtyminen monoliitista koostettavaan arkkitehtuuriin heijastaa mikropalveluiden kehitystä web-kehityksessä. Synteettisen datan putkistot hyötyvät samoista periaatteista: **irtonainen kytkentä, itsenäinen käyttöönotto ja sopimuspohjaiset rajapinnat**.

## 2. Keskeiset rakennuspalikat

1. **Data Generation Service (Gen‑X)** – Serverless‑funktio, joka kutsuu valittua synteettisen datan mallia (esim. diffuusiomalli lääketieteelliseen kuvantamiseen). Syöteparametrit (siemen, yksityisyysbudjetti, datakaavio) annetaan Formizin lomakkeen kautta.

2. **Validation Suite (Val‑Y)** – Tilattomien funktioiden kokoelma, joka suorittaa:
   * **Tilastollinen samankaltaisuus** (Kolmogorov‑Smirnov, Wasserstein‑etäisyys).  
   * **Vinouman havaitseminen** (oikeudenmukaisuuden mittarit demografisten segmenttien mukaan).  
   * **PII‑vuotojen skannaus** (nimettyjen entiteettien tunnistus + differentiaalisen yksityisyyden tarkistukset).  

3. **Governance Engine (Gov‑Z)** – Formizin ohjaama politiikkamoottori, joka:
   * Arvioi **dynaamisen suostumuksen** hajautettuihin identiteettitietoihin (DID).  
   * Myöntää **älysopimuslisenssejä** lohkoketjutapahtumassa.  
   * Kirjoittaa **muuttumattomia auditointimerkintöjä** manipulointia kestävään lokiin.

4. **Orchestration Layer** – Tapahtumapohjainen työnkulku, joka on määritelty Formizessa ja yhdistää yllä olevat palvelut käyttäen **Webhooks**, **Message Queues** (esim. AWS SQS) ja **state machines** (AWS Step Functions).

5. **Storage & Catalog** – Salattu objektitallennus (S3, GCS) metatiedoilla, jotka on indeksoitu Formizin datakatalogiin, mahdollistaen löydettävyyden ja perimän seurannan.

## 3. Työnkulun suunnittelu Formizessa

Formize tarjoaa visuaalisen low‑code‑kanvaasin, jossa jokainen lohko esitetään solmuna. Työnkulku voidaan viedä JSON‑määritelmänä ja versionhallita koodin kanssa.

Alla on **Mermaid‑kaavio**, joka havainnollistaa korkean tason virran:

```mermaid
flowchart TD
    A["Formizin suostumuslomake"] -->|Lähetä| B["Käynnistä generointi (Gen‑X)"]
    B --> C["Tallenna raakasyntetinen data"]
    C --> D["Julkaise tapahtuma validointijonoon"]
    D --> E["Validointi (Val‑Y)"]
    E -->|Hyväksytty| F["Päivitä metatiedot katalogissa"]
    E -->|Hylätty| G["Ilmoita tarkastajalle"]
    F --> H["Hallintotarkistus (Gov‑Z)"]
    H --> I["Myönnä lisenssi & kirjaa auditointi"]
    I --> J["Tee data saataville kuluttajille"]
    G --> K["Manuaalinen tarkistuslooppi"]
    K --> B
```

*Kaikki solmunimet on pakattu kaksoislainausmerkkeihin vaatimusten mukaisesti.*

### 3.1. Vaihe‑käsittely

| Vaihe | Toiminto | Teknologia |
|-------|----------|------------|
| 1 | Käyttäjä täyttää Formizin suostumuslomakkeen, valiten datadomainin, yksityisyysbudjetin ja suunnitellun käytön. | Formize UI + hajautettu identiteettitarkistus (DID) |
| 2 | Formize lähettää webhookin **Gen‑X**:lle (AWS Lambda). | Serverless‑funktio (Python) |
| 3 | **Gen‑X** hakee mallin mallirekisteristä (esim. MLflow) ja generoi datasetin. | PyTorch / TensorFlow |
| 4 | Synteettinen tulos tallennetaan salattuun S3‑ämpäriin; metatiedot (kaavio, generointiparametrit) kirjoitetaan Formizin katalogiin. | S3 + Formize API |
| 5 | SQS‑viesti käynnistää **Val‑Y**‑funktiot rinnakkain. | AWS Lambda + SQS |
| 6 | Validointitulokset aggregoidaan; jos jokin tarkistus epäonnistuu, ilmoitus lähetetään Formizin kautta tarkastajalle. | SNS + Formize notifications |
| 7 | Onnistumisen jälkeen **Gov‑Z** arvioi suostumuksen, luo älysopimuslisenssin Ethereumissa ja kirjaa tapahtuman muuttumattomaan kirjanpitoon. | Solidity + Hyperledger Fabric |
| 8 | Lopullinen datapaketti merkitään “Valmiiksi” ja tehdään löydettäväksi Formizin datamarkkinapaikan kautta. | Formize Marketplace API |

## 4. Zero‑trust‑ohjausten toteuttaminen

Zero‑trust tarkoittaa **älä koskaan luota, tarkista aina**. Koostettavassa putkistossa tämä periaate toteutetaan kolmessa kerroksessa:

### 4.1. Identiteettikeskeinen pääsy

* Jokainen pyyntö serverless‑funktiolle sisältää **JWT:n**, jonka on allekirjoittanut pyytäjän DID.  
* Formize validoi tokenin **Vahvistettavan tunnisteen** perusteella, joka koodaa suostumuksen laajuuden ja vanhenemisen.

### 4.2. Politiikka koodina

Hallintopolitiikat tallennetaan **OPA (Open Policy Agent) -sääntöinä** Formiziin. Esimerkkisääntö suostumuksen vanhenemiselle:

```rego
package consent

allow {
    input.consent.expiry > time.now_ns()
    input.consent.scope == "research"
}
```

### 4.3. Päästä‑päästä salaus

* Lepotilassa oleva data on salattu **asiakkaan hallinnoimilla KMS-avaimilla**.  
* Siirrettävä data palveluiden välillä on suojattu **mutuaalisella TLS:llä** (mTLS) ja allekirjoitetuilla payloadeilla.  
* Auditointilokit on hashattu ja ankkuroitu lohkoketjuun, mikä takaa muuttumattomuuden.

## 5. Automaattiset validointitekniikat

### 5.1. Tilastollinen samankaltaisuus

```python
import numpy as np
from scipy.stats import ks_2samp

def ks_distance(real, synthetic):
    return ks_2samp(real, synthetic).statistic
```

Kynnys (esim. 0.05) määritellään Formizessa ja sitä voidaan päivittää ilman koodin uudelleenasennusta.

### 5.2. Vinouman havaitseminen

Fairlearn‑kirjaston käyttö:

```python
from fairlearn.metrics import demographic_parity_difference

def bias_score(labels, predictions, protected):
    return demographic_parity_difference(labels, predictions, sensitive_features=protected)
```

Jos vinouman piste ylittää politiikassa määritellyn rajan, putkisto ohjaa datasetin korjausvaiheeseen (esim. uudelleentasapainotus).

### 5.3. PII‑vuotojen skannaus

Kevyt NER‑malli tunnistaa mahdollisen PII:n, jonka jälkeen **differentiaalisen yksityisyyden** kirjanpito tarkistaa epsilon‑budjetin:

```python
from diffprivlib.mechanisms import Laplace

def pii_check(text, epsilon=1.0):
    # Yksinkertainen token‑määrä token‑budjetin indikaattorina
    noisy_count = Laplace(epsilon=epsilon).randomise(len(text.split()))
    return noisy_count < 100  # mielivaltaisesti turvallinen raja
```

Kaikki validointifunktiot palauttavat **standardoidun JSON**‑payloadin, jonka Formize käyttää päättääkseen seuraavan vaiheen.

## 6. Hallinnon automaatio Formizin avulla

Formizin **työnkulkumoottori** voi automaattisesti:

* **Luo älysopimuslisenssejä**, jotka sisällyttävät käyttörajoituksia (esim. “vain tutkimus, ei kaupallista uudelleenjakelua”).  
* **Liitä vahvistettavat tunnisteet** datasettiin, mahdollistaen alapuolisille kuluttajille todistaa noudattaminen.  
* **Luo muuttumattomia auditointimerkintöjä**, jotka sisältävät: generointiajan leiman, mallin version, yksityisyysbudjetin, validointipisteet ja suostumuksen hashin.

Nämä merkinnät tallennetaan **Merkle‑puuhun**, jonka juurisumma kirjoitetaan säännöllisesti Ethereum‑tapahtumaan, tarjoten manipulointia havaitsevan todistuksen koko putkiston suorituksesta.

## 7. Skaalaus serverless‑ratkaisuilla

Koska jokainen lohko on **tilaton funktio**, skaalaus on lineaarista työmäärän mukaan:

| Kuormitus (datasettiä/tunti) | Gen‑X-instanssit | Val‑Y-instanssit | Gov‑Z-instanssit |
|------------------------------|------------------|------------------|------------------|
| 10 | 2 | 4 | 1 |
| 100 | 12 | 20 | 3 |
| 1 000 | 120 | 200 | 10 |

Serverless‑alustat provisionoivat automaattisesti tarvittavan rinnakkaisuuden, ja Formizin **auto‑retry**‑logiikka takaa täsmälleen‑kerran -käsittelyn myös tilapäisten vikojen aikana.

## 8. Reaaliaikainen esimerkki: Terveydenhuollon tutkimuskonsortio

Moni‑instituutioinen konsortio tarvitsi synteettisiä potilastietueita AI‑ohjatun lääkeaineiden löytämiseen noudattaen samalla [GDPR](https://gdpr.eu/)‑ ja [HIPAA](https://www.hhs.gov/hipaa/index.html)‑vaatimuksia. Ottamalla käyttöön koostettavan putkiston:

1. **Suostumus** kerättiin Formizin lomakkeilla, jotka linkittiin jokaisen osallistujan DID:iin.  
2. **Generointi** käytti ehdollista GANia, joka on koulutettu anonymisoiduilla potilastietueilla (EHR).  
3. **Validointi** havaitsi jäljellä olevan 0,3 % PII‑vuodon; automatisoitu korjausvaihe koulutti mallin uudelleen tiukemmalla epsilonilla.  
4. **Hallinto** myönsi lohkoketjuun perustuvan lisenssin, joka salli vain “ei‑kaupallisen tutkimuksen” ja kirjasi jokaisen datan käytön.

Konsortio vähensi datan saamiseen kuluvan ajan **viikoista tunteihin**, ja auditointivalmistelut sääntelijöille muuttuivat muuttumattomien kirjanpitomerkintöjen esittämiseksi.

## 9. Parhaat käytännöt - tarkistuslista

- **Määritä selkeät sopimukset** putkistolohkojen välillä (syötekaavio, tuloste‑kaavio, virhekoodit).  
- **Versionhallitse politiikkoja** Formizessa; käsittele niitä koodina.  
- **Ota käyttöön ominaisuusliput** kokeellisille generointimalleille, jotta alapuolinen validointi ei rikkoudu.  
- **Seuraa viivettä** jokaisessa vaiheessa; aseta hälytykset Formizessa poikkeavien piikkien varalta.  
- **Kierrätä salausavaimia** säännöllisesti ja tallenna kierrätyspolitiikat Formiziin.  
- **Suorita säännöllisiä säädösten noudattamisen harjoituksia** simuloimalla suostumuksen peruuttamista ja tarkistamalla automaattinen datan eristäminen.

## 10. Tulevaisuuden suuntaukset

1. **AI-avusteinen politiikan luonti** – Käytä LLM:itä laatimaan suostumuslausekkeita säädöspäivitysten perusteella, ja työnnä ne tarkistettavaksi Formiziin.  
2. **Edge‑natiivi generointi** – Deploy Gen‑X kevyenä WebAssembly-moduulina IoT‑yhdyskäytävillä, mahdollistaen laitteessa tapahtuvan synteettisen datan luomisen zero‑trust‑todistuksella.  
3. **Ristiin‑ketju auditointi** – Ankkuroi Merkle‑juuret useille lohkoketjuille (Ethereum, Polygon, Solana) redundanssin ja kustannusoptimoinnin vuoksi.  
4. **Itseparantavat putkistot** – Yhdistä validointivirhesignaalit vahvistusoppimiseen, jotta generointihyperparametreja säädetään automaattisesti.

## Katso myös

- [Zero Trust -arkkitehtuuri datapiipeille – NIST SP 800‑207](https://csrc.nist.gov/publications/detail/sp/800-207/final)  
- [Differentiaalinen yksityisyys synteettisessä datassa – Google Research](https://research.google/pubs/differential-privacy-synthetic-data)  
- [Open Policy Agent (OPA) – Politiikka koodina](https://www.openpolicyagent.org/)