
# Muuttumaton synteettisen datan versiointi ja auditoitava perimä lohkoketjulla tuetuilla datasopimuksilla

Synteettinen data on noussut modernin tekoälyn kehityksen kulmakiveksi, mahdollistaen yksityisyyttä suojaavan mallin koulutuksen, nopean prototypoinnin ja vinouman vähentämisen. Kuitenkin kun synteettisten dataputkien monimutkaisuus kasvaa – kattaen useita tiimejä, pilviympäristöjä ja reunalaitteita – organisaatioilla on vaikeuksia vastata kahteen peruskysymykseen:

1. **Mikä synteettisen tietojoukon versio käytettiin tietyn mallin kouluttamiseen?**  
2. **Voimmeko todistaa, että datan generointiprosessi noudatti sääntely- ja eettisiä käytäntöjä?**

Perinteiset datakatalogiratkaisut perustuvat muokattaviin metatietovarastoihin, jotka ovat alttiita vahingossa tapahtuville ylikirjoituksille, sisäiselle manipuloinnille ja hajanaisille auditointijäljille. Tässä artikkelissa esittelemme **lohkoketjulla tuetun datasopimusarkkitehtuurin**, joka tarjoaa **muuttumattoman versioinnin**, **kryptografisesti tarkistettavan perimän** ja **automaattisen vaatimustenmukaisuuden raportoinnin** synteettiselle datalle. Lähestymistapa perustuu kolmeen pilariin:

* **Muuttumaton kirjanpito** – Luvanvarainen lohkoketju tallentaa jokaisen datasopimuksen transaktion, taaten manipulointitodistuksen.  
* **Älysopimuksiin perustuvat datasopimukset** – Itseajavat sopimukset koodaavat generointiparametrit, suostumuskuitti ja politiikkarajoitteet.  
* **Automaattinen perimän poiminta** – Tapahtumapohjaiset agentit muuntavat sopimustilan yhtenäiseksi perimägraafiksi, jota MLOps‑työkalut voivat kysyä.

Oppaan lopussa ymmärrät kokonaisprosessin, näet konkreettisen toteutuksen Hyperledger Fabricin ja Formizen avulla, ja opit, miten integroida ratkaisu CI/CD‑putkiin jatkuvan vaatimustenmukaisuuden saavuttamiseksi.

## 1. Miksi muuttumaton versiointi on tärkeää synteettiselle datalle

Synteettiset dataputket sisältävät tyypillisesti seuraavat vaiheet:

1. **Lähdedatan keräys** – Todellista dataa kerätään suostumuksen ja yksityisyyskäytäntöjen mukaisesti.  
2. **Yksityisyyden muunnos** – Differentiaalinen yksityisyys, GAN-mallit tai diffuusio-mallit tuottavat synteettisiä tietueita.  
3. **Laatutarkastus** – Tilastolliset testit, vinouman havaitseminen ja hyödyllisyyden arviointi varmistavat tuloksen.  
4. **Jakelu** – Tietojoukot tallennetaan datalähteisiin, jaetaan API:en kautta tai syötetään suoraan koulutustehtäviin.

Jokainen vaihe voi tuottaa useita **iteraatioita** (esim. hyperparametrien haku, mallipäivitykset). Ilman muuttumatonta versiointia:

* **Mallin toistettavuus heikkenee** – Tiimit eivät voi luotettavasti toistaa mallia, joka on koulutettu “Dataset v3.2” -versiolla.  
* **Sääntelyriski kasvaa** – Auditoijat eivät voi varmistaa, että tietojoukko noudatti [GDPR](https://gdpr.eu/)‑ tai [HIPAA](https://www.hhs.gov/hipaa/index.html)‑vaatimuksia käytön hetkellä.  
* **Datan alkuperän aukkoja** – Kun vinoumaongelma ilmenee, tarkka generointiparametrien jäljittäminen vie aikaa.

Muuttumaton kirjanpito ratkaisee nämä ongelmat tarjoamalla **yksittäisen totuuden lähteen**, jota ei voida muuttaa jälkikäteen.

## 2. Keskeinen arkkitehtuurin yleiskatsaus

Alla on korkean tason kaavio ehdotetusta arkkitehtuurista. Kaavio on esitetty Mermaid‑syntaksilla, jonka Hugo voi renderöidä automaattisesti.

```mermaid
graph LR
    subgraph Edge
        A["Real‑world Data Source"]
        B["Consent Management (Formize)"]
    end
    subgraph Core
        C["Synthetic Data Engine"]
        D["Data Contract Smart‑Contract"]
        E["Permissioned Blockchain"]
        F["Lineage Service"]
        G["CI/CD Pipeline"]
        H["Model Registry"]
    end
    subgraph Consumers
        I["Training Job"]
        J["Audit Dashboard"]
    end

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    F --> J
```

**Keskeiset vuorovaikutukset**

* **Suostumuksen hallinta (Formize)** kerää käyttäjän suostumuksen ja lähettää allekirjoitetun kuitin, joka tallennetaan ketjuun.  
* **Synteettisen datan moottori** (esim. GAN tai diffuusio-malli) lukee kuitin, tuottaa dataa ja kutsuu **datasopimusta** generointiparametreilla.  
* **Datasopimus** kirjoittaa transaktion **luvanvaraiselle lohkoketjulle**, luoden muuttumattoman tietueen, joka sisältää:
  * Tietojoukon hash  
  * Generointialgoritmin versio  
  * Hyperparametrit  
  * Suostumuskuittauksen viite  
  * Politiikan noudattamisen liput  
* **Perimäpalvelu** tilaa lohkoketjun tapahtumia, rakentaa suunnatun syklittömän graafin (DAG) tietojoukon versioista ja tarjoaa GraphQL‑rajapinnan.  
* **CI/CD‑putki** hakee viimeisimmän tietojoukon version hashin kirjanpidosta ennen koulutustehtävän käynnistämistä, taaten toistettavuuden.  
* **Auditointipaneeli** visualisoi perimägraafin ja tarjoaa viedtäviä vaatimustenmukaisuuden raportteja.

## 3. Datasopimukset älysopimuksina

**Datasopimus** on kevyt älysopimus, joka kapseloi koko synteettisen datan generointikontekstin. Alla on yksinkertaistettu Solidity‑tyylinen pseudokoodi, joka voidaan kääntää Hyperledger Fabric -ketjukoodiksi.

```solidity
contract SyntheticDataContract {
    struct GenerationRecord {
        string datasetHash;          // SHA‑256 of the generated dataset
        string algorithmId;          // e.g., "GAN_v2.1"
        string hyperParams;         // JSON string of hyper‑parameters
        string consentTxId;          // Blockchain tx ID of the consent receipt
        uint256 timestamp;           // Unix epoch
        bytes32 policyDigest;        // Hash of the compliance policy applied
    }

    mapping(string => GenerationRecord) public records; // key = datasetHash

    event DataGenerated(string indexed datasetHash, address indexed generator);

    function registerGeneration(
        string memory _datasetHash,
        string memory _algorithmId,
        string memory _hyperParams,
        string memory _consentTxId,
        bytes32 _policyDigest
    ) public {
        require(bytes(_datasetHash).length > 0, "Invalid hash");
        GenerationRecord memory rec = GenerationRecord({
            datasetHash: _datasetHash,
            algorithmId: _algorithmId,
            hyperParams: _hyperParams,
            consentTxId: _consentTxId,
            timestamp: block.timestamp,
            policyDigest: _policyDigest
        });
        records[_datasetHash] = rec;
        emit DataGenerated(_datasetHash, msg.sender);
    }

    function getRecord(string memory _datasetHash) public view returns (GenerationRecord memory) {
        return records[_datasetHash];
    }
}
```

### Miksi tämä suunnittelu toimii

* **Manipulointitodistus** – Kun `registerGeneration` kutsutaan, tietue on muuttumaton kirjanpidossa.  
* **Itsekuvaava** – Kaikki olennaiset metatiedot tallennetaan yhteen transaktioon, poistaen tarpeen ulkoisille metatietovarastoille.  
* **Politiikkayhteys** – `policyDigest` yhdistää tietojoukon tiettyyn vaatimustenmukaisuuden politiikkaversioon, mahdollistaen automaattisen politiikan poikkeamien havaitsemisen.

## 4. Formizen integrointi suostumuksen ja politiikan hallintaan

Formize loistaa **dynaamisen suostumuksen keräämisessä** ja **politiikan versioinnissa**. Integraatiovirta on:

1. **Suostumuksen kerääminen** – Käyttäjä täyttää Formize‑verkkolomakkeen; alusta allekirjoittaa kuitin hajautetulla tunnisteella (DID) ja kirjoittaa kuitin lohkoketjuun.  
2. **Politiikan haku** – Ennen datan generointia synteettinen moottori kysyy Formizelta aktiivisen yksityisyyspolitiikan (esim. GDPR‑Artikla‑6‑1‑a) ja saa sen hashin.  
3. **Sopimuksen kutsuminen** – Moottori välittää suostumuksen transaktion ID:n ja politiikan hashin datasopimukselle.

Tämä tiukka kytkentä varmistaa, että jokainen synteettinen tietojoukko on **kryptografisesti linkitetty** tarkkaan suostumukseen ja politiikkaan, joka ohjasi sen luomista.

## 5. Automaattinen perimän poimintapalvelu

**Perimäpalvelu** on Go:lla (tai Rustilla) kirjoitettu mikropalvelu, joka tilaa lohkoketjun tapahtumia Fabric‑SDK:n kautta. Sen vastuut:

* **Tapahtumankuuntelija** – `DataGenerated`‑tapahtumissa haetaan koko `GenerationRecord`.  
* **Graafin rakentaminen** – Lisätään solmu Neo4j‑ tai JanusGraph‑tietokantaan, linkaten sen vanhempaan tietojoukkoon (jos on) `DERIVED_FROM`‑reunan kautta.  
* **Versioiden merkintä** – Annetaan semanttiset versiot (`v1.0.0`, `v1.1.0`) algoritmin tai hyperparametrien muutosten perusteella.  
* **API:n tarjoaminen** – Tarjotaan GraphQL‑rajapinta alapuolisille työkaluille (CI/CD, auditointikäyttöliittymä).

```graphql
query Lineage($hash: String!) {
  dataset(hash: $hash) {
    hash
    algorithmId
    generatedAt
    parent {
      hash
      algorithmId
    }
    children {
      hash
      algorithmId
    }
  }
}
```

## 6. CI/CD‑integraatio toistettavien mallien koulutukseen

Muuttumattoman versioinnin sisällyttäminen CI/CD‑putkiin takaa, että **jokainen mallin rakennus on toistettavissa**. Alla on tyypillinen GitHub Actions -työnkulun koodinpätkä:

```yaml
name: Train Model
on:
  push:
    branches: [ main ]

jobs:
  train:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      - name: Resolve dataset version
        id: dataset
        run: |
          HASH=$(curl -s https://lineage.api.company.com/dataset/latest | jq -r .hash)
          echo "DATASET_HASH=$HASH" >> $GITHUB_ENV

      - name: Pull dataset from storage
        run: |
          aws s3 cp s3://synthetic-data/${{ env.DATASET_HASH }} ./data.csv

      - name: Train model
        run: |
          python train.py --data data.csv --output model.pkl

      - name: Register model artifact
        run: |
          curl -X POST -H "Content-Type: application/json" \
            -d '{"modelHash":"'"$(sha256sum model.pkl | cut -d' ' -f1)"'","datasetHash":"${{ env.DATASET_HASH }}"}' \
            https://model-registry.api.company.com/register
```

* Työnkulku **kysyy Perimäpalvelulta** viimeisimmän tietojoukon hashin, varmistaen että tarkka käytetty versio tallennetaan.  
* Koulutuksen jälkeen mallin artefakti rekisteröidään yhdessä tietojoukon hashin kanssa, luoden **kaksisuuntaisen linkin** mallin ja datan välillä.

## 7. Auditoitava vaatimustenmukaisuuden raportointi

Sääntelijät vaativat yhä enemmän **reaaliaikaista todistetta**, että synteettiset dataputket noudattavat yksityisyys- ja oikeudenmukaisuusrajoituksia. Lohkoketjulla tuetun arkkitehtuurin avulla vaatimustenmukaisuuden raportin luominen on pelkkä kirjanpidon kysely.

```python
import json
from web3 import Web3
from reportlab.lib.pagesizes import letter
from reportlab.pdfgen import canvas

w3 = Web3(Web3.HTTPProvider("https://fabric-node.company.com"))
contract = w3.eth.contract(address="0xABC123...", abi=contract_abi)

def fetch_record(dataset_hash):
    return contract.functions.getRecord(dataset_hash).call()

def generate_report(dataset_hash, filename):
    rec = fetch_record(dataset_hash)
    c = canvas.Canvas(filename, pagesize=letter)
    c.drawString(72, 720, f"Dataset Hash: {rec[0]}")
    c.drawString(72, 700, f"Algorithm ID: {rec[1]}")
    c.drawString(72, 680, f"Hyper‑Parameters: {rec[2]}")
    c.drawString(72, 660, f"Consent Tx ID: {rec[3]}")
    c.drawString(72, 640, f"Policy Digest: {rec[5].hex()}")
    c.save()

generate_report("0xdeadbeef...", "audit_report.pdf")
```

Tuloksena syntyy PDF‑raportti, jossa on **kryptografiset viitteet**, jotka auditorit voivat tarkistaa julkisesta kirjanpidosta, mikä vähentää merkittävästi tarkastuksen kestoa.

## 8. Turvallisuus- ja suorituskykyhuomiot

| Näkökohta                | Suositus                                                                 |
|--------------------------|--------------------------------------------------------------------------|
| **Luvanvaraisuus**       | Käytä **luvanvaraista** lohkoketjua (Hyperledger Fabric tai Corda) rajoittaaksesi kirjoitusoikeudet vain luotettaville palveluille. |
| **Datan yksityisyys**    | Tallenna ketjuun vain **hashit** ja metatiedot; varsinainen synteettinen tietojoukko säilyy salatussa objektitallennuksessa. |
| **Skalautuvuus**         | Ryhmittele useita `registerGeneration`‑kutsuja yhdeksi lohkoksi transaktiokustannusten vähentämiseksi. |
| **Avainhallinta**        | Hyödynnä laitteistoturvamoduuleja (HSM) suostumuskuittien ja sopimuskutsujen allekirjoittamiseen. |
| **Katastrofipalautuminen**| Monista kirjanpito useisiin datakeskuksiin ja ota käyttöön graafitietokannan tilannevedokset. |

## 9. Todellinen esimerkki: Terveydenhuollon tutkimuskonsortio

Monialainen terveydenhuollon tutkimuskonsortio tarvitsi jakaa synteettisiä potilastietoja noudattaen [HIPAA](https://www.hhs.gov/hipaa/index.html)‑ ja [GDPR](https://gdpr.eu/)‑vaatimuksia. Ottamalla käyttöön lohkoketjulla tuetun datasopimusmallin:

* **Versioiden jäljitettävyys** mahdollisti tutkijoille julkaistun mallin tarkkaan toistamisen kolme vuotta myöhemmin.  
* **Suostumuksen linkitys** varmisti, että jokainen suostumuksensa perunut potilas aiheutti automaattisen peruutustapahtuman, jonka Perimäpalvelu levitti alapuolisiin tietojoukkoihin.  
* **Sääntelyauditointi** saatiin päätökseen yhdessä päivässä viikkojen sijaan, koska auditoinnin tekijä pystyi lataamaan muuttumattoman kirjanpidon ja tarkistamaan jokaisen tietojoukon version.

Konsortio raportoi **40 %:n vähennyksen vaatimustenmukaisuuskustannuksissa** ja **30 %:n nopeutumisen** mallin kehityssykleissä.

## 10. Aloittaminen – Minimalistinen prototyyppi

1. **Asenna paikallinen Fabric‑verkko** käyttäen virallisia Docker‑esimerkkejä.  
2. **Käytä `SyntheticDataContract`‑ketjukoodia** (katso kohta 3).  
3. **Asenna Formize** ja määritä suostumuslomake, joka kirjoittaa kuitit samaan Fabric‑kanavaan.  
4. **Toteuta yksinkertainen Perimäpalvelu** Go:lla, joka kuuntelee `DataGenerated`‑tapahtumia ja tallentaa solmut muistissa olevaan karttaan.  
5. **Suorita synteettisen datan generaattori** (esim. esikoulutettu CTGAN), joka kutsuu `registerGeneration` jokaisen suorituksen jälkeen.  
6. **Kysy kirjanpitoa** varmistaaksesi, että jokainen tietojoukon versio on muuttumaton.

Tämä hiekkalaatikko tarjoaa proof‑of‑conceptin, jonka voi skaalata tuotantoon lisäämällä pysyvän graafitietokannan, roolipohjaisen pääsynhallinnan ja integraation olemassa oleviin MLOps‑alustoihin kuten Kubeflow tai MLflow.

## 11. Tulevaisuuden suuntaukset

* **Zero‑knowledge‑todistukset** – Upota zk‑SNARKit datasopimukseen todistaaksesi, että tietojoukko täyttää yksityisyysbudjetin paljastamatta itse dataa.  
* **Ristiketju‑yhteentoimivuus** – Käytä Cosmos IBC‑ tai Polkadot‑siltoja jakamaan synteettisen datan perimä organisaatiorajojen yli säilyttäen suvereniteetin.  
* **AI‑ohjattu politiikan kehitys** – Hyödynnä LLM-malleja ehdottamaan automaattisesti politiikkapäivityksiä havaittujen synteettisen datan laadun tai vinouman mittareiden poikkeamien perusteella.

## Katso myös

- [Hyperledger Fabric -dokumentaatio](https://hyperledger-fabric.readthedocs.io) – Virallinen opas luvanvaraisten lohkoketjujen rakentamiseen.  
- [Formize‑suostumuksen hallintaplatform](https://formize.com/consent) – Kuinka Formize käsittelee hajautettua identiteettiä ja dynaamista suostumusta.  
- [Zero‑knowledge‑todistukset yksityisyyttä suojaavassa tekoälyssä](https://zokrates.github.io) – Johdanto zk‑SNARKeihin ja niiden sovelluksiin synteettisessä datassa.