
# Neizmjenjivo verzioniranje sintetičkih podataka i provjerljivo porijeklo uz blockchain podržane ugovore o podacima

Sintetički podaci postali su temelj modernog razvoja AI‑ja, omogućujući privatnost‑orijentirano treniranje modela, brzu prototipizaciju i ublažavanje pristranosti. Međutim, kako pipeline‑ovi sintetičkih podataka postaju sve složeniji — obuhvaćajući više timova, cloud regija i edge uređaja — organizacije se bore s odgovorom na dva temeljna pitanja:

1. **Koja je verzija sintetičkog skupa podataka korištena za treniranje određenog modela?**  
2. **Možemo li dokazati da je proces generiranja podataka bio u skladu s regulatornim i etičkim politikama?**

Tradicionalna rješenja za katalog podataka oslanjaju se na promjenjive spremišta metapodataka koja su podložna slučajnim prepisivanjima, unutarnjem manipuliranju i fragmentiranim revizijskim zapisima. U ovom članku predstavljamo **arhitekturu ugovora o podacima potporanu blockchainu** koja pruža **neizmjenjivo verzioniranje**, **kriptografski provjerljivo porijeklo** i **automatizirano izvještavanje o usklađenosti** za sintetičke podatke. Pristup se temelji na tri stupa:

* **Neizmjenjiva knjiga** – Permissioned blockchain bilježi svaku transakciju ugovora o podacima, jamčeći otkrivanje manipulacije.  
* **Pametni ugovori za podatke** – Samo‑izvršavajući ugovori kodiraju parametre generiranja, potvrde pristanka i ograničenja politika.  
* **Automatizirano izvlačenje porijekla** – Agenti pokrenuti događajima pretvaraju stanje ugovora u jedinstveni graf porijekla koji mogu upiti MLOps alati.

Do kraja ovog vodiča razumjet ćete cjelokupni tok, vidjet ćete konkretnu implementaciju koristeći Hyperledger Fabric i Formize, te naučiti kako integrirati rješenje u CI/CD pipeline‑ove za kontinuiranu usklađenost.

---

## 1. Zašto je neizmjenjivo verzioniranje važno za sintetičke podatke

Pipeline‑ovi sintetičkih podataka obično uključuju sljedeće faze:

1. **Ingestija izvornog podataka** – Podaci iz stvarnog svijeta prikupljaju se uz pristanak i politike privatnosti.  
2. **Transformacija privatnosti** – Diferencijalna privatnost, GAN‑ovi ili difuzijski modeli generiraju sintetičke zapise.  
3. **Kontrola kvalitete** – Statistički testovi, otkrivanje pristranosti i ocjenjivanje korisnosti validiraju izlaz.  
4. **Distribucija** – Skupovi podataka pohranjuju se u data lake‑ove, dijele putem API‑ja ili se izravno prosljeđuju treniranjima.

Svaka faza može proizvesti više **iteracija** (npr. pretraga hiper‑parametara, ažuriranja modela). Bez neizmjenjivog verzioniranja:

* **Reproduktivnost modela trpi** — Timovi ne mogu pouzdano reproducirati model koji je treniran na “Dataset v3.2”.  
* **Rizik od regulatornih sankcija raste** — Revizori ne mogu provjeriti da li je skup podataka bio u skladu s [GDPR](https://gdpr.eu/) ili [HIPAA](https://www.hhs.gov/hipaa/index.html) u trenutku korištenja.  
* **Praznine u porijeklu podataka** — Kada se pojavi problem s pristranošću, vraćanje na točne parametre generiranja je vremenski zahtjevno.

Neizmjenjiva knjiga rješava ove probleme pružajući **jedinstveni izvor istine** koji se ne može retroaktivno mijenjati.

---

## 2. Pregled osnovne arhitekture

Dolje je prikazan visokorazinski dijagram predložene arhitekture. Dijagram je napisan u Mermaid sintaksi, koju Hugo može automatski renderirati.

```mermaid
graph LR
    subgraph Edge
        A["Izvor podataka iz stvarnog svijeta"]
        B["Upravljanje pristankom (Formize)"]
    end
    subgraph Core
        C["Motor sintetičkih podataka"]
        D["Pametni ugovor za podatke"]
        E["Dozvoljeni blockchain"]
        F["Usluga porijekla"]
        G["CI/CD cjevovod"]
        H["Registar modela"]
    end
    subgraph Consumers
        I["Zadatak treniranja"]
        J["Nadzorna ploča revizije"]
    end

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    F --> J
```

**Ključne interakcije**

* **Upravljanje pristankom (Formize)** prikuplja pristanak korisnika i emitira potpisani zapis koji se pohranjuje na lanac.  
* **Motor sintetičkih podataka** (npr. GAN ili difuzijski model) čita zapis, generira podatke i poziva **Pametni ugovor za podatke** s parametrima generiranja.  
* **Pametni ugovor** zapisuje transakciju na **Dozvoljeni blockchain**, stvarajući neizmjenjiv zapis koji uključuje:
  * Hash skupa podataka
  * Verziju algoritma generiranja
  * Hiper‑parametre
  * Referencu na zapis pristanka
  * Zastavice usklađenosti politika  
* **Usluga porijekla** pretplaćuje se na blockchain događaje, gradi usmjereni aciklični graf (DAG) verzija skupova podataka i izlaže GraphQL API.  
* **CI/CD cjevovod** povlači najnoviji hash skupa podataka s knjige prije pokretanja zadatka treniranja, jamčeći reproduktivnost.  
* **Nadzorna ploča revizije** vizualizira graf porijekla i pruža izvozive izvještaje o usklađenosti.

---

## 3. Ugovori o podacima kao pametni ugovori

**Ugovor o podacima** je lagani pametni ugovor koji enkapsulira cijeli kontekst generiranja sintetičkih podataka. Ispod je pojednostavljeni Solidity‑sličan pseudo‑kod koji se može kompilirati za Hyperledger Fabric chaincode.

```solidity
contract SyntheticDataContract {
    struct GenerationRecord {
        string datasetHash;          // SHA‑256 hash generiranog skupa podataka
        string algorithmId;          // npr. "GAN_v2.1"
        string hyperParams;         // JSON string hiper‑parametara
        string consentTxId;          // ID transakcije zapisa pristanka na blockchainu
        uint256 timestamp;           // Unix epoch
        bytes32 policyDigest;        // Hash primijenjene politike usklađenosti
    }

    mapping(string => GenerationRecord) public records; // ključ = datasetHash

    event DataGenerated(string indexed datasetHash, address indexed generator);

    function registerGeneration(
        string memory _datasetHash,
        string memory _algorithmId,
        string memory _hyperParams,
        string memory _consentTxId,
        bytes32 _policyDigest
    ) public {
        require(bytes(_datasetHash).length > 0, "Invalid hash");
        GenerationRecord memory rec = GenerationRecord({
            datasetHash: _datasetHash,
            algorithmId: _algorithmId,
            hyperParams: _hyperParams,
            consentTxId: _consentTxId,
            timestamp: block.timestamp,
            policyDigest: _policyDigest
        });
        records[_datasetHash] = rec;
        emit DataGenerated(_datasetHash, msg.sender);
    }

    function getRecord(string memory _datasetHash) public view returns (GenerationRecord memory) {
        return records[_datasetHash];
    }
}
```

**Zašto ovaj dizajn funkcionira**

* **Otkrivanje manipulacije** — Nakon što se pozove `registerGeneration`, zapis postaje neizmjenjiv na knjizi.  
* **Samoodređivanje** — Svi relevantni metapodaci pohranjeni su u jednoj transakciji, čime se eliminira potreba za vanjskim spremištima metapodataka.  
* **Povezivanje politika** — `policyDigest` povezuje skup podataka s određenom verzijom politike usklađenosti, omogućujući automatizirano otkrivanje pomaka politika.

---

## 4. Integracija Formizea za upravljanje pristankom i politikama

Formize se ističe u **dinamičkom prikupljanju pristanka** i **verziranju politika**. Tok integracije je:

1. **Prikupljanje pristanka** — Korisnik ispunjava web obrazac u Formizeu; platforma potpisuje zapis decentraliziranim identifikatorom (DID) i zapisuje ga na blockchain.  
2. **Dohvat politike** — Prije generiranja podataka, motor sintetičkih podataka upita Formize za aktivnu politiku privatnosti (npr. GDPR‑Article‑6‑1‑a) i dobije njen hash.  
3. **Poziv ugovora** — Motor prosljeđuje ID transakcije pristanka i hash politike u pametni ugovor.

Ovo čvrsto povezivanje osigurava da je svaki sintetički skup podataka **kriptografski povezan** s točnim pristankom i politikom koja je upravljala njegovim stvaranjem.

---

## 5. Usluga automatiziranog izvlačenja porijekla

**Usluga porijekla** je mikroservis napisan u Go‑u (ili Rust‑u) koji se pretplaćuje na blockchain događaje putem Fabric SDK‑a. Njegove odgovornosti:

* **Slušatelj događaja** — Na `DataGenerated` događaje dohvaća cijeli `GenerationRecord`.  
* **Izgradnja grafa** — Ubacuje čvor u Neo4j ili JanusGraph bazu, povezujući ga s roditeljskim skupom podataka (ako postoji) putem `DERIVED_FROM` veze.  
* **Označavanje verzija** — Dodjeljuje semantičke verzije (`v1.0.0`, `v1.1.0`) na temelju promjena u algoritmu ili hiper‑parametrima.  
* **Izlaganje API‑ja** — Pruža GraphQL endpoint za downstream alate (CI/CD, UI revizije).

Primjer upita za dohvat kompletnog porijekla skupa podataka:

```graphql
query Lineage($hash: String!) {
  dataset(hash: $hash) {
    hash
    algorithmId
    generatedAt
    parent {
      hash
      algorithmId
    }
    children {
      hash
      algorithmId
    }
  }
}
```

---

## 6. Integracija CI/CD za reproduktivno treniranje modela

Ugradnja neizmjenjivog verzioniranja u CI/CD jamči da je **svaka izgradnja modela reproducibilna**. Ispod je tipičan isječak GitHub Actions workflow‑a:

```yaml
name: Train Model
on:
  push:
    branches: [ main ]

jobs:
  train:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      - name: Resolve dataset version
        id: dataset
        run: |
          HASH=$(curl -s https://lineage.api.company.com/dataset/latest | jq -r .hash)
          echo "DATASET_HASH=$HASH" >> $GITHUB_ENV

      - name: Pull dataset from storage
        run: |
          aws s3 cp s3://synthetic-data/${{ env.DATASET_HASH }} ./data.csv

      - name: Train model
        run: |
          python train.py --data data.csv --output model.pkl

      - name: Register model artifact
        run: |
          curl -X POST -H "Content-Type: application/json" \
            -d '{"modelHash":"'"$(sha256sum model.pkl | cut -d' ' -f1)"'","datasetHash":"${{ env.DATASET_HASH }}"}' \
            https://model-registry.api.company.com/register
```

Ključne točke:

* Workflow **upita Uslugu porijekla** za najnoviji hash skupa podataka, osiguravajući da se točno korištena verzija evidentira.  
* Nakon treniranja, artefakt modela registrira se zajedno s hash‑om skupa podataka, stvarajući **dvosmjernu poveznicu** između modela i podataka.

---

## 7. Revizijski izvještaji o usklađenosti

Regulatorna tijela sve više zahtijevaju **dokaze u stvarnom vremenu** da pipeline‑ovi sintetičkih podataka poštuju pravila privatnosti i pravičnosti. Uz blockchain‑potporu, generiranje revizijskog izvještaja postaje pitanje upita knjige.

Primjer Python skripte koja generira PDF revizijski izvještaj:

```python
import json
from web3 import Web3
from reportlab.lib.pagesizes import letter
from reportlab.pdfgen import canvas

w3 = Web3(Web3.HTTPProvider("https://fabric-node.company.com"))
contract = w3.eth.contract(address="0xABC123...", abi=contract_abi)

def fetch_record(dataset_hash):
    return contract.functions.getRecord(dataset_hash).call()

def generate_report(dataset_hash, filename):
    rec = fetch_record(dataset_hash)
    c = canvas.Canvas(filename, pagesize=letter)
    c.drawString(72, 720, f"Dataset Hash: {rec[0]}")
    c.drawString(72, 700, f"Algorithm ID: {rec[1]}")
    c.drawString(72, 680, f"Hyper‑Parameters: {rec[2]}")
    c.drawString(72, 660, f"Consent Tx ID: {rec[3]}")
    c.drawString(72, 640, f"Policy Digest: {rec[5].hex()}")
    c.save()

generate_report("0xdeadbeef...", "audit_report.pdf")
```

Rezultirajući PDF sadrži **kriptografske reference** koje revizori mogu provjeriti na javnoj knjizi, značajno skraćujući vrijeme potrebno za provjeru usklađenosti.

---

## 8. Sigurnosni i performansni aspekti

| Aspekt               | Preporuka                                                                 |
|----------------------|---------------------------------------------------------------------------|
| **Dozvoljivanje**    | Koristite **permissioned blockchain** (Hyperledger Fabric ili Corda) kako biste ograničili pravo pisanja na pouzdane servise. |
| **Privatnost podataka** | Na lanac pohranjujte samo **hash‑e** i metapodatke; stvarni sintetički skupovi ostaju u šifriranom objekt‑storageu. |
| **Skalabilnost**     | Grupirajte više `registerGeneration` poziva u jedan blok kako biste smanjili opterećenje transakcija. |
| **Upravljanje ključevima** | Iskoristite HSM‑ove za potpisivanje zapisa pristanka i poziva ugovora. |
| **Oporavak od katastrofe** | Replicirajte knjigu kroz više podatkovnih centara i omogućite snapshot backup‑ove graf baze. |

---

## 9. Primjer iz prakse: Konsorcij za zdravstvena istraživanja

Konzorcij koji okuplja više zdravstvenih institucija trebao je dijeliti sintetičke pacijentske zapise uz poštivanje [HIPAA](https://www.hhs.gov/hipaa/index.html) i [GDPR](https://gdpr.eu/). Primjenom modela ugovora o podacima potporanog blockchainu:

* **Praćenje verzija** omogućilo je istraživačima da točno reproduciraju objavljeni model tri godine kasnije.  
* **Povezivanje pristanka** osiguralo je da se svaki pacijent koji povuče svoj pristanak automatski ukloni iz svih izvedenih skupova podataka.  
* **Revizija** je završena u jednom danu umjesto tjedana, jer je revizoru bilo dovoljno preuzeti neizmjenjivu knjigu i provjeriti svaki skup podataka.

Konzorcij je zabilježio **40 % smanjenje troškova usklađenosti** i **30 % ubrzanje ciklusa razvoja modela**.

---

## 10. Kako započeti — Minimalni prototip

1. **Postavite lokalnu Fabric mrežu** koristeći službene Docker primjere.  
2. **Implementirajte `SyntheticDataContract` chaincode** (pogledajte odjeljak 3).  
3. **Instalirajte Formize** i konfigurirajte obrazac za pristanak koji zapisuje zapise na isti Fabric kanal.  
4. **Izradite jednostavnu Uslugu porijekla** u Go‑u koja sluša `DataGenerated` događaje i pohranjuje čvorove u memorijsku strukturu.  
5. **Pokrenite generator sintetičkih podataka** (npr. pre‑trenirani CTGAN) koji poziva `registerGeneration` nakon svakog pokretanja.  
6. **Upitajte knjigu** kako biste provjerili da je svaka verzija skupa podataka neizmjenjiva.

Ovaj sandbox pruža proof‑of‑concept koji se može skalirati u produkciju dodavanjem trajne graf baze, kontrole pristupa po ulogama i integracije s postojećim MLOps platformama poput Kubeflowa ili MLflow.

---

## 11. Smjerovi za budućnost

* **Zero‑Knowledge dokazi** — Ugradite zk‑SNARK‑ove u ugovor o podacima kako biste dokazali da skup podataka zadovoljava privatni budžet bez otkrivanja samih podataka.  
* **Međulančana interoperabilnost** — Iskoristite Cosmos IBC ili Polkadot mostove za dijeljenje porijekla sintetičkih podataka preko organizacijskih granica uz očuvanje suvereniteta.  
* **AI‑vođeno evoluiranje politika** — Upotrijebite LLM‑ove za automatsko predlaganje ažuriranja politika na temelju otkrivenih pomaka u kvaliteti ili pristranosti sintetičkih podataka.  

Kontinuiranim proširivanjem neizmjenjive arhitekture ugovora o podacima, organizacije mogu ostati ispred novih regulatornih zahtjeva i održati povjerenje u AI sustave koji se oslanjaju na sintetičke podatke.