
# Neměnná verze syntetických dat a auditovatelná linie s blockchainovými datovými smlouvami

Syntetická data se stala základním kamenem moderního vývoje AI, umožňují trénování modelů s ochranou soukromí, rychlé prototypování a zmírnění biasu. Jakmile však pipeline syntetických dat narostou na složitost – zahrnují více týmů, cloudových regionů i okrajových zařízení – organizace mají potíže odpovědět na dvě základní otázky:

1. **Která verze syntetického datasetu byla použita k trénování konkrétního modelu?**  
2. **Můžeme prokázat, že proces generování dat splňoval regulatorní a etické zásady?**

Tradiční řešení katalogizace dat spoléhají na měnitelné úložiště metadat, která jsou náchylná k neúmyslným přepisům, vnitřnímu podvodu a roztříštěným auditním stopám. V tomto článku představujeme **architekturu datových smluv podpořených blockchainem**, která poskytuje **neměnnou verzi**, **kryptograficky ověřitelnou linii** a **automatizované hlášení souladu** pro syntetická data. Přístup staví na třech pilířích:

* **Neměnná kniha** – Povolený blockchain zaznamenává každou transakci datové smlouvy a zaručuje důkaz o manipulaci.  
* **Chytré kontrakty řízené datové smlouvy** – Samo‑vykonávající se smlouvy kódují parametry generování, potvrzení souhlasu a omezení politik.  
* **Automatizovaná extrakce linie** – Událostmi řízené agenty převádějí stav smlouvy do jednotného grafu linie, který lze dotazovat nástroji MLOps.

Na konci tohoto průvodce pochopíte kompletní tok, uvidíte konkrétní implementaci pomocí Hyperledger Fabric a Formize a naučíte se, jak integrovat řešení do CI/CD pipeline pro kontinuální soulad.

---

## 1. Proč je neměnná verze důležitá pro syntetická data

Pipeline syntetických dat typicky zahrnují následující fáze:

1. **Ingestování zdrojových dat** – Reálná data jsou shromažďována podle souhlasu a zásad ochrany soukromí.  
2. **Transformace pro soukromí** – Diferenciální soukromí, GANy nebo difúzní modely generují syntetické záznamy.  
3. **Zajištění kvality** – Statistické testy, detekce biasu a hodnocení užitečnosti validují výstup.  
4. **Distribuce** – Datasety jsou ukládány v datových jezerech, sdíleny přes API nebo přímo předávány trénovacím úlohám.

Každá fáze může vytvořit více **iterací** (např. prohledávání hyperparametrů, aktualizace modelu). Bez neměnné verze:

* **Reprodukovatelnost modelu trpí** – Týmy nemohou spolehlivě reprodukovat model, který byl trénován na „Dataset v3.2“.  
* **Riziko regulatorní** – Auditoři nemohou ověřit, že dataset splňoval [GDPR](https://gdpr.eu/) nebo [HIPAA](https://www.hhs.gov/hipaa/index.html) v době použití.  
* **Mezery v původu dat** – Když se objeví problém s biasem, zpětné dohledání přesných parametrů generování je časově náročné.

Neměnná kniha řeší tyto problémy tím, že poskytuje **jediný zdroj pravdy**, který nelze retroaktivně měnit.

---

## 2. Přehled hlavní architektury

Níže je diagram vysoké úrovně navrhované architektury. Diagram je vyjádřen v syntaxi Mermaid, kterou Hugo dokáže automaticky vykreslit.

```mermaid
graph LR
    subgraph Edge
        A["Real‑world Data Source"]
        B["Consent Management (Formize)"]
    end
    subgraph Core
        C["Synthetic Data Engine"]
        D["Data Contract Smart‑Contract"]
        E["Permissioned Blockchain"]
        F["Lineage Service"]
        G["CI/CD Pipeline"]
        H["Model Registry"]
    end
    subgraph Consumers
        I["Training Job"]
        J["Audit Dashboard"]
    end

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    F --> J
```

**Klíčové interakce**

* **Consent Management (Formize)** sbírá souhlas uživatelů a vydává podepsaný doklad, který je uložen na blockchainu.  
* **Synthetic Data Engine** (např. GAN nebo difúzní model) čte doklad, generuje data a volá **Data Contract** s parametry generování.  
* **Data Contract** zapíše transakci do **Permissioned Blockchain**, čímž vytvoří neměnný záznam obsahující:  
  * Hash datasetu  
  * Verzi algoritmu generování  
  * Hyper‑parametry  
  * Odkaz na doklad souhlasu  
  * Příznaky souladu s politikou  
* **Lineage Service** odebírá události z blockchainu, buduje orientovaný acyklický graf (DAG) verzí datasetů a vystavuje GraphQL API.  
* **CI/CD Pipeline** před spuštěním trénovací úlohy načte nejnovější hash datasetu z knihy, čímž zaručuje reprodukovatelnost.  
* **Audit Dashboard** vizualizuje graf linie a poskytuje exportovatelné zprávy o souladu.

---

## 3. Datové smlouvy jako chytré kontrakty

**Datová smlouva** je lehký chytrý kontrakt, který zapouzdřuje celý kontext generování syntetických dat. Níže je zjednodušený pseudo‑kód ve stylu Solidity, který lze zkompilovat pro Hyperledger Fabric chaincode.

```solidity
contract SyntheticDataContract {
    struct GenerationRecord {
        string datasetHash;          // SHA‑256 of the generated dataset
        string algorithmId;          // e.g., "GAN_v2.1"
        string hyperParams;         // JSON string of hyper‑parameters
        string consentTxId;          // Blockchain tx ID of the consent receipt
        uint256 timestamp;           // Unix epoch
        bytes32 policyDigest;        // Hash of the compliance policy applied
    }

    mapping(string => GenerationRecord) public records; // key = datasetHash

    event DataGenerated(string indexed datasetHash, address indexed generator);

    function registerGeneration(
        string memory _datasetHash,
        string memory _algorithmId,
        string memory _hyperParams,
        string memory _consentTxId,
        bytes32 _policyDigest
    ) public {
        require(bytes(_datasetHash).length > 0, "Invalid hash");
        GenerationRecord memory rec = GenerationRecord({
            datasetHash: _datasetHash,
            algorithmId: _algorithmId,
            hyperParams: _hyperParams,
            consentTxId: _consentTxId,
            timestamp: block.timestamp,
            policyDigest: _policyDigest
        });
        records[_datasetHash] = rec;
        emit DataGenerated(_datasetHash, msg.sender);
    }

    function getRecord(string memory _datasetHash) public view returns (GenerationRecord memory) {
        return records[_datasetHash];
    }
}
```

**Proč tento návrh funguje**

* **Důkaz o nezměnitelnosti** – Po zavolání `registerGeneration` je záznam na blockchainu neměnný.  
* **Samo‑popisnost** – Všechny relevantní metadata jsou uložena v jedné transakci, čímž se eliminuje potřeba externích úložišť metadat.  
* **Propojení s politikou** – `policyDigest` spojuje dataset s konkrétní verzí compliance politiky, což umožňuje automatické detekování odchylek politiky.

---

## 4. Integrace Formize pro správu souhlasu a politik

Formize vyniká v **dinamickém sběru souhlasu** a **verzování politik**. Průběh integrace je:

1. **Zachycení souhlasu** – Uživatel vyplní webový formulář Formize; platforma podepíše doklad pomocí decentralizovaného identifikátoru (DID) a zapíše ho na blockchain.  
2. **Načtení politiky** – Před generováním dat engine dotáže Formize na aktuální zásadu ochrany soukromí (např. GDPR‑Article‑6‑1‑a) a získá její hash.  
3. **Volání smlouvy** – Engine předá ID transakce souhlasu a hash politiky do datové smlouvy.

Toto úzké propojení zajišťuje, že každý syntetický dataset je **kryptograficky spojen** s přesným souhlasem a politikou, které řídily jeho vytvoření.

---

## 5. Automatizovaná služba pro extrakci linie

**Lineage Service** je mikroservis napsaný v Go (nebo Rust), který odebírá události z blockchainu pomocí Fabric SDK. Jeho úkoly:

* **Posluchač událostí** – Na události `DataGenerated` načte celý `GenerationRecord`.  
* **Konstrukce grafu** – Vloží uzel do databáze Neo4j nebo JanusGraph a propojí jej s rodičovským datasetem (pokud existuje) hranou `DERIVED_FROM`.  
* **Tagování verzí** – Přiřadí sémantické verze (`v1.0.0`, `v1.1.0`) na základě změn v algoritmu nebo hyper‑parametrech.  
* **Expozice API** – Poskytuje GraphQL endpoint pro downstream nástroje (CI/CD, audit UI).

Ukázkový dotaz pro získání celé linie datasetu:

```graphql
query Lineage($hash: String!) {
  dataset(hash: $hash) {
    hash
    algorithmId
    generatedAt
    parent {
      hash
      algorithmId
    }
    children {
      hash
      algorithmId
    }
  }
}
```

---

## 6. Integrace CI/CD pro reprodukovatelné trénování modelu

Zahrnutí neměnné verze do CI/CD zaručuje, že **každá sestava modelu je reprodukovatelná**. Níže je ukázka typického workflow v GitHub Actions:

```yaml
name: Train Model
on:
  push:
    branches: [ main ]

jobs:
  train:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      - name: Resolve dataset version
        id: dataset
        run: |
          HASH=$(curl -s https://lineage.api.company.com/dataset/latest | jq -r .hash)
          echo "DATASET_HASH=$HASH" >> $GITHUB_ENV

      - name: Pull dataset from storage
        run: |
          aws s3 cp s3://synthetic-data/${{ env.DATASET_HASH }} ./data.csv

      - name: Train model
        run: |
          python train.py --data data.csv --output model.pkl

      - name: Register model artifact
        run: |
          curl -X POST -H "Content-Type: application/json" \
            -d '{"modelHash":"'"$(sha256sum model.pkl | cut -d' ' -f1)"'","datasetHash":"${{ env.DATASET_HASH }}"}' \
            https://model-registry.api.company.com/register
```

Klíčové body:

* Workflow **dotazuje Lineage Service** pro nejnovější hash datasetu, čímž zajišťuje, že je použita přesná verze.  
* Po tréninku je artefakt modelu registrován společně s hash datasetu, čímž vzniká **obousměrný odkaz** mezi modelem a daty.

---

## 7. Auditovatelná zpráva o souladu

Regulátoři stále častěji požadují **reálný důkaz**, že pipeline syntetických dat respektuje zásady soukromí a spravedlnosti. S architekturou podpořenou blockchainem se generování zprávy o souladu zjednodušuje na dotaz do knihy.

Ukázkový Python skript, který vytvoří PDF auditní zprávu:

```python
import json
from web3 import Web3
from reportlab.lib.pagesizes import letter
from reportlab.pdfgen import canvas

w3 = Web3(Web3.HTTPProvider("https://fabric-node.company.com"))
contract = w3.eth.contract(address="0xABC123...", abi=contract_abi)

def fetch_record(dataset_hash):
    return contract.functions.getRecord(dataset_hash).call()

def generate_report(dataset_hash, filename):
    rec = fetch_record(dataset_hash)
    c = canvas.Canvas(filename, pagesize=letter)
    c.drawString(72, 720, f"Dataset Hash: {rec[0]}")
    c.drawString(72, 700, f"Algorithm ID: {rec[1]}")
    c.drawString(72, 680, f"Hyper‑Parameters: {rec[2]}")
    c.drawString(72, 660, f"Consent Tx ID: {rec[3]}")
    c.drawString(72, 640, f"Policy Digest: {rec[5].hex()}")
    c.save()

generate_report("0xdeadbeef...", "audit_report.pdf")
```

Výsledné PDF obsahuje **kryptografické odkazy**, které auditoři mohou ověřit proti veřejné knize, což dramaticky zkracuje dobu potřebnou pro kontrolu souladu.

---

## 8. Bezpečnostní a výkonnostní úvahy

| Aspekt                | Doporučení                                                                 |
|-----------------------|-----------------------------------------------------------------------------|
| **Permissioning**    | Používejte **povolený** blockchain (Hyperledger Fabric nebo Corda) k omezení zápisu pouze na důvěryhodné služby. |
| **Data Privacy**     | Na řetězec ukládejte jen **hashy** a metadata; samotné syntetické datasetu zůstává v šifrovaném objektovém úložišti. |
| **Scalability**      | Hromadně odesílejte více volání `registerGeneration` v jedné blokové transakci, aby se snížila režie. |
| **Key Management**   | Využívejte hardwarové bezpečnostní moduly (HSM) pro podepisování dokladů souhlasu a volání kontraktů. |
| **Disaster Recovery**| Replikujte ledger napříč více datovými centry a povolte snapshoty záloh grafové databáze. |

---

## 9. Reálný případ použití: Konsorcium pro výzkum ve zdravotnictví

Konzorcium složené z několika institucí potřebovalo sdílet syntetické záznamy pacientů a zároveň dodržet [HIPAA](https://www.hhs.gov/hipaa/index.html) i [GDPR](https://gdpr.eu/). Po přijetí modelu datových smluv podpořených blockchainem:

* **Sledování verzí** umožnilo výzkumníkům reprodukovat publikovaný model přesně po třech letech.  
* **Propojení se souhlasem** zajistilo, že každý pacient, který odvolal souhlas, spustil automatické revokační události, které Lineage Service rozšířila na všechny podřízené datasety.  
* **Audit** byl dokončen během jednoho dne místo týdnů, protože auditor mohl stáhnout neměnný ledger a ověřit každý dataset.

Konzorcium hlásilo **40 % snížení nákladů na soulad** a **30 % zrychlení vývoje modelů**.

---

## 10. Začínáme – Minimální prototyp

1. **Nastavte lokální Fabric síť** pomocí oficiálních Docker vzorků.  
2. **Nasazujte chaincode `SyntheticDataContract`** (viz sekce 3).  
3. **Nainstalujte Formize** a nakonfigurujte formulář, který zapisuje doklady na stejný Fabric kanál.  
4. **Implementujte jednoduchou Lineage Service** v Go, která naslouchá událostem `DataGenerated` a ukládá uzly do paměťové mapy.  
5. **Spusťte syntetický generátor** (např. předtrénovaný CTGAN), který po každém běhu volá `registerGeneration`.  
6. **Dotazujte ledger** a ověřte, že každá verze datasetu je neměnná.

Tento sandbox poskytuje proof‑of‑concept, který lze rozšířit do produkce přidáním perzistentní grafové databáze, řízení přístupu na základě rolí a integrace s existujícími MLOps platformami jako Kubeflow nebo MLflow.

---

## 11. Budoucí směry

* **Zero‑Knowledge Proofs** – Vložte zk‑SNARKy do datové smlouvy, aby se prokázalo, že dataset splňuje rozpočet soukromí, aniž by se odhalila samotná data.  
* **Cross‑Chain Interoperability** – Využijte Cosmos IBC nebo Polkadot mosty k sdílení linie syntetických dat napříč organizačními hranicemi při zachování suverenity.  
* **AI‑Driven Policy Evolution** – Nasazujte LLM k automatickému návrhu aktualizací politik na základě detekce driftu v kvalitě nebo biasu syntetických dat.  

Kontinuálním rozšiřováním neměnného rámce datových smluv mohou organizace předběhnout nové regulace a udržet důvěru v AI systémy, které spoléhají na syntetická data.

---

## Viz také

- [Hyperledger Fabric Documentation](https://hyperledger-fabric.readthedocs.io) – Oficiální průvodce tvorbou povolených blockchainů.  
- [Formize Consent Management Platform](https://formize.com/consent) – Jak Formize zachází s decentralizovanou identitou a dynamickým souhlasem.  
- [Zero‑Knowledge Proofs for Privacy‑Preserving AI](https://zokrates.github.io) – Úvod do zk‑SNARKs a jejich aplikací v syntetických datech.