
# Graf znalostí řízené samoléčící syntetické datové pipeline pro Edge AI

Edge AI zařízení – od průmyslových senzorů po nositelná zařízení – jsou stále častěji povinna generovat vysoce kvalitní syntetická data pro trénink modelů, validaci a reportování souladu. Tradiční pipeline jsou křehké: jediná závada senzoru, změna politiky nebo výpadek sítě může zkorumpovat celý tok dat a vyžadovat nákladné ruční zásahy.  

**Samoléčící syntetické datové pipeline** řeší tuto křehkost tím, že automaticky detekují, diagnostikují a opravují selhání. Když je logika samoléčení poháněna **grafem znalostí**, pipeline získává sémantické pochopení datové linie, regulatorních omezení a schopností zařízení, což umožňuje skutečně autonomní provoz.

V tomto článku se podíváme na:

1. Proč jsou grafy znalostí přirozenou volbou pro správu syntetických dat na okraji.  
2. Podrobný popis hlavních komponent samoléčící pipeline, od ingestování dat po federované aktualizace modelu.  
3. Jak vložit pravidla souladu a záruky soukromí přímo do grafu.  
4. Konkrétní implementační plán s ukázkami kódu a diagramem architektury v Mermaid.  
5. Diskusi o výkonu, bezpečnosti a škálovatelnosti pro produkční nasazení.

---

## 1 Proč jsou grafy znalostí důležité pro syntetická data na okraji

Graf znalostí je síť entit (uzlů) a vztahů (hran) obohacená o ontologie a inferenční pravidla. Pro edge syntetické datové pipeline může graf zachytit:

| Dimenze | Reprezentace v grafu | Přínos |
|-----------|----------------------|---------|
| **Inventář zařízení** | Uzel “Device‑123” s vlastnostmi *type*, *location*, *capabilities* | Okamžité vyhledání kompatibilních syntetických generátorů |
| **Datová linie** | Hrana “produces” od *Device* k *RawStream* a “transforms” k *SyntheticDataset* | Sledovatelnost pro audity a analýzu driftu modelu |
| **Regulační omezení** | Uzel “[GDPR](https://gdpr.eu/)‑Article‑5” propojený hranou “requires” s *PersonalData* | Automatické vynucování politik v reálném čase |
| **Metriky kvality** | Uzel “Metric‑Signal‑Noise” připojený k *SyntheticDataset* | Kontroly zdraví v reálném čase a prahové spouštěče |
| **Topologie federovaného učení** | Hrana “participatesIn” mezi *Device* a *FederatedRound* | Dynamický výběr účastníků na základě šířky pásma a důvěry |

Protože je graf **sémantický**, inferenční enginy mohou odpovídat na složité dotazy, například:

> *Která zařízení mohou generovat syntetická data pro novou modalitu medicínského zobrazování a zároveň splňovat pravidla soukromí [HIPAA](https://www.hhs.gov/hipaa/index.html)?*

Odpověď je odvozena automaticky, čímž se eliminuje ruční kódování pravidel a snižuje riziko mezer v souladu.

---

## 2 Přehled architektury

Níže je vysoká úroveň pohledu na samoléčící pipeline. Diagram je vyjádřen v syntaxi Mermaid; popisky uzlů jsou uzavřeny v dvojitých uvozovkách, jak je vyžadováno.

```mermaid
graph LR
    subgraph EdgeNode["Edge Zařízení"]
        Device["Zařízení"]
        Raw["Surový senzorový proud"]
        Synth["Syntetický generátor"]
        Metrics["Metriky kvality"]
    end

    subgraph CloudCore["Cloudová služba grafu znalostí"]
        KG["Graf znalostí"]
        Policy["Pravidla souladu"]
        Scheduler["Plánovač léčení"]
        Model["Federovaný model"]
    end

    Device --> Raw
    Raw --> Synth
    Synth --> Metrics
    Metrics --> Scheduler
    Scheduler --> KG
    KG --> Policy
    Policy --> Scheduler
    Scheduler --> Model
    Model --> Device
```

### 2.1 Hlavní moduly

| Modul | Odpovědnost | Klíčové technologie |
|--------|----------------|-------------------|
| **Edge Ingestion** | Zachycuje surová senzorová data, časové razítko a metadata zařízení | Agenti v Rust/Go, MQTT, protobuf |
| **Synthetic Generator** | Produkuje soukromí‑chráněné syntetické vzorky (GAN, difúze nebo LLM‑založené) | TensorFlow Lite, ONNX Runtime, TinyML |
| **Metrics Collector** | Vypočítává poměr signálu‑k‑šumu, drift distribuce a využití zdrojů | Prometheus client, OpenTelemetry |
| **Healing Scheduler** | Odebírá metrické alarmy, dotazuje KG na nápravná opatření | Python asyncio, Neo4j driver |
| **Knowledge Graph Service** | Ukládá entity, vztahy a inferenční pravidla | Neo4j Aura, GraphQL API |
| **Compliance Engine** | Kóduje omezení GDPR, HIPAA, ISO‑27001 jako grafová pravidla | SHACL, OWL |
| **Federated Model Coordinator** | Orchestruje bezpečnou agregaci edge aktualizací | PySyft, OpenMined, homomorfní šifrování |

---

## 3 Samoléčící smyčka podrobně

1. **Metrický alarm** – Metrický kolektor vysílá událost `QualityDegradation`, když syntetický dataset klesne pod předdefinovaný práh.  
2. **Grafový dotaz** – Plánovač léčení dotazuje Graf znalostí:  

   ```cypher
   MATCH (d:Device {id: $deviceId})-[:produces]->(s:SyntheticDataset)
   WHERE s.quality < $threshold
   RETURN d, s
   ```  

   Vrací postižené uzly zařízení a dataset.  
3. **Vyhodnocení politiky** – Engine souladu posuzuje příslušná pravidla (např. „Pokud kvalita < 0,7 a data jsou osobní, regenerovat s diferencální soukromostí“).  
4. **Nápravná akce** – Na základě inferencí Plánovač spustí jednu z následujících:  

   * **Regenerace** – Znovu spustí syntetický generátor s upravenými hyperparametry.  
   * **Výmena modelu** – Nasadí záložní generátor uložený v grafu jako uzel `ModelVersion`.  
   * **Izolace zařízení** – Dočasně vyřadí zařízení z federovaného kola.  

5. **Zpětná smyčka** – Po nápravě jsou shromážděny nové metriky a cyklus se opakuje, dokud není dosaženo cílové kvality.  

Všechny kroky jsou zaznamenány v grafu, čímž poskytují neměnný auditní záznam pro regulátory.

---

## 4 Vkládání souladu přímo do grafu

Pravidla souladu jsou modelována jako **SHACL tvary** připojené k relevantním uzlům. Příklad: pravidlo, že syntetická data odvozená z osobních zdravotních záznamů musí mít soukromý rozpočet ε ≤ 1,0.

```turtle
ex:PrivacyBudgetShape a sh:NodeShape ;
    sh:targetClass ex:SyntheticDataset ;
    sh:property [
        sh:path ex:privacyEpsilon ;
        sh:lessThanOrEquals 1.0 ;
        sh:message "Rozpočet soukromí překračuje povolený limit" ;
    ] .
```

Když Plánovač léčení provede regeneraci, grafový engine validuje nový dataset proti tomuto tvaru. Pokud validace selže, plánovač automaticky vybere agresivnější soukromý mechanismus (např. přidání Laplaceova šumu) před uložením datasetu.

---

## 5 Implementační plán

Níže je minimální prototyp v Pythonu, který demonstruje smyčku léčení. Používá `neo4j` driver, `prometheus_client` pro metriky a placeholder syntetického generátoru.

```python
import os
from neo4j import GraphDatabase
from prometheus_client import Gauge, start_http_server
import time

# ---------- Konfigurace ----------
NEO4J_URI = os.getenv("NEO4J_URI", "bolt://localhost:7687")
NEO4J_USER = os.getenv("NEO4J_USER", "neo4j")
NEO4Q_PASS = os.getenv("NEO4Q_PASS", "password")
QUALITY_THRESHOLD = 0.75

# ---------- Interakce s grafem ----------
class KnowledgeGraph:
    def __init__(self):
        self.driver = GraphDatabase.driver(NEO4J_URI, auth=(NEO4J_USER, NEO4Q_PASS))

    def get_degraded_devices(self):
        query = """
        MATCH (d:Device)-[:produces]->(s:SyntheticDataset)
        WHERE s.quality < $threshold
        RETURN d.id AS device_id, s.id AS dataset_id
        """
        with self.driver.session() as session:
            return session.run(query, threshold=QUALITY_THRESHOLD).data()

    def log_healing_action(self, device_id, action):
        query = """
        MATCH (d:Device {id: $device_id})
        CREATE (h:HealingAction {action: $action, ts: timestamp()})
        CREATE (d)-[:underwent]->(h)
        """
        with self.driver.session() as session:
            session.run(query, device_id=device_id, action=action)

# ---------- Stub syntetického generátoru ----------
def regenerate_synthetic(device_id):
    # Ve skutečném systému by se zde volal TinyML model na edge zařízení.
    # Zde simulujeme zlepšení.
    new_quality = min(1.0, QUALITY_THRESHOLD + 0.1)
    return {"quality": new_quality, "privacyEpsilon": 0.9}

# ---------- Plánovač léčení ----------
def healing_loop():
    kg = KnowledgeGraph()
    while True:
        degraded = kg.get_degraded_devices()
        for record in degraded:
            device_id = record["device_id"]
            # Pokus o regeneraci
            new_dataset = regenerate_synthetic(device_id)
            # Validace proti SHACL (pseudo‑kód)
            if new_dataset["privacyEpsilon"] <= 1.0:
                # Předpokládáme, že nový dataset pošleme zpět na edge
                kg.log_healing_action(device_id, "regenerated")
                print(f"[{device_id}] Regenerováno s kvalitou {new_dataset['quality']}")
            else:
                kg.log_healing_action(device_id, "fallback")
                print(f"[{device_id}] Použita záložní verze modelu")
        time.sleep(30)

# ---------- Metriky ----------
quality_gauge = Gauge("synthetic_quality", "Aktuální kvalita syntetických datasetů", ["device_id"])

def expose_metrics():
    start_http_server(8000)
    while True:
        # Načíst nejnovější kvalitu z grafu (zjednodušeně)
        # V produkci by šlo o streamovací aktualizaci.
        time.sleep(10)

if __name__ == "__main__":
    import threading
    threading.Thread(target=expose_metrics, daemon=True).start()
    healing_loop()
```

**Klíčové poznatky z prototypu**

* Grafový dotaz izoluje pouze zařízení, která potřebují pozornost, čímž se minimalizuje síťový provoz.  
* Nápravné akce jsou uloženy jako hrany v grafu, čímž vzniká kompletní auditní log.  
* Validaci souladu lze vložit jako samostatný krok před potvrzením regenerovaného datasetu.

---

## 6 Výkonové a bezpečnostní úvahy

| Oblast | Doporučení |
|--------|------------|
| **Latence** | Nasadit Graf znalostí v regionální edge‑cloud zóně (např. AWS Local Zones) pro RTT < 20 ms. |
| **Šířka pásma** | Používat delta‑kódování pro alarmy metrik; přenášet jen změny, ne celé datasety. |
| **Soukromí** | Kombinovat diferenciální soukromí s homomorfním šifrováním pro federovanou agregaci; ukládat v grafu jen šifrované agregáty. |
| **Škálovatelnost** | Partitionovat graf podle regionu zařízení; každá partition má vlastní Plánovač léčení, čímž se eliminuje jediné místo selhání. |
| **Odolnost** | Využít Kubernetes `PodDisruptionBudget` pro plánovač a povolit zálohy grafu s point‑in‑time recovery. |

---

## 7 Reálné případy použití

1. **Inteligentní výroba** – Tovární podlaha s 5 000 senzory používá pipeline k neustálému generování syntetických vibračních dat pro prediktivní údržbu a automaticky splňuje požadavky ISO‑45001 na bezpečnostní reportování.  
2. **Nositelné zdravotní monitory** – Zařízení generují syntetické srdeční stopy pro on‑device aktualizace modelu; graf vynucuje úroveň soukromí podle **[HIPAA](https://www.hhs.gov/hipaa/index.html)** a okamžitě léčí jakýkoli drift způsobený opotřebením senzoru.  
3. **Autonomní drony** – Edge drony sdílejí syntetické navigační mapy; pipeline detekuje poškozené mapy způsobené GPS spoofingem a regeneruje je pomocí záložního generativního modelu uloženého v grafu.

---

## 8 Budoucí směry

* **Graf‑nativní generativní modely** – Vkládání difúzních modelů přímo jako uzly grafu, což umožní on‑demand syntézu bez přenosu velkých binárek na edge.  
* **Zero‑Trust edge fabric** – Rozšíření grafu o zero‑trust identity, aby každé zařízení mohlo prokázat svůj stav souladu před účastí ve federovaných kolech.  
* **Auto‑ML evoluce politik** – Použití reinforcement learning k automatickému ladění prahů souladu na základě zpětné vazby regulátorů zachycené v grafu.

---

## Viz také
- [Neo4j Documentation – Graph Data Science Library](https://neo4j.com/docs/graph-data-science/current/)
- [TensorFlow Lite for Microcontrollers](https://www.tensorflow.org/lite/microcontrollers)
- [OpenMined PySyft – Federated Learning Framework](https://github.com/OpenMined/PySyft)
- [SHACL – Shapes Constraint Language Specification](https://www.w3.org/TR/shacl/)