
# Cjevovodi sintetičkih podataka s automatskim oporavkom vođeni grafom znanja za Edge AI

Uređaji Edge AI – od industrijskih senzora do nosivih uređaja – sve češće moraju generirati visokokvalitetne sintetičke podatke za treniranje modela, validaciju i izvještavanje o usklađenosti. Tradicionalni cjevovodi su krhki: jedan kvar senzora, promjena politike ili prekid mreže mogu oštetiti cijeli tok podataka i zahtijevati skupe ručne intervencije.  

**Cjevovodi sintetičkih podataka s automatskim oporavkom** rješavaju ovu krhkost automatskim otkrivanjem, dijagnosticiranjem i popravkom grešaka. Kada logiku automatskog oporavka pokreće **graf znanja**, cjevovod dobiva semantičko razumijevanje podrijetla podataka, regulatornih ograničenja i mogućnosti uređaja, što omogućuje istinski autonoman rad.

U ovom članku ćemo:

1. Objasniti zašto su grafovi znanja prirodan izbor za upravljanje sintetičkim podacima na rubu.  
2. Detaljno opisati ključne komponente cjevovoda s automatskim oporavkom, od unosa podataka do federiranih ažuriranja modela.  
3. Pokazati kako ugraditi pravila usklađenosti i garancije privatnosti izravno u graf.  
4. Prikazati konkretan plan implementacije s isječcima koda i Mermaid dijagramom arhitekture.  
5. Raspraviti o performansama, sigurnosti i skalabilnosti za produkcijska okruženja.

---

## 1 Zašto su grafovi znanja važni za Edge sintetičke podatke

Graf znanja je mreža entiteta (čvorova) i odnosa (veza) obogaćena ontologijama i pravilima zaključivanja. Za cjevovode sintetičkih podataka na rubu, graf može zabilježiti:

| Dimenzija | Grafička reprezentacija | Korist |
|-----------|--------------------------|--------|
| **Inventar uređaja** | Čvor “Device‑123” s atributima *type*, *location*, *capabilities* | Trenutno otkrivanje kompatibilnih generatora sintetičkih podataka |
| **Podrijetlo podataka** | Veza “produces” od *Device* do *RawStream* i “transforms” do *SyntheticDataset* | Transparentnost za revizije i analizu pomaka modela |
| **Regulatorna ograničenja** | Čvor “[GDPR](https://gdpr.eu/)‑Article‑5” povezan vezom “requires” s *PersonalData* | Automatsko provođenje politika u stvarnom vremenu |
| **Metrike kvalitete** | Čvor “Metric‑Signal‑Noise” povezan s *SyntheticDataset* | Kontrole zdravlja u stvarnom vremenu i pragovi okidača |
| **Topologija federiranog učenja** | Veza “participatesIn” između *Device* i *FederatedRound* | Dinamički odabir sudionika na temelju propusnosti i povjerenja |

Budući da je graf **semantički**, mehanizmi zaključivanja mogu odgovoriti na složena pitanja poput:

> *Koji uređaji mogu generirati sintetičke podatke za novu medicinsku slikovnu modalitetu uz poštivanje pravila privatnosti [HIPAA](https://www.hhs.gov/hipaa/index.html)?*

Odgovor se izračunava automatski, eliminirajući ručno kodiranje pravila i smanjujući rizik od propusta u usklađenosti.

---

## 2 Pregled arhitekture

Dolje je prikazan visokorazinski pregled cjevovoda s automatskim oporavkom. Dijagram je napisan u Mermaid sintaksi; oznake čvorova su u dvostrukim navodnicima kako je propisano.

```mermaid
graph LR
    subgraph EdgeNode["Edge Uređaj"]
        Device["Uređaj"]
        Raw["Sirovi senzor stream"]
        Synth["Generator sintetičkih podataka"]
        Metrics["Metrike kvalitete"]
    end

    subgraph CloudCore["Oblak – usluga grafova znanja"]
        KG["Graf znanja"]
        Policy["Pravila usklađenosti"]
        Scheduler["Planer oporavka"]
        Model["Federirani model"]
    end

    Device --> Raw
    Raw --> Synth
    Synth --> Metrics
    Metrics --> Scheduler
    Scheduler --> KG
    KG --> Policy
    Policy --> Scheduler
    Scheduler --> Model
    Model --> Device
```

### 2.1 Ključni moduli

| Modul | Odgovornosti | Ključne tehnologije |
|-------|--------------|----------------------|
| **Edge Ingestion** | Prikuplja sirove senzorske podatke, vremenske oznake i metapodatke uređaja | Rust/Go agenti, MQTT, protobuf |
| **Synthetic Generator** | Proizvodi sintetičke uzorke uz očuvanje privatnosti (GAN, difuzija ili LLM‑bazirani) | TensorFlow Lite, ONNX Runtime, TinyML |
| **Metrics Collector** | Izračunava signal‑to‑noise, drift distribucije i korištenje resursa | Prometheus klijent, OpenTelemetry |
| **Healing Scheduler** | Pretplaćuje se na alarme metrika, postavlja upite grafu za radnje oporavka | Python asyncio, Neo4j driver |
| **Knowledge Graph Service** | Pohranjuje entitete, odnose i pravila zaključivanja | Neo4j Aura, GraphQL API |
| **Compliance Engine** | Kodira GDPR, HIPAA, ISO‑27001 ograničenja kao graf‑pravila | SHACL, OWL |
| **Federated Model Coordinator** | Orkestrira sigurnu agregaciju ažuriranja s rubnih uređaja | PySyft, OpenMined, homomorfna enkripcija |

---

## 3 Petlja automatskog oporavka u detalje

1. **Upozorenje metrika** – *Metrics Collector* emitira događaj `QualityDegradation` kada sintetički skup podataka padne ispod zadanog praga.  
2. **Graf‑upit** – *Healing Scheduler* postavlja upit u Grafu znanja:  

   ```cypher
   MATCH (d:Device {id: $deviceId})-[:produces]->(s:SyntheticDataset)
   WHERE s.quality < $threshold
   RETURN d, s
   ```  

   Vraća problematični uređaj i čvorove skupa podataka.  
3. **Evaluacija politika** – *Compliance Engine* provjerava primjenjiva pravila (npr. “Ako je kvaliteta < 0.7 i podaci su osobni, regeneriraj s diferencijalnom privatnošću”).  
4. **Radnja oporavka** – Na temelju zaključka, *Scheduler* pokreće jednu od sljedećih radnji:  

   * **Regeneriraj** – Ponovno pokreni generator sintetičkih podataka s prilagođenim hiperparametrima.  
   * **Zamijeni model** – Implementiraj rezervni generator pohranjen u grafu kao čvor `ModelVersion`.  
   * **Izoliraj uređaj** – Privremeno ukloni uređaj iz federirane runde.  

5. **Povratna sprega** – Nakon oporavka, prikupljaju se nove metrike i ciklus se ponavlja dok se ne postigne cilj kvalitete.  

Svi koraci se zapisuju u graf, pružajući nepromjenjivu revizijsku evidenciju za regulatore.

---

## 4 Ugrađivanje usklađenosti izravno u graf

Pravila usklađenosti modeliraju se kao **SHACL oblici** pričvršćeni uz relevantne čvorove. Primjer: pravilo da sintetički podaci izvedeni iz osobnih zdravstvenih zapisa moraju imati privatni budžet ε ≤ 1.0.

```turtle
ex:PrivacyBudgetShape a sh:NodeShape ;
    sh:targetClass ex:SyntheticDataset ;
    sh:property [
        sh:path ex:privacyEpsilon ;
        sh:lessThanOrEquals 1.0 ;
        sh:message "Privatni budžet premašuje dopušteni limit" ;
    ] .
```

Kada *Healing Scheduler* pokuša regeneraciju, mehanizam grafa validira novi skup podataka prema ovom obliku. Ako validacija ne uspije, planer automatski odabire agresivniji mehanizam privatnosti (npr. dodavanje Laplaceovog šuma) prije nego što podaci budu pohranjeni.

---

## 5 Plan implementacije

Dolje je minimalni Python prototip koji demonstrira petlju oporavka. Koristi `neo4j` driver, `prometheus_client` za metrike i zamjenski generator sintetičkih podataka.

```python
import os
from neo4j import GraphDatabase
from prometheus_client import Gauge, start_http_server
import time

# ---------- Konfiguracija ----------
NEO4J_URI = os.getenv("NEO4J_URI", "bolt://localhost:7687")
NEO4J_USER = os.getenv("NEO4J_USER", "neo4j")
NEO4Q_PASS = os.getenv("NEO4Q_PASS", "password")
QUALITY_THRESHOLD = 0.75

# ---------- Interakcija s grafom ----------
class KnowledgeGraph:
    def __init__(self):
        self.driver = GraphDatabase.driver(NEO4J_URI, auth=(NEO4J_USER, NEO4Q_PASS))

    def get_degraded_devices(self):
        query = """
        MATCH (d:Device)-[:produces]->(s:SyntheticDataset)
        WHERE s.quality < $threshold
        RETURN d.id AS device_id, s.id AS dataset_id
        """
        with self.driver.session() as session:
            return session.run(query, threshold=QUALITY_THRESHOLD).data()

    def log_healing_action(self, device_id, action):
        query = """
        MATCH (d:Device {id: $device_id})
        CREATE (h:HealingAction {action: $action, ts: timestamp()})
        CREATE (d)-[:underwent]->(h)
        """
        with self.driver.session() as session:
            session.run(query, device_id=device_id, action=action)

# ---------- Stub generator sintetičkih podataka ----------
def regenerate_synthetic(device_id):
    # U stvarnom sustavu ovo bi pozvalo TinyML model na rubnom uređaju.
    # Ovdje simuliramo poboljšanje.
    new_quality = min(1.0, QUALITY_THRESHOLD + 0.1)
    return {"quality": new_quality, "privacyEpsilon": 0.9}

# ---------- Planer oporavka ----------
def healing_loop():
    kg = KnowledgeGraph()
    while True:
        degraded = kg.get_degraded_devices()
        for record in degraded:
            device_id = record["device_id"]
            # Pokušaj regeneracije
            new_dataset = regenerate_synthetic(device_id)
            # Validacija prema SHACL (pseudokod)
            if new_dataset["privacyEpsilon"] <= 1.0:
                # Pretpostavimo da novi skup podataka pošaljemo natrag na rub
                kg.log_healing_action(device_id, "regenerated")
                print(f"[{device_id}] Regenerirano s kvalitetom {new_dataset['quality']}")
            else:
                kg.log_healing_action(device_id, "fallback")
                print(f"[{device_id}] Primijenjen rezervni model")
        time.sleep(30)

# ---------- Metrike ----------
quality_gauge = Gauge("synthetic_quality", "Trenutna kvaliteta sintetičkih skupova podataka", ["device_id"])

def expose_metrics():
    start_http_server(8000)
    while True:
        # Povlačenje najnovije kvalitete iz grafa (pojednostavljeno)
        # U produkciji bi ovo bio streaming ažuriranje.
        time.sleep(10)

if __name__ == "__main__":
    import threading
    threading.Thread(target=expose_metrics, daemon=True).start()
    healing_loop()
```

**Ključni zaključci iz prototipa**

* Upit grafa izolira samo uređaje kojima je potrebna intervencija, čime se smanjuje promet.  
* Radnje oporavka pohranjuju se kao veze u grafu, stvarajući potpunu revizijsku evidenciju.  
* Provjera usklađenosti može se umetnuti kao zaseban korak prije prihvaćanja regeneriranog skupa podataka.

---

## 6 Performanse i sigurnosni aspekti

| Aspekt | Preporuka |
|--------|-----------|
| **Latencija** | Postavite Graf znanja u regionalnoj edge‑cloud zoni (npr. AWS Local Zones) kako bi RTT ostao < 20 ms. |
| **Propusnost** | Koristite delta‑kodiranje za alarme metrika; šaljite samo promjene, ne cijele skupove podataka. |
| **Privatnost** | Kombinirajte diferencijalnu privatnost s homomorfnom enkripcijom za federiranu agregaciju; pohranite samo šifrirane agregate u graf. |
| **Skalabilnost** | Particionirajte graf po regiji uređaja; svaki particijski graf ima vlastiti Planer oporavka kako bi se izbjegla jedinstvena točka otkaza. |
| **Otpornost** | Iskoristite Kubernetes `PodDisruptionBudget` za planer i omogućite backup grafa s point‑in‑time oporavkom. |

---

## 7 Primjeri iz stvarnog svijeta

1. **Pametna proizvodnja** – Tvorničko podružje s 5 000 senzora koristi cjevovod za kontinuirano generiranje sintetičkih podataka o vibracijama za prediktivno održavanje, uz automatsko poštivanje ISO‑45001 sigurnosnih izvještaja.  
2. **Nosivi zdravstveni monitori** – Uređaji generiraju sintetičke EKG uzorke za ažuriranje modela na uređaju; graf provodi pravila privatnosti na razini **[HIPAA](https://www.hhs.gov/hipaa/index.html)** i odmah otklanja drift uzrokovan trošenjem senzora.  
3. **Autonomni dronovi** – Rubni dronovi dijele sintetičke karte navigacije; cjevovod otkriva oštećene karte uzrokovane GPS spoofingom i regenerira ih koristeći rezervni generativni model pohranjen u grafu.

---

## 8 Smjerovi za budućnost

* **Graf‑ugrađeni generativni modeli** – Ugradnja difuzijskih modela izravno kao čvorove grafa kako bi se omogućila generacija na zahtjev bez premještanja velikih binarnih datoteka na rub.  
* **Zero‑Trust rubna mreža** – Proširenje grafa s identitetima zero‑trust, omogućujući svakom uređaju da dokaže svoje stanje usklađenosti prije sudjelovanja u federiranim rundama.  
* **Auto‑ML evolucija politika** – Korištenje reinforcement learninga za automatsko prilagođavanje pragova usklađenosti na temelju povratnih informacija regulatora pohranjenih u grafu.

---

## Pogledajte i

- [Neo4j dokumentacija – Graph Data Science Library](https://neo4j.com/docs/graph-data-science/current/)  
- [TensorFlow Lite za mikrokontrolere](https://www.tensorflow.org/lite/microcontrollers)  
- [OpenMined PySyft – Okvir za federirano učenje](https://github.com/OpenMined/PySyft)  
- [SHACL – Specifikacija za Shapes Constraint Language](https://www.w3.org/TR/shacl/)