
# Samoprilagodljive Sintetičke Cjevovode Podataka za Edge AI uz Učenje Pojačanja i Objašnjivu AI

Edge AI prelazi iz nišne mogućnosti u mainstream zahtjev u raznim industrijama poput autonomnih vozila, pametne proizvodnje i nosivih uređaja za praćenje zdravlja. Najveća uska grla je dostupnost visokokvalitetnih, privatnosti‑čuvajućih sintetičkih podataka koji se mogu generirati, transformirati i konzumirati izravno na uređajima s ograničenim resursima. Tradicionalni statični cjevovodi – ručno izrađeni postupci predobrade, modeli s fiksnim parametrima i statični budžeti privatnosti – ne mogu pratiti dinamičnu prirodu edge radnih opterećenja, mrežnih uvjeta i regulatornih promjena.

**Uvodimo samoprilagodljive sintetičke cjevovode podataka**: zatvoreni sustav koji kontinuirano uči kako konfigurirati svaku fazu cjevovoda (prikupljanje podataka, budžetiranje privatnosti, odabir modela, kompresija i implementacija) koristeći učenje pojačanja (RL) uz pružanje transparentnih razloga odluka kroz Objašnjivu AI (XAI). Ovaj članak prolazi kroz konceptualne temelje, arhitektonske komponente, detalje implementacije i praktična razmatranja za izgradnju takvih cjevovoda na rubu.

---

## 1. Zašto samoprilagodljiv cjevovod?

| Izazov | Tradicionalni pristup | Prednost samoprilagodljivog |
|-----------|----------------------|----------------------------|
| **Varijabilnost resursa** (CPU, memorija, baterija) | Fiksna alokacija resursa dovodi do prekomjernog provisioninga ili neuspjeha | RL uči prilagođavati budžete resursa u stvarnom vremenu |
| **Promjene u regulativi privatnosti** ([GDPR](https://gdpr.eu/), [CCPA](https://oag.ca.gov/privacy/ccpa), nove AI zakone poput [EU AI Act](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)) | Ručne nadogradnje politika su spore i sklone greškama | RL agenti svjesni politika automatski ponovno balansiraju budžete privatnosti |
| **Drift modela** (pomak distribucije podataka) | Periodično ponovno treniranje s fiksnim hiperparametrima | Kontinuirano podešavanje hiperparametara putem RL ublažava drift |
| **Potražnja za objašnjivošću** | Crne‑kutije cjevovoda otežavaju reviziju | XAI slojevi otkrivaju zašto je određena konfiguracija odabrana |

Ukupan učinak je cjevovod koji **maksimizira korisnost (točnost modela, latencija, energetska učinkovitost) uz poštivanje privatnosti i usklađenosti**, sve bez ljudske intervencije.

---

## 2. Osnovni arhitektonski blokovi

```mermaid
graph TD
    A["Struja senzora na rubu"] --> B["Modul predobradi"]
    B --> C["Mehanizam privatnosti (DP / HE)"]
    C --> D["Sintetički generator (Difuzija / GAN)"]
    D --> E["Komprimiranje & TinyML optimizator"]
    E --> F["Kontejner za implementaciju"]
    F --> G["Motor zaključivanja"]
    subgraph RL Loop
        H["RL agent"] --> I["Sakupljač stanja"]
        I --> J["Kalkulator nagrade"]
        J --> H
    end
    K["XAI sloj objašnjivosti"] --> L["Nadzorna ploča revizije"]
    H --> B
    H --> C
    H --> D
    H --> E
    K --> H
```

### 2.1. Sakupljač stanja

Prikuplja metrike u stvarnom vremenu:

* **Hardver**: opterećenje CPU‑a, korištenje GPU‑a, razina baterije, termalni prostor.
* **Mreža**: propusnost, latencija, gubitak paketa.
* **Podaci**: statistike distribucije (npr. KL divergencija od referentne), potrošnja budžeta privatnosti.
* **Model**: latencija zaključivanja, točnost, kalibracija povjerenja.

Ove metrike čine **vektor stanja** koji se prosljeđuje RL agentu.

### 2.2. RL agent

* **Algoritam**: Proximal Policy Optimization (PPO) zbog učinkovitosti uzorka na rubu.
* **Prostor akcija**: diskretne/kontinuirane prilagodbe:
  * DP razina šuma (ε, δ)
  * Veličina ključa homomorfne enkripcije
  * Arhitektura generatora (broj slojeva, koraci difuzije)
  * Omjer kompresije (bitovi kvantizacije, razina obrezivanja)
  * Zastavice TinyML kompajlera (npr. spajanje operatora)
* **Funkcija nagrade**: višekriterijska skalarnizacija:
  \[
  R = \lambda_1 \cdot \text{Korisnost} - \lambda_2 \cdot \text{Energija} - \lambda_3 \cdot \text{KaznaPrivatnosti}
  \]
  gdje *Korisnost* kombinira točnost modela i latenciju, *Energija* odražava potrošnju baterije, a *KaznaPrivatnosti* raste kada kumulativni ε premaši regulatorna ograničenja.

### 2.3. XAI sloj objašnjivosti

* **SHAP vrijednosti** za svaku dimenziju akcije, pokazujući doprinos nagradi.
* **Kontrafaktička analiza**: “Da smo smanjili ε za 0,1, točnost bi pala za X %.”
* **Vizualizacija politike**: vremenski serijski toplinski prikazi odabira akcija.

Ova objašnjenja se zapisuju u **nadzornu ploču revizije** za službenike za usklađenost i čuvare podataka.

---

## 3. Učenje pojačanja na rubu: praktični savjeti

1. **Hibridno treniranje**: teške ažuracije politike obavljaju se na cloud‑side treneru koristeći federirane gradijente, a potom se destilirana politika prenosi na uređaj. Tako se smanjuje izračun na uređaju, a zadržava lokalna prilagodba.
2. **Bafer iskustva (Replay Buffer)**: pohranjuje klizni prozor nedavnih epizoda (npr. zadnjih 500 koraka) radi stabilizacije učenja u nestacionarnim okruženjima.
3. **Učenje kroz kurikulum**: započnite s grubim akcijama (npr. visokorazinski alokacija budžeta privatnosti) i postupno otkrivajte finije kontrole (npr. kvantizacija po sloju) kako agent stabilizira.
4. **Sigurnosna ograničenja**: kodirajte tvrde limite (maks. ε, maksimalna potrošnja baterije) kao *maskiranje* u prostoru akcija kako biste garantirali usklađenost s propisima.

---

## 4. Tehnike privatnosti‑čuvajućih sintetičkih generacija

| Tehnika | Prikladnost za rub | Parametri koje RL može podesiti |
|-----------|------------------|-------------------------------|
| **DP‑GAN (Differentially Private GAN)** | Umjerena (potreban GPU) | Razina šuma, normiranje klipinga |
| **Difuzijski modeli s injekcijom DP šuma** | Visoka (mogu se kvantizirati) | Broj koraka difuzije, raspored šuma |
| **Homomorfna enkripcija (HE) za težine modela** | Niska (samo CPU) | Veličina ključa, pakiranje šifriranog teksta |
| **Hibrid DP + HE** | Varijabilna | Šuma DP i veličina HE ključa |

RL agent može dinamički prebacivati između ovih tehnika ovisno o trenutnim resursnim ograničenjima, postižući **trade‑off privatnost‑performansa** koji statični cjevovodi ne mogu.

---

## 5. Integracija TinyML optimizatora

TinyML kompajleri (npr. **TVM**, **TensorFlow Lite Micro**) nude sljedeće parametre:

* **Spajanje operatora** – smanjuje memorijski promet.
* **Kvantizacija** – 8‑bit, 4‑bit ili binarna.
* **Obrezivanje** – strukturirano vs. nestrukturirano.

RL agent tretira svaku zastavicu kompajlera kao dimenziju akcije i prima neposrednu povratnu informaciju iz **energetske** komponente nagrade. Tijekom vremena agent otkriva optimalnu točku u kojoj generiranje sintetičkih podataka i zaključivanje koegzistiraju unutar energetskog okvira uređaja.

---

## 6. Primjer radnog toka od kraja do kraja

1. **Bootstrapping**: uređaj učitava baznu politiku treniranu na reprezentativnom skupu podataka.
2. **Hvatanje podataka**: senzori strujaju sirove podatke; predobrada ekstrahira značajke.
3. **Promatranje stanja**: sakupljač bilježi trenutnu bateriju (80 %), CPU (45 %), mrežu (3 Mbps), potrošeni budžet privatnosti (ε=0,8/1,0).
4. **Odluka politike**: RL agent odabire akcije:
   * Povećaj DP šum na ε=0,9
   * Smanji korake difuzije s 50 → 30
   * Kvantiziraj generator na 6‑bit
5. **Izvršenje**: sintetički generator proizvodi podatke; TinyML optimizator kompilira model; zaključivanje se pokreće.
6. **Izračun nagrade**: točnost 92 % (↑2 % u odnosu na bazu), potrošnja energije ↓15 %, kazna privatnosti 0 (još uvijek ispod limita).
7. **Objašnjivost**: SHAP pokazuje da su koraci difuzije doprinijeli 0,45 nagradi, kvantizacija 0,30, a DP šum 0,25.
8. **Petlja**: koraci 3‑7 ponavljaju se svakih 5 minuta, kontinuirano se prilagođavajući.

---

## 7. Primjeri iz stvarnog svijeta

### 7.1. Nosivi zdravstveni monitori

* **Problem**: ograničena baterija, strogi [HIPAA](https://www.hhs.gov/hipaa/index.html) propisi.
* **Rješenje**: RL smanjuje korake difuzije tijekom razdoblja niske baterije, povećava DP šum kada mreža nije dostupna (lokalna pohrana). XAI zapisi opravdavaju svaku promjenu za medicinske revizore.

### 7.2. Autonomni dronovi u roju

* **Problem**: varijabilna kvaliteta radio veze, potreba za lokalnim sintetičkim podacima o terenu.
* **Rješenje**: RL prebacuje između DP‑GAN (visoka kvaliteta) i laganog difuzijskog modela s agresivnom kvantizacijom kad propusnost padne. Objašnjenja politike prenose se na zemaljsku kontrolnu stanicu radi provjere usklađenosti.

### 7.3. Senzori pametne proizvodnje

* **Problem**: visokofrekventni podaci o vibracijama, regulatorna ograničenja izvoza podataka.
* **Rješenje**: RL balansira veličinu HE ključa (za šifrirani prijenos) protiv latencije, osiguravajući real‑time otkrivanje anomalija uz šifrirane pakete ne veće od 2 KB.

---

## 8. Blueprint implementacije (Python‑stil pseudokod)

```python
import torch
import numpy as np
from rl_agent import PPOAgent
from xai import ShapExplainer
from tinyml import TVMCompiler

# 1. Inicijaliziraj komponente
agent = PPOAgent(state_dim=20, action_dim=8)
explainer = ShapExplainer(agent.policy)
compiler = TVMCompiler(target="cortex-m4")

def collect_state():
    return np.array([
        get_cpu_load(),
        get_mem_usage(),
        get_battery_level(),
        get_network_bw(),
        get_privacy_budget(),
        # ... dodatne metrike
    ])

def compute_reward(accuracy, energy, privacy_used):
    lam1, lam2, lam3 = 0.5, 0.3, 0.2
    utility = accuracy - 0.01 * energy
    privacy_penalty = max(0, privacy_used - PRIVACY_CAP)
    return lam1 * utility - lam2 * energy - lam3 * privacy_penalty

while True:
    state = collect_state()
    action = agent.select_action(state)

    # Dekodiraj akcije
    dp_eps, he_key, diff_steps, quant_bits = decode(action)

    # Primijeni mehanizam privatnosti
    synthetic = generate_synthetic(dp_eps, he_key, diff_steps)

    # Kompiliraj s TinyML zastavicama
    compiled_model = compiler.compile(synthetic, quant_bits=quant_bits)

    # Pokreni zaključivanje
    acc, energy = run_inference(compiled_model)

    # Nagrada i učenje
    reward = compute_reward(acc, energy, dp_eps)
    agent.update(state, action, reward)

    # XAI zapisivanje
    shap_vals = explainer.shap_values(state, action)
    log_audit(state, action, reward, shap_vals)
```

Kod ilustrira **tijesnu povezanost** između RL odlučivanja, mehanizama privatnosti, TinyML kompilacije i XAI zapisivanja. U produkciji bi svaki blok bio zamijenjen optimiziranim bibliotekama (npr. **PyTorch Mobile**, **OpenMined PyDP**, **Microsoft SEAL**, **TVM**).

---

## 9. Izazovi i strategije ublažavanja

| Izazov | Ublažavanje |
|-----------|------------|
| **Ograničena memorija uređaja za bafer iskustva** | Koristiti **prioritetni replay** s fiksnom veličinom; starije epizode prebacivati u edge‑cloud pohranu. |
| **Nestabilnost politike pri brzim promjenama mreže** | Uvesti **regularizaciju glatkoće** u nagradu koja penalizira velike skokove akcija. |
| **Revizijska usklađenost** | Pohranjivati **nepromjenjive zapise** (hash‑lančani) na lagani blockchain (npr. **IOTA** ili **Hyperledger Fabric**) kako bi se garantirala nepromjenjivost. |
| **Latencija objašnjivosti** | Izračunavati SHAP vrijednosti asinkrono; keširati nedavne objašnjenja za brzi pristup. |
| **Detekcija drifta modela** | Implementirati lagani **detektor drifta** (npr. KS‑test) koji pokreće reset politike kad pomak distribucije premaši prag. |

---

## 10. Smjerovi za budućnost

1. **Meta‑RL za prijenos politike** – trenirati meta‑politiku koja se može odmah prilagoditi novim klasama uređaja (različite MCU obitelji) uz minimalni broj ažuriranja.
2. **Priprema za kvantnu privatnost** – istražiti post‑kvantne homomorfne šifre koje RL agent može aktivirati kada se podigne kvantni rizik.
3. **Federirano RL kroz flotilu edge uređaja** – dijeliti gradijente politike među uređajima uz očuvanje lokalne privatnosti, stvarajući **globalni samoprilagodljivi ekosustav**.
4. **Multimodalna sintetička fuzija** – proširiti cjevovod na zajedničko generiranje sinkroniziranog videa, zvuka i senzorskih tokova, koristeći RL za balansiranje budžeta po modalitetu.

---

## Vidi također

- [Reinforcement Learning for Edge Computing: A Survey (IEEE)](https://ieeexplore.ieee.org/document/9876543)  
- [Explainable AI: Foundations, Taxonomies, Opportunities and Challenges (Nature)](https://www.nature.com/articles/s41586-023-04567-9)  
- [Differential Privacy in Practice (Google AI Blog)](https://ai.googleblog.com/2022/06/differential-privacy-in-practice.html)