
# Generiranje sintetičkih podataka uz diferencijalnu privatnost vođeno pojačanim učenjem za Edge AI

## Uvod

Edge AI mijenja industrije, od autonomnih vozila do daljinskog praćenja zdravlja. Premještanjem inferencije i treniranja bliže izvoru podataka smanjuju se latencija, potrošnja propusnosti i poboljšava se suverenitet podataka. Međutim, edge uređaji često rade pod strogim propisima o privatnosti ([GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html), [CCPA](https://oag.ca.gov/privacy/ccpa)) i s ograničenim računalnim resursima. Sintetički podaci – umjetno generirani zapisi koji očuvavaju statistička svojstva stvarnih podataka – nude privlačan način za dijeljenje uvida bez otkrivanja sirovih informacija.  

Tradicionalni pipelinei za sintetičke podatke oslanjaju se na statičke budžete privatnosti i fiksne arhitekture modela, što može dovesti do **pretjeranog gubitka korisnosti** (ako je budžet privatnosti previše restriktivan) ili **curenja privatnosti** (ako je budžet previše popustljiv). Štoviše, edge okruženja su heterogena: stope uzorkovanja senzora, razina baterije i uvjeti mreže značajno variraju tijekom vremena. Pristup „jedna veličina za sve“ jednostavno ne funkcionira.

Ovaj članak predlaže **okvir vođen pojačanim učenjem (RL)** koji kontinuirano prilagođava parametre diferencijalne privatnosti (DP) i hiperparametre generativnog modela trenutnom kontekstu na edgeu. RL agent uči politiku koja maksimizira točnost modela u nastavku, poštujući unaprijed definirani budžet privatnosti, sve unutar računalnog okvira uređaja.

## Osnovni izazovi

| Izazov | Zašto je važan | Tradicionalno rješenje |
|-----------|----------------|------------------------|
| **Dinamička ograničenja resursa** | Edge uređaji mogu doživjeti fluktuacije CPU‑a, GPU‑a i memorije. | Statička alokacija dovodi do podiskorištenosti ili preopterećenja. |
| **Varijabilni zahtjevi privatnosti** | Različiti tokovi podataka (npr. video vs. vitalni znakovi) imaju različite razine osjetljivosti. | Jedinstveni ε (epsilon) za sve tokove može biti previše popustljiv ili previše restriktivan. |
| **Kompleksnost kompromisa korisnost‑privatnost** | Pretjerana zaštita podataka smanjuje korisnost sintetičkih uzoraka za zadatke u nastavku. | Ručno podešavanje je radno intenzivno i sklon greškama. |
| **Ograničena propusnost** | Prijenos sirovih podataka u oblak često nije izvediv. | Generiranje sintetičkih podataka po batch‑u i dalje može biti preteško. |

Adaptivni sustav koji **uči** iz okoline može učinkovitije riješiti ove probleme nego statičke heuristike.

## Pregled predloženog okvira

Arhitektura se sastoji od četiri usko povezana modula:

1. **Prikupljač podataka** – Struji sirove senzorske podatke, primjenjuje laganu predobradu i spremi uzorke za sintezu.  
2. **DP‑omogućeni generator** – Generativni model (npr. GAN, VAE, difuzijski) koji uključuje DP mehanizam (Gaussov ili Laplaceov šum) kalibriran budžetom privatnosti ε.  
3. **RL optimizator** – Pojačano‑učenje agent na uređaju koji odabire ε, brzinu učenja i dubinu modela na temelju opaženih nagrada.  
4. **Edge inference engine** – Koristi sintetičke podatke za zadatke poput klasifikacije, otkrivanja anomalija ili samog pojačanog učenja.

### Mermaid dijagram

```mermaid
flowchart TD
    A["Prikupljač podataka"] --> B["DP‑omogućeni generator"]
    B --> C["Pohrana sintetičkih podataka"]
    C --> D["Edge inference engine"]
    D --> E["Metrike performansi"]
    E --> F["RL optimizator"]
    F --> B
    F --> B["DP‑omogućeni generator"]
```

Petlja od **Metrike performansi** natrag do **RL optimizatora** zatvara povratnu vezu, omogućujući kontinuirano usavršavanje politike.

## Komponenta pojačanog učenja

### Predstavljanje stanja

RL agent promatra kompaktan vektor stanja **sₜ** pri svakom koraku odlučivanja *t*:

- **cₜ**: Trenutna iskorištenost CPU‑a (%)
- **mₜ**: Dostupna memorija (MB)
- **bₜ**: Nedavna potrošnja propusnosti (KB/s)
- **pₜ**: Kumulativni gubitak privatnosti (ε dosad potrošen)
- **uₜ**: Nedavna ocjena korisnosti (npr. točnost na validaciji)

Značajke su normalizirane na [0,1] radi smanjenja dimenzionalnosti prostora stanja.

### Prostor akcija

Agent odabire trojku **aₜ = (εₜ, ηₜ, dₜ)** gdje:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – budžet privatnosti za sljedeći batch sinteze.  
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – brzina učenja generatora.  
- **dₜ** ∈ {2, 4, 6} – dubina (broj skrivenih slojeva) generatora.

### Funkcija nagrade

\[
Rₜ = \lambda_u \cdot \text{Utility}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{ResourcePenalty}_t
\]

- **Utilityₜ**: Točnost downstream modela treniranog na najnovijem sintetičkom batchu.  
- **ResourcePenaltyₜ**: Težinski zbroj CPU i memorijskih šiljaka iznad zadanih granica.  
- **λ** koeficijenti postavlja administrator sustava.

Koristimo **Proximal Policy Optimization (PPO)** algoritam zbog njegove stabilnosti na problemima s kontinuiranim akcijama i niske uzorkovne složenosti – ključno za učenje na uređaju.

### Petlja treniranja

1. **Promatra** stanje **sₜ**.  
2. **Uzorak** akcije **aₜ** iz politike πθ(sₜ).  
3. **Generira** sintetičke podatke koristeći DP‑generator s εₜ, ηₜ, dₜ.  
4. **Trenira** downstream model na sintetičkom batchu; izračunava **Utilityₜ**.  
5. **Izračunava** nagradu **Rₜ** i pohranjuje tranziciju (sₜ, aₜ, Rₜ, sₜ₊₁).  
6. **Ažurira** politiku pomoću PPO‑klipnog cilja nakon mini‑batcha iskustava.

Budući da RL petlja radi na edgeu, koristimo **experience replay buffer** fiksne veličine (npr. 500 tranzicija) kako bismo ograničili memorijsku potrošnju.

## Mehanizam diferencijalne privatnosti

Generator koristi **Gaussov mehanizam** za (ε, δ)-DP. Za batch veličine *B*, skala šuma σ izračunava se kao:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

gdje je Δf ℓ₂‑osjetljivost gradijenta generatora. Izbor ε od strane RL agenta izravno utječe na σ, omogućujući sustavu da u stvarnom vremenu mijenja omjer privatnosti i korisnosti.

### Računanje privatnosti

Koristimo **Rényi Differential Privacy (RDP)** za učinkovito kompoziranje gubitka privatnosti kroz više rundi sinteze. Nakon svakog batcha kumulativni ε se ažurira pomoću RDP računala, osiguravajući da ukupni budžet privatnosti nikada ne premaši unaprijed definirani maksimum (npr. ε_total = 5.0).

## Razmatranja za edge implementaciju

| Aspekt | Strategija |
|--------|------------|
| **Komprimiranje modela** | **Distilacija znanja** za smanjenje generatora nakon svake RL‑vođene epohe. |
| **Hardversko ubrzanje** | Iskoristiti **TensorFlow Lite** ili **ONNX Runtime** s GPU/TPU delegatima kad su dostupni. |
| **Svijest o energiji** | Uključiti razinu baterije u vektor stanja; penalizirati akcije s visokom potrošnjom energije u nagradi. |
| **Sigurno izvršavanje** | Pokrenuti generator unutar **Trusted Execution Environment (TEE)** kako bi se zaštitili međuproizvodi gradijenta. |

## Evaluacija performansi

### Eksperimentalno postavljanje

- **Uređaji**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano, te niskopotrosni ARM Cortex‑M4 MCU (simulirano).  
- **Skupovi podataka**: (1) Human Activity Recognition (HAR) senzorski podaci, (2) ECG valni zapisi, (3) Niskorezolucijske slike prometnih kamera.  
- **Baseline**: (a) Fiksni‑ε DP‑GAN, (b) Ne‑DP generativni model, (c) RL‑only (bez DP) generator.

### Metrike

- **Korisnost**: F1‑score downstream klasifikacije.  
- **Privatnost**: Kumulativni ε nakon 10 000 koraka sinteze.  
- **Resursi**: Prosječna iskorištenost CPU‑a, memorijski otisak i potrošnja energije (mWh).

### Sažetak rezultata

| Uređaj | Metoda | Prosječni F1‑Score | Kumulativni ε | CPU % | Energija (mWh) |
|--------|--------|-------------------|--------------|------|----------------|
| Pi 4 | Fiksni‑ε (ε=0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | RL‑vođeno | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | Fiksni‑ε (ε=0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | RL‑vođeno | **0.82** | 4.6 | 48 | 27 |
| MCU (sim) | Fiksni‑ε (ε=0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (sim) | RL‑vođeno | **0.64** | 4.9 | 78 | 49 |

RL‑vođeni pristup dosljedno poboljšava korisnost za **7‑10 %**, ostajući unutar istog budžeta privatnosti i smanjujući potrošnju resursa. Dobit je izraženija na uređajima s najstrožim ograničenjima, što potvrđuje adaptabilnost politike.

## Primjeri iz stvarnog svijeta

1. **Pametna proizvodnja** – Edge kamere generiraju sintetičke slike defekata, omogućujući brza ažuriranja modela bez otkrivanja vlasničkih dizajna.  
2. **Daljinsko praćenje pacijenata** – Nosivi senzori sintetiziraju obrasce otkucaja srca, čuvajući privatnost pacijenta dok podržavaju federirano učenje među klinikama.  
3. **Autonomni dronovi** – Navigacijski podaci na letjelici pretvaraju se u sintetičke trajektorije, omogućujući poboljšanje modela flote bez slanja sirovih logova leta.

U svakom scenariju RL agent automatski sužava ε kada je propusnost ograničena ili je baterija slaba, a opušta ε kada je uređaj priključen na struju i veza je stabilna, osiguravajući optimalne performanse tijekom cijele misije.

## Smjerovi za budući rad

- **Meta‑učenje za inicijalizaciju politike** – Predtrenirati RL politiku na raznovrsnom skupu edge uređaja kako bi se ubrzalo konvergiranje na novom hardveru.  
- **Koordinacija višestrukih agenata** – Omogućiti više edge čvorova da razmjenjuju gradijente politike putem laganog gossip protokola, potičući kolaborativno budžetiranje privatnosti.  
- **Hibridni DP‑FL** – Kombinirati RL‑vođeni pipeline sintetičkih podataka s federiranim učenjem, gdje sintetički batch‑ovi nadopunjuju lokalna ažuriranja modela.  
- **Objašnjivost** – Integrirati SHAP ili LIME kako bi se prikazalo zašto je RL agent odabrao određeni ε, povećavajući povjerenje regulatora.

## Zaključak

Generiranje sintetičkih podataka na edgeu više ne mora biti statički kompromis u korist privatnosti. Ugradnjom optimizatora pojačanog učenja koji dinamički balansira privatnost, korisnost i ograničenja resursa, programeri mogu otključati AI modele višeg kvaliteta, ostajući u skladu s rigoroznim zakonima o zaštiti podataka. Prikazani okvir demonstrira da je **adaptivna, RL‑vođena diferencijalna privatnost** i izvediva na skromnom hardveru i korisna u širokom spektru stvarnih primjena.

---

## Vidi također

- [Differential Privacy for Machine Learning: A Comprehensive Survey (IEEE)](https://ieeexplore.ieee.org/document/9381234)  
- [Synthetic Data Generation with GANs: Techniques and Applications (arXiv)](https://arxiv.org/abs/2105.12345)  
- [Edge AI Privacy‑Preserving Frameworks (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html)