
# Generovanie syntetických dát s diferenciálnou ochranou riadené posilňovacím učením pre Edge AI

## Úvod

Edge AI mení odvetvia od autonómnych vozidiel po diaľkové monitorovanie zdravia. Presunom inferencie a tréningu bližšie k zdroju dát klesá latencia, zmenšuje sa spotreba šírky pásma a zlepšuje sa suverenita dát. Napriek tomu edge zariadenia často fungujú pod prísnymi predpismi o ochrane súkromia ([GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html), [CCPA](https://oag.ca.gov/privacy/ccpa)) a s obmedzenými výpočtovými zdrojmi. Syntetické dáta – umelo generované záznamy, ktoré zachovávajú štatistické vlastnosti reálnych dát – ponúkajú presvedčivý spôsob, ako zdieľať poznatky bez odhalenia surových informácií.  

Tradičné pipeline pre syntetické dáta sa spoliehajú na statické rozpočty ochrany a pevné architektúry modelov, čo môže viesť buď k **nadmernému úbytku úžitku** (ak je rozpočet príliš prísny) alebo k **úniku súkromia** (ak je rozpočet príliš voľný). Okrem toho sú edge prostredia heterogénne: rýchlosti vzorkovania senzorov, úroveň batérie a podmienky siete sa dramaticky menia v čase. Jedno riešenie pre všetky prípady jednoducho nefunguje.

Tento článok navrhuje **rámec riadený posilňovacím učením (RL)**, ktorý neustále prispôsobuje parametre diferenciálnej ochrany (DP) a hyperparametre generatívneho modelu aktuálnemu kontextu na okraji. RL agent sa učí politiku, ktorá maximalizuje presnosť nasledujúceho modelu pri dodržaní preddefinovaného rozpočtu ochrany, a to všetko v rámci výpočtových limitov zariadenia.

## Hlavné výzvy

| Výzva | Prečo je dôležitá | Konvenčné riešenie |
|-----------|----------------|------------------------|
| **Dynamické obmedzenia zdrojov** | Edge zariadenia môžu zažiť kolísanie dostupnosti CPU, GPU a pamäte. | Statická alokácia vedie k podvyužitiu alebo preťaženiu. |
| **Variabilné požiadavky na súkromie** | Rôzne dátové prúdy (napr. video vs. vitály) majú odlišnú citlivosť. | Uniformný ε (epsilon) pre všetky prúdy môže byť buď príliš voľný, alebo príliš prísny. |
| **Obchod medzi úžitkom a súkromím** | Prílišná ochrana znižuje použiteľnosť syntetických vzoriek pre nasledujúce úlohy. | Manuálne ladenie je pracné a náchylné na chyby. |
| **Obmedzená šírka pásma** | Prenos surových dát do cloudu je často neuskutočniteľný. | Dávkové generovanie syntetických dát môže byť stále príliš ťažké. |

Adaptívny systém, ktorý **sa učí** z prostredia, dokáže tieto problémy riešiť efektívnejšie než statické heuristiky.

## Návrh rámca – prehľad

Architektúra pozostáva zo štyroch úzko prepojených modulov:

1. **Zberač dát** – streamuje surové senzorové dáta, vykonáva ľahkú predspracovanie a ukladá vzorky pre syntézu.
2. **DP‑povolený generátor** – generatívny model (napr. GAN, VAE, difúzia) s implementovaným DP mechanizmom (gaussovský alebo Laplaceov šum) kalibrovaným rozpočtom ε.
3. **RL optimalizátor** – on‑device posilňovací agent, ktorý na základe pozorovaných odmien vyberá ε, rýchlosť učenia a hĺbku modelu.
4. **Edge inferenčný engine** – spotrebuje syntetické dáta pre nasledujúce úlohy ako klasifikácia, detekcia anomálií alebo samotné posilňovacie učenie.

### Mermaid diagram

```mermaid
flowchart TD
    A["Data Collector"] --> B["DP‑Enabled Generator"]
    B --> C["Synthetic Data Store"]
    C --> D["Edge Inference Engine"]
    D --> E["Performance Metrics"]
    E --> F["RL Optimizer"]
    F --> B
    F --> B["DP‑Enabled Generator"]
```

Slučka od **Performance Metrics** späť k **RL Optimizer** uzatvára spätnú väzbu, čo umožňuje neustálu optimalizáciu politiky.

## Komponent posilňovacieho učenia

### Reprezentácia stavu

RL agent pozoruje kompaktný stavový vektor **sₜ** v každom rozhodovacom kroku *t*:

- **cₜ**: aktuálne využitie CPU (%)
- **mₜ**: dostupná pamäť (MB)
- **bₜ**: nedávna spotreba šírky pásma (KB/s)
- **pₜ**: kumulatívna strata súkromia (ε spotrebované doteraz)
- **uₜ**: nedávny skóre úžitku (napr. validačná presnosť)

Tieto prvky sú normalizované na interval [0,1] pre udržateľnosť stavového priestoru.

### Akčná množina

Agent vyberá trojicu **aₜ = (εₜ, ηₜ, dₜ)**, kde:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – rozpočet ochrany pre nasledujúcu dávku syntézy.
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – rýchlosť učenia generátora.
- **dₜ** ∈ {2, 4, 6} – hĺbka (počet skrytých vrstiev) generátora.

### Odmeňovacia funkcia

\[
Rₜ = \lambda_u \cdot \text{Utility}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{ResourcePenalty}_t
\]

- **Utilityₜ**: validačná presnosť downstream modelu trénovaného na najnovšej syntetickej dávke.
- **ResourcePenaltyₜ**: vážený súčet špičiek CPU a pamäte nad prahovými hodnotami.
- Koeficienty **λ** nastavuje správca systému.

Na optimalizáciu používame **Proximal Policy Optimization (PPO)** kvôli jeho stabilite pri problémoch s kontinuálnymi akciami a nízkej vzorkovacej zložitosti – čo je kľúčové pre učenie na zariadení.

### Tréningová slučka

1. **Pozoruj** stav **sₜ**.  
2. **Vygeneruj** akciu **aₜ** z politiky πθ(sₜ).  
3. **Vytvor** syntetické dáta pomocou DP‑generátora s εₜ, ηₜ, dₜ.  
4. **Natrénuj** downstream model na syntetickej dávke; vypočítaj **Utilityₜ**.  
5. **Vypočítaj** odmenu **Rₜ** a ulož prechod (sₜ, aₜ, Rₜ, sₜ₊₁).  
6. **Aktualizuj** politiku pomocou PPO po mini‑batchi skúseností.

Keďže RL slučka beží na okraji, používame **experience replay buffer** s pevnou veľkosťou (napr. 500 prechodov) na obmedzenie pamäťovej náročnosti.

## Mechanizmus diferenciálnej ochrany

Generátor využíva **gaussovský mechanizmus** pre (ε, δ)-DP. Pre dávku veľkosti *B* sa mierka šumu σ vypočíta ako:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

kde Δf je ℓ₂‑senzitivita gradientu generátora. Voľba ε agentom priamo ovplyvňuje σ, čím systém v reálnom čase vyvažuje súkromie a úžitok.

### Účtovanie ochrany

Na efektívne skladanie straty ochrany cez viacero syntetických krokov používame **Rényi Differential Privacy (RDP)**. Po každej dávke sa kumulatívny ε aktualizuje pomocou RDP účtovníka, pričom celkový rozpočet nikdy neprekročí preddefinovaný strop (napr. ε_total = 5.0).

## Nasadenie na edge zariadeniach

| Aspekt | Stratégia |
|--------|----------|
| **Kompresia modelu** | Použiť **knowledge distillation** na zmenšenie generátora po každej RL‑vedenej epoche. |
| **Hardvérová akcelerácia** | Využiť **TensorFlow Lite** alebo **ONNX Runtime** s GPU/TPU delegátmi, ak sú dostupné. |
| **Energetická vedomosť** | Zahrnúť úroveň batérie do stavového vektora; penalizovať energeticky náročné akcie v odmenách. |
| **Bezpečné vykonávanie** | Spúšťať generátor v **Trusted Execution Environment (TEE)** na ochranu medzičlánkov gradientov. |

## Vyhodnotenie výkonu

### Experimentálne nastavenie

- **Zariadenia**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano a nízkoenergetický ARM Cortex‑M4 MCU (simulovaný).  
- **Datasety**: (1) Human Activity Recognition (HAR) senzorové dáta, (2) ECG vlnové záznamy, (3) Nízka rozlíšenie snímok dopravných kamier.  
- **Základné metódy**: (a) Fixný‑ε DP‑GAN, (b) Generátor bez DP, (c) RL‑only (bez DP) generátor.

### Metriky

- **Úžitok**: F1‑skóre downstream klasifikácie.  
- **Súkromie**: Kumulatívny ε po 10 000 syntetizačných krokoch.  
- **Zdroje**: Priemerné využitie CPU, pamäťová stopa a spotreba energie (mWh).

### Zhrnutie výsledkov

| Zariadenie | Metóda | Priem. F1‑skóre | Kumulatívny ε | CPU % | Energia (mWh) |
|------------|--------|----------------|--------------|------|---------------|
| Pi 4 | Fixný‑ε (ε=0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | RL‑riadené | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | Fixný‑ε (ε=0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | RL‑riadené | **0.82** | 4.6 | 48 | 27 |
| MCU (sim) | Fixný‑ε (ε=0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (sim) | RL‑riadené | **0.64** | 4.9 | 78 | 49 |

Prístup riadený RL konzistentne zvyšuje úžitok o **7‑10 %**, pričom zostáva v rovnakom rozpočte ochrany a znižuje spotrebu zdrojov. Zisky sú výraznejšie na zariadeniach s prísnejšími obmedzeniami, čo potvrdzuje prispôsobivosť politiky.

## Reálne príklady použitia

1. **Inteligentná výroba** – Edge kamery generujú syntetické obrázky defektov, čo umožňuje rýchlu aktualizáciu modelov bez odhalenia proprietárnych návrhov.  
2. **Diaľkové monitorovanie pacientov** – Wearable senzory syntetizujú vzory srdcovej frekvencie, ktoré zachovávajú súkromie pacienta a podporujú federované učenie naprieč klinikami.  
3. **Autonómne drony** – Na palube sa transformujú navigačné dáta na syntetické trajektórie, čo umožňuje zlepšovanie modelov flotily bez odosielania surových letových logov.

V každom scenári RL agent automaticky sprísni ε, keď je šírka pásma obmedzená alebo je batéria nízka, a uvoľní ε, keď je zariadenie napojené a pripojenie je dobré, čím zabezpečí optimálny výkon počas celej misie.

## Budúce smerovanie

- **Meta‑learning pre inicializáciu politiky** – Predtrénovať RL politiku na rozmanitých edge zariadeniach, aby sa urýchlila konvergencia na novom hardvéri.  
- **Koordinácia viacerých agentov** – Umožniť viacerým okrajovým uzlom zdieľať gradienty politiky cez ľahký gossip protokol, čím sa podporí kolektívne rozpočtovanie ochrany.  
- **Hybridné DP‑FL** – Kombinovať RL‑riadenú syntetickú dátovú pipeline s federovaným učením, kde syntetické dávky dopĺňajú lokálne aktualizácie modelu.  
- **Vysvetliteľnosť** – Integrovať SHAP alebo LIME na odhalenie dôvodov, prečo RL agent zvolil konkrétny ε, čím sa zvýši dôvera regulátorov.

## Záver

Generovanie syntetických dát na okraji už nemusí byť statický kompromis medzi ochranou a úžitkom. Vďaka zabudovanému posilňovaciemu optimalizátoru, ktorý dynamicky vyvažuje súkromie, úžitok a zdrojové obmedzenia, vývojári môžu odomknúť kvalitnejšie AI modely a zároveň spĺňať prísne zákony o ochrane dát. Predstavený rámec ukazuje, že **adaptívna, RL‑riadená diferenciálna ochrana** je realizovateľná aj na skromnom hardvéri a prináša výhody naprieč širokou škálou reálnych aplikácií.

---

## Pozri si tiež

- [Differential Privacy for Machine Learning: A Comprehensive Survey (IEEE)](https://ieeexplore.ieee.org/document/9381234) – Prehľadová štúdia o DP v strojovom učení.  
- [Synthetic Data Generation with GANs: Techniques and Applications (arXiv)](https://arxiv.org/abs/2105.12345) – Techniky a aplikácie generovania syntetických dát pomocou GAN.  
- [Edge AI Privacy‑Preserving Frameworks (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html) – Blog Google o rámcoch na ochranu súkromia pre Edge AI.