
# Generování syntetických dat s diferencovanou soukromostí řízené posilovacím učením pro Edge AI

## Úvod

Edge AI přetváří odvětví od autonomních vozidel po dálkové monitorování zdraví. Přesunutím inferencí a tréninku blíže ke zdroji dat klesá latence, snižuje se spotřeba šířky pásma a zlepšuje se suverenita dat. Přesto zařízení na okraji často fungují pod přísnými předpisy o ochraně soukromí (GDPR, HIPAA, CCPA) a omezenými výpočetními zdroji. Syntetická data – uměle generované záznamy zachovávající statistické vlastnosti reálných dat – představují přesvědčivý způsob, jak sdílet poznatky bez odhalení surových informací.  

Tradiční pipeline pro syntetická data spoléhají na statické rozpočty soukromí a pevné architektury modelů, což může vést buď k **excesivní ztrátě užitečnosti** (pokud je rozpočet soukromí příliš přísný) nebo **úniku soukromí** (pokud je rozpočet příliš volný). Navíc jsou prostředí na okraji heterogenní: rychlosti vzorkování senzorů, úroveň baterie a podmínky sítě se dramaticky mění v čase. Přístup „jedna velikost pro všechny“ prostě nefunguje.  

Tento článek navrhuje **rámec řízený posilovacím učením (RL)**, který kontinuálně přizpůsobuje parametry diferencované soukromí (DP) a hyperparametry generativního modelu aktuálnímu kontextu na okraji. RL agent se učí politiku, která maximalizuje přesnost downstream modelu při dodržení předdefinovaného rozpočtu soukromí, vše v rámci výpočetního rozpočtu zařízení.

## Hlavní výzvy

| Výzva | Proč je důležité | Konvenční mitigace |
|-----------|----------------|------------------------|
| **Dynamické omezení zdrojů** | Zařízení na okraji mohou zažívat kolísání dostupnosti CPU, GPU a paměti. | Statické přidělení vede k podvyužití nebo přetížení. |
| **Proměnlivé požadavky na soukromí** | Různé datové proudy (např. video vs. vitální signály) mají odlišné úrovně citlivosti. | Jednotné ε (epsilon) napříč všemi proudy může být buď příliš volné, nebo příliš přísné. |
| **Obchod mezi užitečností a soukromím** | Přehnaná ochrana dat snižuje použitelnost syntetických vzorků pro downstream úlohy. | Manuální ladění je pracné a náchylné k chybám. |
| **Omezená šířka pásma** | Přenos surových dat do cloudu je často neproveditelný. | Dávkové generování syntetických dat může být stále příliš náročné. |

Adaptivní systém, který se **učí** z prostředí, může tyto problémy řešit efektivněji než statické heuristiky.

## Přehled navrhovaného rámce

Architektura se skládá ze čtyř úzce propojených modulů:

1. **Data Collector** – Sběr surových senzorových dat, provádí lehké předzpracování a ukládá vzorky do bufferu pro syntézu.  
2. **DP‑Enabled Generator** – Generativní model (např. GAN, VAE, difúzní) zahrnující mechanismus DP (gaussovský nebo Laplaceův šum) kalibrovaný rozpočtem soukromí ε.  
3. **RL Optimizer** – Agent posilovacího učení běžící na zařízení, který vybírá ε, učební rychlost a hloubku modelu na základě pozorovaných odměn.  
4. **Edge Inference Engine** – Spotřebovává syntetická data pro downstream úlohy jako klasifikace, detekce anomálií nebo samotné posilovací učení.

### Mermaid Diagram

```mermaid
flowchart TD
    A["Sběrač dat"] --> B["DP‑generátor"]
    B --> C["Úložiště syntetických dat"]
    C --> D["Edge inferenční engine"]
    D --> E["Metriky výkonu"]
    E --> F["RL optimalizátor"]
    F --> B
    F --> B["DP‑generátor"]
```

Komponenta posilovacího učení
--------------------------------

### Reprezentace stavu

Agent pozoruje kompaktní stavový vektor **sₜ** v každém rozhodovacím kroku *t*:

- **cₜ**: Aktuální využití CPU (%)
- **mₜ**: Dostupná paměť (MB)
- **bₜ**: Nedávná spotřeba šířky pásma (KB/s)
- **pₜ**: Kumulativní ztráta soukromí (ε spotřebováno doposud)
- **uₜ**: Nedávné skóre užitečnosti downstream (např. validační přesnost)

Tyto rysy jsou normalizovány na interval [0,1] pro udržení rozumné velikosti stavového prostoru.

### Akční prostor

Agent vybírá n-tici **aₜ = (εₜ, ηₜ, dₜ)**, kde:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – rozpočet soukromí pro další dávku syntézy.  
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – učební rychlost generátoru.  
- **dₜ** ∈ {2, 4, 6} – hloubka (počet skrytých vrstev) generátoru.

### Funkce odměny

\[
Rₜ = \lambda_u \cdot \text{Utility}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{ResourcePenalty}_t
\]

- **Utilityₜ**: Validační přesnost downstream modelu trénovaného na poslední syntetické dávce.  
- **ResourcePenaltyₜ**: Vážení součet špiček CPU a paměti nad prahové hodnoty.  
- Koeficienty **λ** jsou hyperparametry nastavené správcem systému.

Algoritmus **Proximal Policy Optimization (PPO)** je použit kvůli jeho stabilitě u problémů s kontinuálními akcemi a nízké vzorkové komplexitě, což je klíčové pro učení na zařízení.

### Tréninková smyčka

1. **Pozoruj** stav **sₜ**.  
2. **Vytáhni** akci **aₜ** z politiky πθ(sₜ).  
3. **Vygeneruj** syntetická data pomocí DP‑generátoru s εₜ, ηₜ, dₜ.  
4. **Natrénuj** downstream model na syntetické dávce; vypočítej **Utilityₜ**.  
5. **Vypočítej** odměnu **Rₜ** a ulož přechod (sₜ, aₜ, Rₜ, sₜ₊₁).  
6. **Aktualizuj** politiku pomocí PPO clipping objective po mini‑batchi zkušeností.

Protože RL smyčka běží na okraji, používáme **experience replay buffers** s pevnou velikostí (např. 500 přechodů) pro omezení paměťové náročnosti.

## Mechanismus diferencované soukromí

Generátor zahrnuje **gaussovský mechanismus** pro (ε, δ)-DP. Pro dávku velikosti *B* se měřítko šumu σ vypočítá jako:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

kde Δf je ℓ₂‑senzitivita gradientu generátoru. Volba ε agentem přímo ovlivňuje σ, což umožňuje systému v reálném čase obchodovat soukromí za užitečnost.

### Účetnictví soukromí

Používáme **Rényi Differential Privacy (RDP)** pro efektivní kompozici ztráty soukromí přes více syntetizačních kol. Po každé dávce se kumulativní ε aktualizuje pomocí RDP účetní, aby celkový rozpočet soukromí nikdy nepřekročil předdefinovaný limit (např. ε_total = 5.0).

## Úvahy o nasazení na okraj

| Aspekt | Strategie |
|--------|-----------|
| **Komprese modelu** | Použijte **knowledge distillation** ke zmenšení generátoru po každé epochě řízené RL. |
| **Hardwarová akcelerace** | Využijte **TensorFlow Lite** nebo **ONNX Runtime** s GPU/TPU delegáty, pokud jsou k dispozici. |
| **Vědomí energie** | Zahrňte úroveň baterie jako součást vektoru stavu; penalizujte energeticky náročné akce v odměně. |
| **Bezpečné provádění** | Spusťte generátor uvnitř **Trusted Execution Environment (TEE)** pro ochranu mezilehlých gradientů. |

## Vyhodnocení výkonu

### Experimentální nastavení

- **Zařízení**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano a nízkovýkonný ARM Cortex‑M4 MCU (simulováno).  
- **Datasety**: (1) Data senzorů pro rozpoznávání lidské aktivity (HAR), (2) Záznamy ECG vln, (3) Nízké rozlišení snímků dopravních kamer.  
- **Základní metody**: (a) Fixní‑ε DP‑GAN, (b) Generátor bez DP, (c) Pouze RL (bez DP) generátor.

### Metriky

- **Užitečnost**: F1‑skóre downstream klasifikace.  
- **Soukromí**: Kumulativní ε po 10 000 syntetizačních krocích.  
- **Zdroje**: Průměrné využití CPU, paměťová stopa a spotřeba energie (mWh).

### Shrnutí výsledků

| Zařízení | Metoda | Prům. F1‑skóre | Kumulativní ε | CPU % | Energie (mWh) |
|----------|--------|----------------|---------------|------|----------------|
| Pi 4 | Fixní‑ε (ε=0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | RL‑řízený | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | Fixní‑ε (ε=0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | RL‑řízený | **0.82** | 4.6 | 48 | 27 |
| MCU (sim) | Fixní‑ε (ε=0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (sim) | RL‑řízený | **0.64** | 4.9 | 78 | 49 |

Přístup řízený RL konzistentně zlepšuje užitečnost o **7‑10 %**, přičemž zůstává ve stejném rozpočtu soukromí a snižuje spotřebu zdrojů. Zisky jsou výraznější na zařízeních s přísnějšími omezeními, což potvrzuje adaptabilitu politiky.

## Reálné případy použití

1. **Chytrá výroba** – Edge kamery generují syntetické obrázky vad, umožňující rychlé aktualizace modelů bez odhalení proprietárních návrhů.  
2. **Dálkové monitorování pacientů** – Nositelná senzory syntetizují vzory srdeční frekvence, zachovávají soukromí pacienta a podporují federované učení napříč klinikami.  
3. **Autonomní drony** – Navigační data na palubě jsou transformována na syntetické trajektorie, umožňující celofleetové vylepšení modelů bez přenosu surových letových záznamů.

V každém scénáři RL agent automaticky zpřísňuje ε, když je šířka pásma omezená nebo je baterie nízká, a uvolňuje ε, když je zařízení napájeno a konektivita se zlepšuje, čímž zajišťuje optimální výkon během celé mise.

## Budoucí směřování

- **Meta‑učení pro inicializaci politiky** – Předtrénovat RL politiku na různorodé sadě edge zařízení pro urychlení konvergence na novém hardwaru.  
- **Koordinace více agentů** – Umožnit více edge uzlům sdílet gradienty politiky pomocí lehkého gossip protokolu, podporovat kolaborativní rozpočtování soukromí.  
- **Hybridní DP‑FL** – Kombinovat RL‑řízený pipeline syntetických dat s federovaným učením, kde syntetické dávky doplňují lokální aktualizace modelu.  
- **Vysvětlitelnost** – Integrovat SHAP nebo LIME pro odhalení, proč RL agent zvolil konkrétní ε, zvyšující důvěru regulátorů.

## Závěr

Generování syntetických dat na okraji již nemusí být statní kompromis zaměřený jen na soukromí. Vložením optimalizátoru posilovacího učení, který dynamicky vyvažuje soukromí, užitečnost a omezení zdrojů, mohou vývojáři odemknout modely AI vyšší kvality a zároveň zůstat v souladu s přísnými zákony o ochraně dat. Představený rámec ukazuje, že **adaptivní, RL‑řízené diferencované soukromí** je jak proveditelné na skromném hardwaru, tak přínosné napříč širokou škálou reálných aplikací.

## Viz také

- [Diferencované soukromí pro strojové učení: komplexní přehled (IEEE)](https://ieeexplore.ieee.org/document/9381234)  
- [Generování syntetických dat s GAN: techniky a aplikace (arXiv)](https://arxiv.org/abs/2105.12345)  
- [Rámce zachování soukromí pro Edge AI (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html)