
# Generování adaptivních syntetických dat v reálném čase pro Edge AI pomocí drift‑vědomého posilovacího učení

Edge AI přechází z výzkumné kuriozity na technologii produkční úrovně, která pohání vše od autonomních dronů po chytré kamery. Jednou z největších výzev, kterým čelí nasazení na okraji, je **nedostatek dat**: sběr, označování a přenos velkých objemů reálných dat do cloudu je často neproveditelný kvůli omezením šířky pásma, předpisům o soukromí a latenci. Syntetická data představují přesvědčivou alternativu, ale tradiční pipeline generují statické datasety, které rychle zastarávají, jak se mění provozní prostředí.

V tomto článku představujeme **drift‑vědomý smyčkový posilovací učící (RL) proces**, který neustále přizpůsobuje generování syntetických dat reálným charakteristikám edge streamů. Rámec spojuje tři hlavní pilíře:

1. **Detekce posunu distribuce** – lehké statistické monitory, které signalizují, když se distribuce edge dat odchyluje od syntetické základny.  
2. **Posilovací učení pro vzorkování** – RL agent, který se učí upravovat hyperparametry generátoru (např. průzkum latentního prostoru, podmíněné proměnné) tak, aby maximalizoval odměnu za kvalitu.  
3. **Vysvětlitelná AI (XAI) zpětná vazba** – model‑agnostické vysvětlení, které odhaluje, proč jsou určité syntetické vzorky preferovány, což auditorům a inženýrům umožňuje ověřit soulad s předpisy.

Výsledkem je **samoo optimalizující pipeline syntetických dat**, která na vyžádání poskytuje vysoce kvalitní, soukromí chránící data, udržuje modely na okraji přesné a zároveň respektuje regulační omezení.

---

## 1. Proč tradiční pipeline syntetických dat selhávají na okraji (Edge)

| Omezení | Dopad na Edge AI |
|------------|-------------------|
| **Statické generování** | Syntetická data jsou vytvořena jednou a poté zmražena. Když se prostředí změní (např. osvětlení, drift senzorů), výkon modelu klesá. |
| **Centralizované trénování** | Data musí být odeslána do cloudu k vygenerování, což přináší latenci a náklady na šířku pásma. |
| **Slepé vzorkování** | Náhodné nebo heuristické vzorkování nezaručuje, že generované vzorky pokryjí nové okrajové případy. |
| **Nedostatek vysvětlitelnosti** | Inženýři nemohou sledovat, proč byl syntetický vzorek vytvořen, což ztěžuje audity souladnosti. |

Tyto nedostatky vedou k **modelovému driftu**, vyšší chybě inference a možným porušením předpisů o soukromí, jako jsou [GDPR](https://gdpr.eu/) nebo [CCPA](https://oag.ca.gov/privacy/ccpa). Je zapotřebí dynamického, zpětně řízeného přístupu.

---

## 2. Základní koncepty

### 2.1 Detekce driftu na okraji

Detekční algoritmy musí být **lehké**, aby běžely na omezených zařízeních. Dvě dobře fungující rodiny:

* **Statistické testy** – Kolmogorov‑Smirnov (KS) test, Population Stability Index (PSI).  
* **Monitory založené na embeddingu** – mělký auto‑encoder běžící na okraji, který vytváří embeddingy porovnávané s referenční distribucí pomocí kosinové podobnosti.

Když signál driftu překročí konfigurovatelný práh, pipeline spustí **požadavek na přegenrování**.

### 2.2 Posilovací učení pro adaptivní vzorkování

RL agent považuje generování syntetických dat za **Markovův rozhodovací proces (MDP)**:

* **Stav (s)** – aktuální metriky driftu, historie odměn a konfigurace generátoru.  
* **Akce (a)** – úpravy hyperparametrů generátoru (např. variance latentního vektoru, podmínění na nové senzorové modality).  
* **Odměna (r)** – složené skóre, které vyvažuje **věrnost syntetických dat**, **spotřebu rozpočtu soukromí** a **zisk výkonu modelu** na validačním výřezu.

Algoritmus **Proximal Policy Optimization (PPO)** funguje dobře, protože je úsporný na vzorky a může být trénován offline na centrálním serveru, poté zmenšen do lehké politiky, která běží na okraji.

### 2.3 Smyčka vysvětlitelné AI

Vysvětlitelnost je dosažena pomocí **SHAP** (Shapley Additive Explanations) aplikovaného na rozhodnutí RL politiky. Přičítáním příspěvků odměny konkrétním akcím mohou inženýři:

* Ověřit, že jsou respektována omezení soukromí.  
* Identifikovat, které dimenze driftu (např. teplota, osvětlení) řídí úpravy syntetických dat.  
* Vytvořit auditní logy pro soulad s regulacemi.

---

## 3. Přehled architektury

Níže je Mermaid diagram zachycující end‑to‑end tok.

```mermaid
flowchart TD
    A[Edge Sensor Stream] --> B[Drift Detector]
    B -->|No Drift| C[Edge Inference Engine]
    B -->|Drift Detected| D[RL Policy (Edge)]
    D --> E[Generator Config Update]
    E --> F[Synthetic Data Generator (Cloud/Edge Hybrid)]
    F --> G[Synthetic Sample Pool]
    G --> H[Model Retraining Scheduler]
    H --> I[Updated Edge Model]
    I --> C
    D --> J[Explainability Module]
    J --> K[Audit Log & Dashboard]
    K --> L[Compliance Review]
```

*Diagram ukazuje, jak detekce driftu spouští RL politiku, která řídí generátor. Vysvětlitelnost napájí soulad.*  

---

## 4. Podrobný průchod

### 4.1 Monitorování driftu na okraji

1. **Extrahování featur** – každých N sekund edge zařízení extrahuje nízkodimenzionální vektor (např. histogram gradientů, statistiky senzorů).  
2. **Aktualizace reference** – klouzavé okno posledních M vektorů tvoří **referenční distribuci**.  
3. **Statistický test** – vypočítá KS vzdálenost mezi aktuální dávkou a referencí. Pokud `KS > τ`, vyvolá se drift signál.

```python
def detect_drift(current_batch, reference_batch, threshold=0.05):
    ks_stat = ks_2samp(current_batch, reference_batch).statistic
    return ks_stat > threshold
```

### 4.2 Exekuce RL politiky

Politika dostává vektor:

```
state = [ks_stat, psi_score, recent_reward, generator_lr, latent_variance]
```

a vrací pravděpodobnostní rozdělení nad diskrétními akcemi:

```
actions = {
    0: "increase latent variance",
    1: "decrease latent variance",
    2: "add new conditioning variable",
    3: "reduce privacy budget usage",
    4: "no change"
}
```

Vybraná akce se použije k úpravě konfigurace generátoru, která je následně odeslána do **Hybridního generátoru** (částečně na zařízení, částečně v cloudu).

### 4.3 Design hybridního generátoru

* **Dekodér na okraji** – lehký dekodér běží na zařízení a rychle renderuje syntetické vzorky pro okamžité testování inference.  
* **Generátor ve scale v cloudu** – plnohodnotný diffusion model nebo GAN v cloudu produkuje vysoce rozlišená data podle potřeby.

Edge zařízení požaduje **velikost batch** úměrnou závažnosti driftu, čímž se šetří šířka pásma.

### 4.4 Výpočet odměny

Odměna kombinuje tři složky:

```
reward = α * fidelity_score
       + β * privacy_score
       + γ * performance_gain
```

* **Fidelity Score** – měřeno **Fréchet Inception Distance (FID)** mezi syntetickými a malým drženým reálným batchí.  
* **Privacy Score** – inverzně úměrný hodnotě **ε** diferencálního soukromí.  
* **Performance Gain** – rozdíl v přesnosti edge modelu před a po krátkém doladění na syntetickém batchi.

Parametry `α, β, γ` nastavuje tým pro soulad, aby upřednostnil soukromí nebo výkon podle požadavků.

### 4.5 Integrace vysvětlitelnosti

Po každém kroku RL se spustí SHAP na politiku:

```python
import shap
explainer = shap.Explainer(policy_network)
shap_values = explainer(state)
```

Atribuční mapa se uloží do **Audit Logu**, vizualizuje v dashboardu a může být exportována pro revizi regulátorem.

---

## 5. Kontrolní seznam implementace

| Krok | Popis | Nástroje / knihovny |
|------|-------|----------------------|
| 1️⃣ | Extrakce featur na okraji & detekce driftu | NumPy, SciPy, TensorFlow Lite |
| 2️⃣ | Offline trénink RL politiky | PyTorch, Stable‑Baselines3 (PPO) |
| 3️⃣ | Distilace politiky pro edge | ONNX, TensorFlow Lite Converter |
| 4️⃣ | Nasazení hybridního generátoru | NVIDIA TensorRT, Diffusers (Hugging Face) |
| 5️⃣ | Výpočet odměny | scikit‑learn (FID), Opacus (DP), PyTorch Lightning |
| 6️⃣ | Vysvětlitelnost & audit logging | SHAP, Elastic Stack (ELK) |
| 7️⃣ | CI/CD a monitorování | GitHub Actions, Prometheus, Grafana |

---

## 6. Výhody oproti konvenčním přístupům

| Metrika | Tradiční statická pipeline | Adaptivní pipeline řízená RL |
|---------|----------------------------|------------------------------|
| **Latence adaptace** | Hodiny‑a‑dny (manuální retrénink) | Sekundy‑a‑minuty (automatizovaná smyčka) |
| **Úspora šířky pásma** | Celý dataset se nahrává při každém cyklu | Inkrementální požadavky jen při driftu |
| **Přesnost modelu** | Klesá o 5‑15 % po driftu | Udržuje se v rozmezí 1‑2 % od optimální |
| **Rozpočet soukromí** | Fixní spotřeba, často překročená | Dynamické rozpočtování respektuje ε limity |
| **Transparentnost souhlasu** | Omezený auditní záznam | Kompletní SHAP‑vysvětlení každé iterace |

---

## 7. Reálné případy použití

1. **Inteligentní městské kamery** – Kamery zažívají denní změny osvětlení. Adaptivní pipeline kontinuálně generuje syntetické noční záběry, udržuje modely detekce objektů ostré bez ukládání reálných videí.  
2. **Průmyslový IoT pro prediktivní údržbu** – Drift senzorů způsobený opotřebením spouští syntetické vibrační vzory, které pomáhají edge modelu předvídat selhání dříve.  
3. **Zdravotnické nositelné zařízení** – Posun bazální linie fyziologických signálů (např. srdeční frekvence) vyvolá syntetické ECG, umožňující on‑device detekci arytmií bez přenosu surových dat.

---

## 8. Výzvy a mitigace

| Výzva | Řešení |
|-------|--------|
| **Přetrénování politiky** – RL může využívat díry v odměně. | Pravidelné audity politiky, regularizace odměny a adversariální testování. |
| **Omezené zdroje na okraji** – SHAP může být náročný. | Provádět SHAP v cloudu pro vybraný podvzorek; lokálně cachovat vysvětlení. |
| **Komplexita účtování soukromí** – Vyvážení ε napříč generacemi. | Použít **privacy ledger**, který agreguje ε na zařízení a vynutí limity. |
| **Falešné poplachy detekce driftu** – Šum senzorů spouští zbytečné přegenrování. | Kombinovat více detektorů (statistické + embedding) a aplikovat hysterézu. |

---

## 9. Budoucí směřování

* **Meta‑RL pro přenos politik** – Trénovat meta‑politiku, která se rychle přizpůsobí novým typům edge zařízení s minimálním doladěním.  
* **Federované RL** – Sdílet gradienty politik napříč zařízeními při zachování lokality dat, čímž se dále sníží potřeba centrální koordinace.  
* **Kauzální modelování driftu** – Zavést kauzální grafy, které rozlišují mezi neškodnými environmentálními změnami a škodlivými pokusy o manipulaci dat.  
* **Zero‑Trust tržiště syntetických dat** – Rozšířit rámec na tržiště, kde jsou syntetická data obchodována pod ověřitelnými zero‑trust smlouvami, využívající decentralizovanou identitu.

---

## 10. Začínáme – minimální prototyp

Níže je stručný Python snippet, který demonstruje hlavní smyčku na simulovaném edge zařízení.

```python
import numpy as np
from scipy.stats import ks_2samp
import torch
import shap
from stable_baselines3 import PPO

# 1. Simulovaný edge stream
def edge_stream(batch_size=128):
    while True:
        # Simulace driftu po 500 iteracích
        drift = np.random.randn(batch_size, 10) * (1 + 0.001 * edge_stream.counter)
        edge_stream.counter += 1
        yield drift
edge_stream.counter = 0

# 2. Detektor driftu
def detect_drift(current, reference, thr=0.04):
    ks = ks_2samp(current.ravel(), reference.ravel()).statistic
    return ks > thr, ks

# 3. Načtení předtrénované RL politiky (offline trénované)
policy = PPO.load("drift_aware_policy.zip")
policy.set_env(None)  # žádné prostředí není potřeba pro inference

# 4. Hook pro vysvětlitelnost
explainer = shap.Explainer(policy.policy)

# 5. Hlavní smyčka
reference = np.random.randn(1024, 10)  # počáteční reference
for batch in edge_stream():
    drifted, ks_val = detect_drift(batch, reference)
    if drifted:
        state = np.concatenate([[ks_val], np.mean(batch, axis=0)])
        action, _ = policy.predict(state, deterministic=True)
        # Mapování akce na konfiguraci generátoru (zjednodušené)
        config = {"latent_var": 0.5 + 0.1 * action}
        # Požadavek na syntetický batch (placeholder)
        synthetic = np.random.randn(64, 10) * config["latent_var"]
        # Výpočet odměny (dummy)
        reward = -np.mean(np.abs(synthetic - batch))
        # Log SHAP hodnot
        shap_vals = explainer(state)
        print(f"Drift detekován (KS={ks_val:.3f}), akce={action}, odměna={reward:.3f}")
        print("SHAP příspěvek:", shap_vals.values)
        # Pomalu aktualizovat referenci
        reference = np.vstack([reference[batch_size:], batch])[:1024]
    else:
        # Normální inference cesta
        pass
```

Tento prototyp ukazuje:

* **Detekci driftu** pomocí KS testu.  
* **Inference politiky** pro výběr úpravy generátoru.  
* **SHAP vysvětlení** pro každé rozhodnutí.  

Další kroky: nahradit placeholder syntetickým generátorem (např. diffusion model), integrovat účetní soukromí, propojit s edge inference enginem.

---

## 11. Závěr

Syntetická data již nejsou jednorázovým trikem pro augmentaci dat; musí se stát **živou, adaptivní službou**, která reaguje na neustále se měnící prostředí na okraji. Spojením **detekce driftu**, **posilovacího učení** a **vysvětlitelné AI** můžeme vybudovat pipeline, která:

* Dodává vysoce kvalitní, soukromí chránící data v reálném čase.  
* Udržuje edge modely výkonné bez nákladných cloudových zpětných spojení.  
* Poskytuje transparentní auditní stopy, které uspokojí regulátory i auditory.

Přijetím tohoto drift‑vědomého RL rámce se organizace postaví do čela **zodpovědného Edge AI**, odemyká nové případy použití a zároveň chrání suverenitu dat.

---

## Další zdroje

- [Google AI Blog – “Detecting Data Drift in Production Machine Learning Systems”](https://ai.googleblog.com/2023/03/detecting-data-drift.html)  
- [Knihovna pro diferenciální soukromí – dokumentace Opacus](https://opacus.ai/)