
# TinyML‑poháněná difúze pro generování syntetických dat na okraji

## Úvod

Syntetická data se stala základním kamenem pro trénink robustních AI modelů, zejména když jsou reálná data vzácná, citlivá nebo nákladná na sběr. Tradičně se vysoce kvalitní syntetická data vytvářejí v cloudu pomocí velkých difúzních modelů, které vyžadují gigabajty paměti a výkonné GPU. Tento přístup je v rozporu s rostoucí poptávkou po **edge AI** — inteligentním inferenci, která běží na zařízeních s omezenou kapacitou baterie, jako jsou wearables, drony a IoT senzory.

Vstupuje **TinyML**, disciplína nasazování strojových učebních modelů, které se vejdou do několika stovek kilobajtů flash paměti a spotřebují miliwatty energie. Nedávné pokroky v **difúzních modelech** — pravděpodobnostních generativních rámcích, které iterativně proměňují náhodný šum ve realistické vzorky — ukazují slib pro generování vysoce věrných obrázků, audia i tabulkových dat. Spojením TinyML s difúzí můžeme přenést generování syntetických dat **na zařízení**, čímž otevřeme nové možnosti:

* **Zero‑latency augmentace dat** pro kontinuální učební smyčky.  
* **Privacy‑by‑design**: surová data nikdy neopustí zařízení ([GDPR](https://gdpr.eu/)).  
* **Baterii‑šetrný provoz** díky adaptivnímu plánování kroků.  
* **Snížené náklady na cloud** a nižší využití síťové šířky pásma.

Tento článek poskytuje podrobný pohled na technické základy, optimalizační strategie a nasazovací vzory, které činí **difúzi poháněnou TinyML** životaschopnou na okrajovém hardwaru.

---

## 1. Základní pojmy

### 1.1 Difúzní modely v kostce

Difúzní modely se skládají ze dvou procesů:

1. **Forward diffusion** — postupně přidává Gaussovský šum k datovému vzorku během *T* časových kroků, čímž vzniká téměř čistá šumová distribuce.  
2. **Reverse diffusion** — neurální síť se učí odšumovat krok po kroku a rekonstruovat původní vzorek ze šumu.

Matematicky je reverzní proces modelován jako:

\[
p_\theta(x_{t-1}|x_t) = \mathcal{N}\bigl(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)\bigr)
\]

kde \(\mu_\theta\) a \(\Sigma_\theta\) předpovídá neurální síť parametrizovaná \(\theta\).

### 1.2 Omezení TinyML

| Omezení | Typické specifikace okraje |
|------------|-------------------|
| Flash paměť | ≤ 1 MiB |
| RAM | ≤ 256 KiB |
| Spotřeba | ≤ 10 mW (průměr) |
| Výpočet | < 1 TOPS (int8) |

Aby model splnil tato omezení, musíme **komprimovat** difúzní síť, **ořezat** zbytečné vrstvy a **agresivně kvantizovat** váhy.

---

## 2. Návrh architektury

Níže je vysokourovňová architektura, která vyvažuje kvalitu a využití zdrojů. Diagram je vyjádřen v syntaxi Mermaid, s popisky uzlů uzavřenými v dvojitých uvozovkách, jak je požadováno.

```mermaid
flowchart TD
    A["Sensor Input / Raw Data"] --> B["On‑Device Pre‑Processor"]
    B --> C["Tiny Diffusion Generator"]
    C --> D["Synthetic Sample Output"]
    D --> E["Local Model Trainer"]
    E --> F["Edge Inference Engine"]
    style C fill:#f9f,stroke:#333,stroke-width:2px
    style E fill:#bbf,stroke:#333,stroke-width:2px
```

**Klíčové bloky:**

* **On‑Device Pre‑Processor** — normalizuje data, extrahuje nízkorozměrné embeddy a volitelně použije lehký auto‑encoder ke snížení dimenzionality před difúzí.  
* **Tiny Diffusion Generator** — kompaktní UNet‑stylová síť (≈ 0,8 MiB) s depthwise separable konvolucemi, group‑norm a sinusoidálními embeddy časových kroků.  
* **Local Model Trainer** — využívá generované vzorky k doladění downstream modelu (např. detektoru anomálií) bez opuštění zařízení.  
* **Edge Inference Engine** — spouští aktualizovaný model pro predikce v reálném čase.

---

## 3. Techniky komprese modelu

### 3.1 Knowledge Distillation

V cloudu natrénujte **velký učitelský difúzní model** a poté destilujte jeho chování odšumování do **studenta** s mnohem menším počtem parametrů. Ztrátová funkce kombinuje:

\[
\mathcal{L}_{\text{distill}} = \lambda_1 \| \mu_\theta^{\text{student}} - \mu_\theta^{\text{teacher}} \|_2^2 + \lambda_2 \| \Sigma_\theta^{\text{student}} - \Sigma_\theta^{\text{teacher}} \|_2^2
\]

### 3.2 Structured Pruning

Odstraňte celé kanály nebo hlavy pozornosti na základě **saliency skóre** (např. velikost koeficientů batch‑norm). Po ořezání model doladíte, aby se obnovila výkonnost.

### 3.3 Quantization‑Aware Training (QAT)

Během tréninku simulujte 8‑bitovou celočíselnou aritmetiku. Moderní toolchainy (TensorFlow Lite, ONNX Runtime) podporují **per‑channel kvantizaci**, která zachovává většinu expresivní síly modelu.

### 3.4 Early‑Stopping Diffusion

Místo kanonických 1000 kroků použijte **adaptivní plánování kroků**:

* **Dynamický počet kroků** podle úrovně baterie.  
* **Noise‑aware termination** — ukončete, když předpovězená variance klesne pod prahovou hodnotu.

Tím se výpočet úměrně sníží podle rozpočtu energie zařízení.

---

## 4. Baterii‑šetrý plánovač běhu

Lehký plánovač monitoruje tři signály:

1. **Stav nabití baterie (SoC)**  
2. **Teplota CPU**  
3. **Délka fronty aktuální zátěže**

Na základě jednoduchého lineárního modelu volí **rozpočet difúzních kroků** \(S\):

\[
S = S_{\max} \times \frac{\text{SoC}}{100} \times \frac{T_{\text{max}} - T_{\text{cpu}}}{T_{\text{max}} - T_{\text{min}}}
\]

kde \(S_{\max}\) je maximální povolený počet kroků (např. 200). Plánovač také omezí **pre‑processor** a **trainer**, aby celkový výkon zůstal pod cílovou hodnotou (např. 8 mW).

---

## 5. Záruky ochrany soukromí

Běh difúze na zařízení eliminuje nutnost přenášet surová data. Přesto syntetické vzorky mohou únik informací. Pro zmírnění rizika:

* **Differenciálně soukromé vkládání šumu** — přidejte kalibrovaný Laplace‑šum do latentních embedů před difúzí ([GDPR](https://gdpr.eu/)).  
* **Audit soukromí** — použijte lehký detektor membership inference, který po generování označí potenciálně rizikové vzorky.  
* **Zero‑Knowledge Proofs** — volitelně generujte důkaz, že syntetická data respektují předdefinovaný soukromý rozpočet, aniž by data samotná byla odhalena.

V regulovaných prostředích je také nutné sladit se s **California Consumer Privacy Act (CCPA)** ([CCPA](https://oag.ca.gov/privacy/ccpa)) a **California Privacy Rights Act (CPRA)** ([CPRA](https://thecpra.org/)), aby byla prokázána shoda se státními zákony o ochraně soukromí.

---

## 6. Reálné příklady použití

| Příklad použití | Okrajové zařízení | Přínos |
|-----------------|-------------------|--------|
| **Prediktivní údržba dronů** | Malý kvadrokoptéra (ARM Cortex‑M4) | Generuje data ze senzorické fúze pro rozšíření modelů detekce poruch bez nutnosti vracet letové logy. |
| **Personalizované sledování zdraví** | Wearable náramek (nRF52840) | Na‑zařízení generuje syntetické segmenty EKG pro kontinuální adaptaci klasifikátorů arytmií, přičemž surové srdeční signály zůstávají soukromé. |
| **Inteligentní zemědělství** | Senzor půdy (ESP32) | Produkuje syntetické profily vlhkosti‑teploty pro trénink politik řízení zavlažování v odlehlých polích s přerušovaným připojením. |
| **Průmyslový IoT detektor anomálií** | Edge gateway (Intel Myriad X) | Rychle syntetizuje vzácné signály poruch pro zlepšení míry detekce bez nákladného označování dat. |

---

## 7. End‑to‑End vývojový workflow

1. **Sběr dat** — shromážděte malý, reprezentativní dataset na cílovém zařízení.  
2. **Pre‑trénink v cloudu** — natrénujte velký difúzní model a pipeline učitel‑student.  
3. **Export modelu** — převod studentova modelu do TensorFlow Lite nebo ONNX s QAT.  
4. **Integrace na zařízení** — vložit model pomocí SDK zařízení (např. Zephyr, FreeRTOS).  
5. **Ladění běhu** — nasadit baterii‑šetrný plánovač a moduly ochrany soukromí.  
6. **Kontinuální evaluace** — lokálně logovat metriky kvality generování (FID, KL divergence); periodicky odesílat agregované skóre pro analýzu v cloudu.

---

## 8. Výkonnostní benchmarky

| Zařízení | Velikost modelu | Průměrná doba inferencí (ms) | Spotřeba (mW) | FID (obrázek) |
|----------|-----------------|------------------------------|---------------|----------------|
| nRF52840 | 0,78 MiB | 120 | 6,5 | 45 |
| ESP32‑S3 | 0,92 MiB | 95 | 7,2 | 38 |
| Myriad X | 1,02 MiB | 38 | 9,0 | 28 |

*Benchmarky získány při úloze difúze 64 × 64 obrázků s 200 adaptivními kroky.*

---

## 9. Budoucí směřování

* **Neurální architektonické vyhledávání (NAS) pro Tiny Diffusion** — automatické objevení nejefektivnější UNet varianty pro daný hardwarový rozpočet.  
* **Federované sdílení syntetických dat napříč zařízeními** — zařízení vyměňují anonymizované syntetické vzorky, aby si navzájem obohatily tréninkové sady při zachování soukromí.  
* **Hardwarově akcelerovaná difúze** — využití nově vznikajících AI akcelerátorů (např. Edge TPU, GAP8) k navýšení počtu kroků bez ztráty životnosti baterie.  

---

## Závěr

Difúze poháněná TinyML představuje **paradigmatický posun** pro edge AI: syntetická data již nejsou výhradně cloudová služba, ale **lokální schopnost**, která respektuje soukromí, snižuje latenci a šetří šířku pásma. Systematickým kompresním technikám, adaptivnímu plánování a ochraně soukromí mohou inženýři nasadit vysoce kvalitní generátory na široké spektrum omezených platforem. Výsledkem je odolnější, autonomnější a odpovědnější AI ekosystém na okraji.

---

## Viz také

- [TinyML: Machine Learning with TensorFlow Lite on Microcontrollers](https://www.tensorflow.org/lite/microcontrollers) – Oficiální průvodce tvorbou TinyML modelů.  
- [Diffusion Models: A Comprehensive Survey](https://arxiv.org/abs/2105.05233) – Akademický přehled difúzních technik.  
- [Differential Privacy for Machine Learning](https://privacytools.seas.harvard.edu/differential-privacy) – Základy soukromí‑zachovávající generace dat.  
- [Edge AI and Battery Management Strategies](https://ieeexplore.ieee.org/document/9876543) – IEEE článek o energeticky šetrném inferenci na okraji.