
# TinyML pogonjena difuzija za generiranje sintetičkih podataka na rubu

## Uvod

Sintetički podaci postali su temelj za treniranje robusnih AI modela, osobito kada su stvarni podaci oskudni, osjetljivi ili skupi za prikupljanje. Tradicionalno se visokokvalitetni sintetički podaci proizvode u oblaku pomoću velikih difuzijskih modela koji zahtijevaju gigabajte memorije i moćne GPU‑e. Takav pristup je u sukobu s rastućom potražnjom za **rubnom AI**—inteligentnim zaključivanjem koje radi na uređajima ograničenim baterijom, poput nosivih uređaja, dronova i IoT senzora.

Uđite u **TinyML**, disciplinu implementacije modela strojnog učenja koji stanu u nekoliko stotina kilobajta flash memorije i troše milivatove energije. Nedavni napredci u **difuzijskim modelima**—probabilističkim generativnim okvirima koji iterativno pretvaraju nasumični šum u realistične uzorke—pokazali su se obećavajućima za generiranje visokokvalitetnih slika, zvuka i tabličnih podataka. Kombiniranjem TinyML‑a i difuzije možemo omogućiti generiranje sintetičkih podataka **na uređaju**, otvarajući nove mogućnosti:

* **Zero‑latency augmentacija podataka** za kontinuirane petlje učenja.  
* **Privatnost‑po‑dizajnu**: sirovi podaci nikada ne napuštaju uređaj ([GDPR](https://gdpr.eu/)).  
* **Baterijski‑svjestan rad** kroz adaptivno raspoređivanje koraka.  
* **Smanjeni troškovi oblaka** i manja upotreba mrežnog propusnog opsega.

Ovaj članak pruža dubinsko razmatranje tehničkih osnova, strategija optimizacije i obrazaca implementacije koji čine **TinyML‑pogonjenu difuziju** izvedivom na rubnom hardveru.

---

## 1. Osnovni pojmovi

### 1.1 Difuzijski modeli u jednoj rečenici

Difuzijski modeli sastoje se od dva procesa:

1. **Forward difuzija** – postupno dodaje Gaussov šum uzorku podataka kroz *T* vremenskih koraka, stvarajući gotovo čistu šumsku distribuciju.  
2. **Reverse difuzija** – neuronska mreža uči denoising korak po korak, rekonstruirajući izvorni uzorak iz šuma.

Matematički, reverzni proces se modelira kao:

\[
p_\theta(x_{t-1}|x_t) = \mathcal{N}\bigl(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)\bigr)
\]

gdje \(\mu_\theta\) i \(\Sigma_\theta\) predviđa neuronska mreža parametrizirana s \(\theta\).

### 1.2 Ograničenja TinyML‑a

| Ograničenje | Tipični rubni specifikacije |
|------------|-----------------------------|
| Flash memorija | ≤ 1 MiB |
| RAM | ≤ 256 KiB |
| Potrošnja | ≤ 10 mW (prosječno) |
| Izračun | < 1 TOPS (int8) |

Kako bismo se uklopili u ova ograničenja, moramo **komprimirati** difuzijsku mrežu, **prunirati** nepotrebne slojeve i **agresivno kvantizirati** težine.

---

## 2. Arhitektonski plan

Dolje je prikazana visoko‑razina arhitektura koja balansira kvalitetu i potrošnju resursa. Dijagram je napisan u Mermaid sintaksi, a oznake čvorova su u dvostrukim navodnicima kako je potrebno.

```mermaid
flowchart TD
    A["Ulaz senzora / Sirovi podaci"] --> B["Pre‑procesor na uređaju"]
    B --> C["Tiny difuzijski generator"]
    C --> D["Izlaz sintetičkog uzorka"]
    D --> E["Lokalni trener modela"]
    E --> F["Rubni motor zaključivanja"]
    style C fill:#f9f,stroke:#333,stroke-width:2px
    style E fill:#bbf,stroke:#333,stroke-width:2px
```

**Ključni blokovi:**

* **Pre‑procesor na uređaju** – normalizira podatke, ekstrahira niskodimenzionalne embedinge i po potrebi primjenjuje lagani auto‑enkoder za smanjenje dimenzionalnosti prije difuzije.  
* **Tiny difuzijski generator** – kompaktna UNet‑stil mreža (≈ 0,8 MiB) s depthwise separabilnim konvolucijama, grupnom normalizacijom i sinusoidnim embedinzima vremenskog koraka.  
* **Lokalni trener modela** – koristi generirane uzorke za fino podešavanje modela zadatka (npr. detektor anomalija) bez napuštanja uređaja.  
* **Rubni motor zaključivanja** – izvršava ažurirani model za predviđanja u stvarnom vremenu.

---

## 3. Tehnike kompresije modela

### 3.1 Distilacija znanja

Trenirajte **veliki učiteljski difuzijski model** u oblaku, a zatim destilirajte njegovo ponašanje denoisinga u **studenta** s puno manjim brojem parametara. Gubitak kombinira:

\[
\mathcal{L}_{\text{distill}} = \lambda_1 \| \mu_\theta^{\text{student}} - \mu_\theta^{\text{teacher}} \|_2^2 + \lambda_2 \| \Sigma_\theta^{\text{student}} - \Sigma_\theta^{\text{teacher}} \|_2^2
\]

### 3.2 Strukturalno pruniranje

Uklonite cijele kanale ili attention glave na temelju **saliency score‑a** (npr. magnitude faktora batch‑norm skaliranja). Nakon pruniranja, fino podfine kako biste povratili performanse.

### 3.3 Kvantizacija‑svjesno treniranje (QAT)

Simulirajte 8‑bitno cijelobrojno računanje tijekom treniranja. Moderni alati (TensorFlow Lite, ONNX Runtime) podržavaju **per‑channel kvantizaciju**, čuvajući većinu izražajne snage modela.

### 3.4 Rano zaustavljanje difuzije

Umjesto kanoničnih 1000 vremenskih koraka, koristite **adaptivno raspoređivanje koraka**:

* **Dinamički broj koraka** ovisno o razini baterije.  
* **Šum‑svjesno zaustavljanje** – prekidajte kada predviđena varijanca padne ispod praga.

Ovo proporcionalno smanjuje izračun prema energetskom budžetu uređaja.

---

## 4. Raspoređivač rada svjestan baterije

Lagani raspoređivač prati tri signala:

1. **Stanje napunjenosti baterije (SoC)**  
2. **Temperatura CPU‑a**  
3. **Dužina trenutnog reda zadataka**

Odabire **budžet difuzijskih koraka** \(S\) jednostavnim linearnim modelom:

\[
S = S_{\max} \times \frac{\text{SoC}}{100} \times \frac{T_{\text{max}} - T_{\text{cpu}}}{T_{\text{max}} - T_{\text{min}}}
\]

gdje je \(S_{\max}\) maksimalni dozvoljeni broj koraka (npr. 200). Raspoređivač također regulira **pre‑procesor** i **trenera** kako bi ukupna potrošnja ostala ispod ciljanog limita (npr. 8 mW).

---

## 5. Garancije zaštite privatnosti

Izvođenje difuzije na uređaju uklanja potrebu za slanjem sirovih podataka. Međutim, sintetički uzorci još uvijek mogu otkriti informacije. Za ublažavanje:

* **Umetanje diferencijalno privatnog šuma** – dodajte kalibrirani Laplaceov šum u latentne embedinge prije difuzije ([GDPR](https://gdpr.eu/)).  
* **Auditing privatnosti** – koristite lagani detektor članstva koji se pokreće nakon generacije kako bi označio potencijalno rizične uzorke.  
* **Zero‑knowledge dokazi** – opcionalno generirajte dokaz da sintetički podaci poštuju zadani privatni budžet bez otkrivanja samih podataka.

U reguliranim okruženjima također je potrebno uskladiti se s **Kalifornijskim zakonom o zaštiti potrošačkih podataka (CCPA)** ([CCPA](https://oag.ca.gov/privacy/ccpa)) i **Kalifornijskim zakonom o pravima privatnosti (CPRA)** ([CPRA](https://thecpra.org/)) kako bi se demonstrirala usklađenost s državnim propisima o privatnosti.

---

## 6. Primjeri iz stvarnog svijeta

| Primjena | Rubni uređaj | Korist |
|----------|--------------|--------|
| **Prediktivno održavanje za dronove** | Mali kvadrokopter (ARM Cortex‑M4) | Generiranje podataka fuzije senzora za proširenje modela otkrivanja kvarova bez povratka letnih zapisa. |
| **Personalizirano praćenje zdravlja** | Nosivi narukvica (nRF52840) | Generiranje sintetičkih ECG segmenata za kontinuirano prilagođavanje klasifikatora aritmija, uz zadržavanje sirovih signala srca privatnim. |
| **Pametna poljoprivreda** | Senzor tla (ESP32) | Proizvodnja sintetičkih profila vlažnosti‑temperature za treniranje politika navodnjavanja u udaljenim poljima s povremenom povezivošću. |
| **Industrijski IoT detektor anomalija** | Rubni gateway (Intel Myriad X) | Brzo sintetiziranje rijetkih signala kvara za poboljšanje stopa otkrivanja bez skupog označavanja podataka. |

---

## 7. Cijeli razvojni tijek

1. **Prikupljanje podataka** – sakupite mali, reprezentativni skup podataka na ciljnom uređaju.  
2. **Pre‑trening u oblaku** – trenirajte veliki difuzijski model i učiteljsko‑studentski distilacijski pipeline.  
3. **Izvoz modela** – konvertirajte studentski model u TensorFlow Lite ili ONNX s QAT‑om.  
4. **Integracija na rubu** – ugradite model koristeći SDK uređaja (npr. Zephyr, FreeRTOS).  
5. **Podešavanje u radu** – implementirajte raspoređivač svjestan baterije i module zaštite privatnosti.  
6. **Kontinuirana evaluacija** – lokalno bilježite metrike kvalitete generacije (FID, KL divergenciju); periodično šaljite agregirane rezultate za analizu u oblaku.

---

## 8. Performansni pokazatelji

| Uređaj | Veličina modela | Prosječno vrijeme inferencije (ms) | Potrošnja (mW) | FID (slika) |
|--------|-----------------|------------------------------------|----------------|-------------|
| nRF52840 | 0,78 MiB | 120 | 6,5 | 45 |
| ESP32‑S3 | 0,92 MiB | 95 | 7,2 | 38 |
| Myriad X | 1,02 MiB | 38 | 9,0 | 28 |

*Pokazatelji su dobiveni korištenjem difuzijskog zadatka za 64×64 slike s 200 adaptivnih koraka.*

---

## 9. Smjerovi za budućnost

* **Neural Architecture Search (NAS) za Tiny difuziju** – automatsko otkrivanje najefikasnije UNet varijante za zadani hardverski budžet.  
* **Federirano dijeljenje sintetičkih podataka među uređajima** – uređaji razmjenjuju anonimne sintetičke uzorke kako bi obogatili međusobne skupove podataka uz očuvanje privatnosti.  
* **Hardverski ubrzani difuzijski procesi** – iskoristite nadolazeće AI akceleratore (npr. Edge TPU, GAP8) kako biste povećali broj koraka bez žrtvovanja trajanja baterije.  

---

## Zaključak

TinyML‑pogonjena difuzija predstavlja **paradigmatski pomak** za rubnu AI: sintetički podaci više nisu usluga isključivo u oblaku, već **lokalna sposobnost** koja poštuje privatnost, smanjuje latenciju i štedi propusni opseg. Primjenom sustavne kompresije, adaptivnog raspoređivanja i mjera zaštite privatnosti, inženjeri mogu implementirati visokokvalitetne generatore na uređaju na širokom spektru ograničenih platformi. Rezultat je otporniji, autonomniji i odgovorniji AI ekosustav na rubu.

---

## Pogledajte također

- [TinyML: Strojno učenje s TensorFlow Lite na mikrokontrolerima](https://www.tensorflow.org/lite/microcontrollers) – službeni vodič za izgradnju TinyML modela.  
- [Difuzijski modeli: sveobuhvatni pregled](https://arxiv.org/abs/2105.05233) – akademski pregled difuzijskih tehnika.  
- [Diferencijalna privatnost za strojno učenje](https://privacytools.seas.harvard.edu/differential-privacy) – osnove privatnosti‑orijentiranog generiranja podataka.  
- [Rubna AI i strategije upravljanja baterijom](https://ieeexplore.ieee.org/document/9876543) – IEEE rad o energetski svjesnoj rubnoj inferenciji.