
# TinyML varoma difuzija krašto įrenginių sintetinės duomenų generavimui

## Įvadas

Sintetiniai duomenys tapo kertiniu akmeniu mokant patikimus AI modelius, ypač kai realūs duomenys yra reti, jautrūs arba brangūs surinkti. Tradiciškai aukštos kokybės sintetiniai duomenys kuriami debesyje naudojant didelius difuzijos modelius, kuriems reikia gigabaitų atminties ir galingų GPU. Šis požiūris prieštarauja augančiam **krašto AI** – intelektualios inferencijos, vykdančios ant baterijos apribotų įrenginių, tokių kaip nešiojami įrenginiai, dronai ir IoT jutikliai, poreikiui.

Įžengia **TinyML**, disciplina, skirta diegti mašininio mokymosi modelius, kurie telpa kelių šimtų kilobaitų flash atmintyje ir sunaudoja milivatų galios. Neseniai pasiekta pažanga **difuzijos modeliuose** – probabiliuose generatyvuose sistemose, kurios iteratyviai pertvarko atsitiktinį triukšmą į realistiškus pavyzdžius – rodo perspektyvą generuoti aukštos ištikimybės vaizdus, garsą ir lentelinius duomenis. Sujungus TinyML su difuzija, galime įgyvendinti sintetinės duomenų generavimą **įrenginyje**, atveriant naujas galimybes:

* **Nulinio vėlavimo duomenų augmentacija** nuolatiniams mokymosi ciklams.  
* **Privatumas pagal dizainą**: žali duomenys niekada nepalieka įrenginio ([GDPR](https://gdpr.eu/)).  
* **Baterijos sąmoningas veikimas** per adaptacinį žingsnių planavimą.  
* **Sumažintos debesijos išlaidos** ir mažesnis tinklo pralaidumo naudojimas.

Šiame straipsnyje gilinamasi į technines pagrindus, optimizavimo strategijas ir diegimo modelius, kurie daro **TinyML‑varomą difuziją** įmanomą krašto aparatinėje įrangoje.

---

## 1. Pagrindinės sąvokos

### 1.1 Difuzijos modeliai glaustai

Difuzijos modeliai susideda iš dviejų procesų:

1. **Forward diffusion** – palaipsniui prideda Gauso triukšmą prie duomenų pavyzdžio per *T* laiko žingsnių, sukuriant beveik gryną triukšmo pasiskirstymą.  
2. **Reverse diffusion** – neuroninis tinklas mokosi pašalinti triukšmą žingsnis po žingsnio, atkuriant originalų pavyzdį iš triukšmo.

Matematiškai atvirkštinis procesas modeliuojamas kaip:

\[
p_\theta(x_{t-1}|x_t) = \mathcal{N}\bigl(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)\bigr)
\]

kur \(\mu_\theta\) ir \(\Sigma_\theta\) prognozuoja neuroninis tinklas, parametrizuotas \(\theta\).

### 1.2 TinyML apribojimai

| Apribojimas | Tipinis krašto specifikacija |
|------------|------------------------------|
| Flash atmintis | ≤ 1 MiB |
| RAM | ≤ 256 KiB |
| Galia | ≤ 10 mW (vidutinė) |
| Skaičiavimai | < 1 TOPS (int8) |

Norint tilpti į šiuos limitus, būtina **suspausti** difuzijos tinklą, **apkarpyti** nereikalingus sluoksnius ir **aggressyviai kvantizuoti** svorius.

---

## 2. Architektūros šablonas

Žemiau pateikiama aukšto lygio architektūra, subalansuojanti kokybę ir išteklių naudojimą. Diagrama išreikšta Mermaid sintakse, o mazgų etiketės yra dvigubomis kabutėmis, kaip reikalaujama.

```mermaid
flowchart TD
    A["Jutiklio įvestis / Žali duomenys"] --> B["Įrenginio išankstinis procesorius"]
    B --> C["Tiny difuzijos generatorius"]
    C --> D["Sintetinių pavyzdžių išvestis"]
    D --> E["Vietinis modelio mokytojas"]
    E --> F["Krašto inferencijos variklis"]
    style C fill:#f9f,stroke:#333,stroke-width:2px
    style E fill:#bbf,stroke:#333,stroke-width:2px
```

**Svarbūs blokai:**

* **Įrenginio išankstinis procesorius** – normalizuoja duomenis, išgauna žemos dimensijos įterpimus ir, jei reikia, taiko lengvą auto‑kodavimo modelį, kad sumažintų dimensiją prieš difuziją.  
* **Tiny difuzijos generatorius** – kompaktiškas UNet‑tipo tinklas (≈ 0,8 MiB) su gylio atskirais konvoliuciniais sluoksniais, grupės normalizacija ir sinusoidiniais laiko įterpimais.  
* **Vietinis modelio mokytojas** – naudoja sugeneruotus pavyzdžius, kad be įrenginio išeinančių duomenų patobulintų žemiau esančio užduoties modelį (pvz., anomalijų detektorių).  
* **Krašto inferencijos variklis** – vykdo atnaujintą modelį realaus laiko prognozėms.

---

## 3. Modelio suspaudimo technikos

### 3.1 Žinių distiliacija

Mokykite **didelį mokytojo difuzijos modelį** debesyje, tada distiliuokite jo denoising elgseną į **studentą** su žymiai mažesniu parametrų skaičiumi. Praradimas sujungia:

\[
\mathcal{L}_{\text{distill}} = \lambda_1 \| \mu_\theta^{\text{student}} - \mu_\theta^{\text{teacher}} \|_2^2 + \lambda_2 \| \Sigma_\theta^{\text{student}} - \Sigma_\theta^{\text{teacher}} \|_2^2
\]

### 3.2 Struktūruotas apkarpymas

Pašalinkite visus kanalus arba dėmesio galvas, remiantis **svarbos balais** (pvz., partijos‑normos skalės faktorių dydžiu). Po apkarpymo atlikite smulkinimą, kad atgautumėte našumą.

### 3.3 Kvantizacijos sąmoningas mokymas (QAT)

Mokymo metu simuliuokite 8‑bitų sveikojo skaičiaus aritmetiką. Šiuolaikinės įrankių grandinės (TensorFlow Lite, ONNX Runtime) palaiko **per‑kanalo kvantizaciją**, išlaikant didžiąją modelio išraiškingumą.

### 3.4 Ankstyvas difuzijos sustabdymas

Vietoje įprastų 1000 žingsnių naudokite **adaptacinį žingsnių planavimą**:

* **Dinaminis žingsnių skaičius** pagal baterijos lygį.  
* **Triukšmo sąmoningas nutraukimas** – sustabdykite, kai prognozuojama variacija nukrenta žemiau slenksčio.

Tai proporcingai sumažina skaičiavimus pagal įrenginio galios biudžetą.

---

## 4. Baterijos sąmoningas vykdymo planuotojas

Lengvas planuotojas stebi tris signalus:

1. **Baterijos įkrovos lygis (SoC)**  
2. **CPU temperatūra**  
3. **Dabartinis darbo eilės ilgis**

Jis parenka **difuzijos žingsnių biudžetą** \(S\) naudojant paprastą linijinį modelį:

\[
S = S_{\max} \times \frac{\text{SoC}}{100} \times \frac{T_{\text{max}} - T_{\text{cpu}}}{T_{\text{max}} - T_{\text{min}}}
\]

kur \(S_{\max}\) – maksimalus leidžiamas žingsnių skaičius (pvz., 200). Planuotojas taip pat riboja **išankstinį procesorių** ir **mokytoją**, kad bendras galingumas neviršytų tikslinės ribos (pvz., 8 mW).

---

## 5. Privatumo užtikrinimo garantijos

Vykdant difuziją įrenginyje, nereikia siųsti žalių duomenų. Tačiau sintetiniai pavyzdžiai vis tiek gali atskleisti informaciją. Siekiant sumažinti riziką:

* **Differencijuoto privatumo triukšmo įterpimas** – įterpkite kalibruotą Laplace triukšmą į latentinius įterpimus prieš difuziją ([GDPR](https://gdpr.eu/)).  
* **Privatumo auditavimas** – naudokite lengvą narių įsijungimo detektorių, kuris veikia po generavimo ir žymi galimai rizikingus pavyzdžius.  
* **Zero‑Knowledge įrodymai** – pasirinktine tvarka generuokite įrodymą, kad sintetiniai duomenys atitinka iš anksto nustatytą privatumo biudžetą, neatskleidžiant paties duomens.

Reguliuojamose aplinkose taip pat gali tekti atitikti **Kalifornijos vartotojų privatumo įstatymą (CCPA)** ([CCPA](https://oag.ca.gov/privacy/ccpa)) ir **Kalifornijos privatumo teisių aktą (CPRA)** ([CPRA](https://thecpra.org/)), kad būtų įrodyta atitiktis valstijos lygio privatumo normoms.

---

## 6. Realiosios pasaulio naudojimo atvejai

| Naudojimo atvejis | Krašto įrenginys | Nauda |
|-------------------|------------------|-------|
| **Prognozinė priežiūra dronams** | Mažas kvadratinis dronas (ARM Cortex‑M4) | Generuoja jutiklių sujungimo duomenis, papildantys gedimų aptikimo modelius, be būtinybės grąžinti skrydžio žurnalus. |
| **Personalizuota sveikatos stebėsena** | Nešiojamas apyrankės įrenginys (nRF52840) | Generuoja sintetinį EKG segmentą, leidžiant nuolat adaptuoti aritmijos klasifikatorių, išlaikant žalių širdies signalų privatumą. |
| **Išmanioji žemės ūkio technologija** | Dirvožemio jutiklio mazgas (ESP32) | Sukuria sintetinį drėgmės‑temperatūros profilį, padedantį mokyti drėkinimo kontrolės politiką nuotoliniuose laukuose su periodišku ryšiu. |
| **Pramoninis IoT anomalijų aptikimas** | Krašto vartų įrenginys (Intel Myriad X) | Greitai generuoja retus gedimo parašus, gerinant aptikimo tikslumą be brangaus duomenų žymėjimo. |

---

## 7. Visuotinė kūrimo procesas

1. **Duomenų rinkimas** – surinkite nedidelį, reprezentatyvų duomenų rinkinį tiesiai į tikslinį įrenginį.  
2. **Debesies išankstinis mokymas** – išmokykite didelį difuzijos modelį ir mokymo su mokytoju‑studentu kanalą.  
3. **Modelio eksportavimas** – konvertuokite studento modelį į TensorFlow Lite arba ONNX su QAT.  
4. **Krašto integracija** – įdiekite modelį naudojant įrenginio SDK (pvz., Zephyr, FreeRTOS).  
5. **Vykdymo derinimas** – įdiekite baterijos sąmoningą planuotoją ir privatumo modulius.  
6. **Nuolatinė vertinimas** – lokaliai registruokite generavimo kokybės metrikas (FID, KL divergenciją); periodiškai įkelkite suvestines į debesį analizei.

---

## 8. Našumo testai

| Įrenginys | Modelio dydis | Vidutinis inferencijos laikas (ms) | Galia (mW) | FID (vaizdas) |
|-----------|----------------|------------------------------------|------------|---------------|
| nRF52840 | 0,78 MiB | 120 | 6,5 | 45 |
| ESP32‑S3 | 0,92 MiB | 95 | 7,2 | 38 |
| Myriad X | 1,02 MiB | 38 | 9,0 | 28 |

*Testai atlikti naudojant 64 × 64 vaizdų difuzijos užduotį su 200 adaptacinių žingsnių.*

---

## 9. Ateities kryptys

* **Neuronų architektūros paieška (NAS) Tiny difuzijai** – automatiškai atrasti efektyviausią UNet variantą pagal konkretaus aparatinio apribojimą.  
* **Kryžminis įrenginių federuotas sintetinių duomenų dalijimasis** – įrenginiai keičiasi anonimizuotais sintetiniais pavyzdžiais, praturtindami vieni kitų mokymo rinkinius, išlaikydami privatumą.  
* **Aparatinės įrangos pagreitinta difuzija** – pasinaudokite besivystančiais AI akceleratoriais (pvz., Edge TPU, GAP8), kad padidintumėte žingsnių skaičių be baterijos išsekimo.

---

## Išvada

TinyML‑varoma difuzija žymi **paradigmų poslinkį** krašto AI srityje: sintetiniai duomenys nebe lieka tik debesies paslauga, bet tampa **vietine galimybe**, gerbiančia privatumą, mažinančia vėlavimą ir taupančia pralaidumą. Taikant sistemingą suspaudimą, adaptacinį planavimą ir privatumo priemones, inžinieriai gali įdiegti aukštos kokybės duomenų generatorius įvairiuose apribotuose platformose. Tai lemia patvaresnę, autonomišką ir atsakingą AI ekosistemą krašte.

---

## Taip pat žiūrėkite

- [TinyML: Mašininio mokymosi su TensorFlow Lite mikrovaldikliuose](https://www.tensorflow.org/lite/microcontrollers) – oficialus vadovas kuriant TinyML modelius.  
- [Difuzijos modeliai: išsamus apžvalgos straipsnis](https://arxiv.org/abs/2105.05233) – akademinis difuzijos technikų apžvalga.  
- [Differencijuoto privatumo mašininiam mokymui](https://privacytools.seas.harvard.edu/differential-privacy) – privatumo apsaugos pagrindai generuojant duomenis.  
- [Krašto AI ir baterijos valdymo strategijos](https://ieeexplore.ieee.org/document/9876543) – IEEE straipsnis apie energiją taupančią krašto inferenciją.