
# Samonadzirano osiguranje kvalitete sintetičkih podataka za rubno AI

Rubni AI prelazi iz istraživačke curiosnosti u proizvodnu sposobnost u autonomnim vozilima, industrijskom IoT‑u i pametnim kamerama. Najveća uska grla su **visokokvalitetni podaci za treniranje** koji poštuju ograničenja latencije, propusnosti i privatnosti. Generiranje sintetičkih podataka postalo je de‑facto rješenje, ali generirani podaci moraju biti **kontinuirano provjereni** kako bi se izbjeglo odliv modela, pristranost i kršenja propisa.

**Samonadzirano učenje (SSL)** — gdje model uči korisne reprezentacije iz sirovih podataka bez ljudskih oznaka — nudi moćan, niskotarifni način za **mjerenje i poboljšanje kvalitete sintetičkih podataka** u stvarnom vremenu. Ugradnjom SSL‑a u podatkovni pipeline, organizacije mogu stvoriti **zatvorenu petlju osiguranja kvalitete (QA)** koja radi u potpunosti na rubu, skalira se s federiranim implementacijama i integrira se s postojećim okvirima upravljanja poput Formizea.

U nastavku istražujemo:

1. Zašto tradicionalni QA ne zadovoljava potrebe rubnih sintetičkih podataka.  
2. Osnovne pojmove SSL‑vođenog QA.  
3. Referentnu arhitekturu s Mermaid dijagramom.  
4. Vodič korak po korak za implementaciju.  
5. Studiju slučaja iz stvarnog svijeta.  
6. Najbolje prakse i buduće smjerove.

---

## 1. Praznina u QA‑u sintetičkih podataka na rubu

| Izazov | Tradicionalni pristup | Zašto ne uspijeva na rubu |
|-----------|----------------------|--------------------------|
| **Nedostatak oznaka** | Ručno označavanje validacijskog skupa | Rubni uređaji ne mogu slati velike označene skupove; latencija onemogućuje čestu ponovnu oznaku. |
| **Drift koncepta** | Periodička offline evaluacija | Rubna okruženja (npr. tvornica) stalno se mijenjaju; offline provjere propuštaju brzi drift. |
| **Privatnost i usklađenost** | Centralizirane revizije | Pravila o suverenitetu podataka ([GDPR](https://gdpr.eu/), [CCPA](https://oag.ca.gov/privacy/ccpa)) ograničavaju premještanje sirovih rubnih podataka u oblak radi inspekcije. |
| **Ograničenja resursa** | Teški statistički testovi u oblaku | Rubni CPU‑i/GPU‑i imaju ograničenu računalnu snagu; putovanja u oblak dodaju latenciju i trošak. |

Rezultat je **slijepilo u kvaliteti**: sintetički podaci mogu izgledati realno, ali i dalje degradiraju performanse downstream modela, uvode pristranost ili krše regulatorne pragove.

---

## 2. Samonadzirano učenje kao QA motor

SSL stvara **pretekstne zadatke** koji prisiljavaju model da uči strukturu iz samih podataka. Uobičajeni pretekstni zadaci uključuju:

* **Kontrastivno učenje** – povlačenje zajedno augmentacija istog uzorka, odgurivanje različitih uzoraka.  
* **Maskirano modeliranje** – predviđanje nedostajućih dijelova slike, zvuka ili senzorskog toka.  
* **Prediktivno kodiranje** – prognoziranje budućih senzorskih očitanja iz prošlog konteksta.

Primijenjeno na **sintetičke podatke**, SSL može generirati **metrike kvalitete** bez ikakvih ljudskih oznaka:

| Metrika | SSL izvedba | Tumačenje |
|--------|-------------|-----------|
| **Score sličnosti reprezentacije (RSS)** | Kosinusna sličnost između embedinga sintetičkih i realnih uzoraka pomoću kontrastivnog enkodera. | Veći RSS → sintetički podaci bolje hvataju realni manifold. |
| **Greška rekonstrukcije maske (MRE)** | L1/L2 gubitak na maskiranim područjima za mreže maskiranog modeliranja. | Manji MRE → veća vjernost finih detalja. |
| **Indeks prediktivne konzistencije (PCI)** | Varijanca predviđanja budućih koraka kroz sintetičke sekvence. | Nizak PCI → stabilna temporalna dinamika. |

Budući da se SSL modeli **treniraju na rubu** koristeći samo lokalno dostupne podatke, poštuju privatnost i mogu se **kontinuirano ažurirati** kako pristižu novi realni senzorski tokovi.

---

## 3. Referentna arhitektura

Dijagram ispod prikazuje **samonadziranu QA petlju** koja se može implementirati na flotilu rubnih uređaja, po želji koordiniranu putem laganog federiranog orkestratora.

```mermaid
flowchart TD
    A["Real Sensor Stream"] --> B["Edge Data Collector"]
    B --> C["Synthetic Data Generator"]
    C --> D["Self‑Supervised QA Engine"]
    D --> E["Quality Metrics Store"]
    E --> F["Dynamic Generator Tuner"]
    F --> C
    D --> G["Edge Model Trainer"]
    G --> H["Edge Inference Service"]
    H --> I["Feedback to Collector"]
    I --> B
    subgraph Federated Orchestrator
        J["Global Metric Aggregator"]
        E --> J
        J --> K["Policy Engine (Formize)"]
        K --> F
    end
```

* **Edge Data Collector** prikuplja sirove senzorske podatke i prosljeđuje uzorak QA motoru.  
* **Synthetic Data Generator** može biti difuzijski model, GAN ili pravila‑temeljeni simulator.  
* **Self‑Supervised QA Engine** izvodi kontrastivne, maskirane i prediktivne pretekstne zadatke, ispuštajući RSS, MRE, PCI.  
* **Quality Metrics Store** pohranjuje metrike po batchu lokalno; periodični sažeci šalju se **Global Metric Aggregatoru** za uvid na razini flote.  
* **Dynamic Generator Tuner** prilagođava hiperparametre generatora (npr. raspored difuzijskog šuma) na temelju ciljanih pragova metrika.  
* **Edge Model Trainer** konzumira samo sintetičke podatke koji zadovoljavaju pragove kvalitete, osiguravajući robusnost downstream modela.  
* **Policy Engine (Formize)** provodi pravila usklađenosti (npr. minimalni RSS > 0.85) i bilježi audit tragove.

---

## 4. Vodič korak po korak za implementaciju

### 4.1. Odaberite odgovarajući SSL backbone

| Ograničenje na rubu | Preporučeni backbone | Razlog |
|---------------------|----------------------|--------|
| **Samo CPU** | SimCLR s MobileNetV3 | Niska FLOPs, visokodimenzionalni embedinzi. |
| **GPU/TPU** | BYOL s EfficientNet‑B0 | Brže konvergiranje, nema potrebe za negativnim parovima. |
| **Ograničena memorija** | MAE (Masked AutoEncoder) s tiny ViT | Radi s malim patch‑size‑ovima, minimalna memorija. |

### 4.2. Izgradite pretekstne zadatke

```python
# Primjer: Kontrastivni enkoder za slike s rubnih senzora
import torch, torchvision
from torch import nn

class EdgeContrastive(nn.Module):
    def __init__(self, backbone):
        super().__init__()
        self.backbone = backbone
        self.projection = nn.Sequential(
            nn.Linear(backbone.out_features, 256),
            nn.ReLU(),
            nn.Linear(256, 128)
        )
    def forward(self, x):
        feat = self.backbone(x)
        proj = self.projection(feat)
        # Normaliziramo embedinge
        return nn.functional.normalize(proj, dim=1)
```

* **Augmentacije podataka** moraju biti lagane (nasumični crop, color jitter) kako bi se poštovali budžeti računalne snage na rubu.  
* **Veličina batcha** može biti i 32; koristite **memory bank** tehniku za simulaciju većeg negativnog skupa.

### 4.3. Izvedite metrike kvalitete

```python
def representation_similarity(real_emb, synth_emb):
    # Prosječna kosinusna sličnost po batchu
    return (real_emb * synth_emb).sum(dim=1).mean().item()

def mask_reconstruction_error(original, reconstructed, mask):
    diff = (original - reconstructed) * mask
    return diff.abs().mean().item()
```

Metrike pohranite u laganu SQLite bazu ili ugrađeni vremenski serijski spremnik (npr. InfluxDB) radi brzog dohvaćanja.

### 4.4. Adaptivno podešavanje generatora

Implementirajte **PID regulator** koji podešava parametre generatora prema ciljnim prozorima metrika.

```python
class GeneratorTuner:
    def __init__(self, target_rss=0.88, kp=0.1, ki=0.01, kd=0.005):
        self.target = target_rss
        self.kp, self.ki, self.kd = kp, ki, kd
        self.integral = 0
        self.prev_error = None

    def update(self, current_rss):
        error = self.target - current_rss
        self.integral += error
        derivative = 0 if self.prev_error is None else error - self.prev_error
        self.prev_error = error
        adjustment = self.kp*error + self.ki*self.integral + self.kd*derivative
        # Ograničavamo na raspon [0,1] za difuzijski šum
        return max(0.0, min(1.0, adjustment))
```

Povratnu vrijednost koristite za podešavanje rasporeda šuma difuzijskog generatora ili vektora uvjetovanja.

### 4.5. Federirano agregiranje (opcionalno)

U slučaju flote, koristite **Secure Aggregation** (npr. Paillier homomorfno šifriranje) za izračun prosječnog RSS‑a bez otkrivanja sirovih embedinga. Formize može pohraniti šifrirane agregate i provoditi pravila pragova diljem organizacije.

### 4.6. Integracija s rubnim treniranjem modela

Samo batch‑ovi sintetičkih podataka čiji **RSS ≥ 0.85**, **MRE ≤ 0.02** i **PCI ≤ 0.05** ulaze u red za treniranje. Ovo filtriranje smanjuje pre‑prilagođavanje lošoj kvaliteti podataka i poboljšava downstream točnost za 3‑7 % u benchmark testovima.

---

## 5. Studija slučaja iz stvarnog svijeta: Vizijski sustav u pametnoj tvornici

**Pozadina** – Multinacionalni proizvođač elektronike postavio je rubne kamere na proizvodne linije radi otkrivanja nedostataka na spojevima. Realnih slika s nedostatkom je malo (≈ 1 % okvira) i njihovo označavanje je skupo.

**Implementacija**  

1. **Generator sintetičkih podataka** – Uvjetni difuzijski model treniran na nekoliko stotina označenih slika nedostataka.  
2. **SSL QA motor** – SimCLR s MobileNetV3, pokrenut na NVIDIA Jetson Orin.  
3. **Metrike** – Nakon 48 h kontinuirane adaptacije postignut je prosječni RSS = 0.89, MRE = 0.015, PCI = 0.03.  
4. **Politika** – Formize je zahtijevao RSS ≥ 0.88; svaki batch ispod tog praga automatski je pokrenuo ponovni trening generatora.  

**Rezultati**  

| Metrika | Prije QA (sirovi sintetički) | Nakon SSL‑QA |
|--------|-----------------------------|--------------|
| F1 za otkrivanje nedostataka | 0.71 | 0.78 |
| Stopa lažnih pozitivnih | 0.12 | 0.07 |
| Latencija rubne inferencije | 28 ms | 27 ms (bez utjecaja) |
| Vrijeme revizije usklađenosti | 3 dana | 4 sata |

Samonadzirana QA petlja eliminirala je potrebu za tjednom ručnom revizijom podataka, smanjila lažne alarme i održala sustav unutar okvira privatnosti tvornice.

---

## 6. Najbolje prakse

| Praksa | Zašto je važna |
|--------|----------------|
| **Pokrenite SSL na zasebnoj niti** | Sprječava sukob s radom inferencije. |
| **Keširajte embedinge** | Ponovna upotreba realnih embedinga za više sintetičkih batch‑ova štedi računanje. |
| **Koristite lagane augmentacije** | Pretjerane augmentacije mogu umjetno podići RSS. |
| **Bilježite svaku metriku s hash‑om otporom na manipulacije** | Omogućuje nepromjenjive audit tragove; Formize može automatski provjeriti integritet. |
| **Postavite konzervativne pragove u početku** | Izbjegava odbijanje previše sintetičkih uzoraka tijekom faze zagrijavanja. |
| **Periodično evaluirajte na malom označenom hold‑out skupu** | Osigurava da SSL metrike koreliraju s downstream performansama. |

---

## 7. Budući smjerovi

1. **Multimodalni SSL** – Kombinacija vizije, zvuka i vibracija za generiranje bogatijih sintetičkih tokova u robotici.  
2. **NAS za QA modele** – Automatsko podešavanje SSL backbona prema specifičnom rubnom hardveru.  
3. **Zero‑Knowledge Proofs za verifikaciju metrika** – Dokazivanje da batch zadovoljava pragove kvalitete bez otkrivanja sirovih podataka, jačajući zero‑trust usklađenost.  
4. **LLM‑vođeno tumačenje metrika** – Korištenje velikih jezičnih modela za pretvaranje sirovih RSS/MRE vrijednosti u prirodni jezik, automatski popunjavajući izvještaje u Formizeu.

---

## Vidi također

- Samonadzirano učenje za računalni vid – Pregled (2024)  
- Federirano generiranje sintetičkih podataka s diferencijalnom privatnošću (2023)  
- Dokumentacija Formize: Policy Engine i auditable lineage  
- Rubni AI detektor driftova modela koristeći kontrastivne embedinge