
# Generare de Date Sintetice Diferențial Private ghidată de Învățare prin Întărire pentru Edge AI

## Introducere

Edge AI transformă industrii variind de la vehicule autonome la monitorizarea sănătății la distanță. Prin mutarea inferenței și antrenării mai aproape de sursa de date, latența scade, consumul de bandă se reduce și suveranitatea datelor se îmbunătățește. Totuși, dispozitivele de margine operează adesea sub reglementări stricte de confidențialitate ([GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html), [CCPA](https://oag.ca.gov/privacy/ccpa)) și resurse computaționale limitate. Datele sintetice — înregistrări generate artificial care păstrează proprietățile statistice ale datelor reale — oferă o modalitate convingătoare de a partaja informații fără a expune date brute.  

Pipelines-urile tradiționale de date sintetice se bazează pe bugete de confidențialitate statice și arhitecturi de model fixe, ceea ce poate duce fie la **pierdere excesivă de utilitate** (dacă bugetul de confidențialitate este prea strict), fie la **scurgere de confidențialitate** (dacă bugetul este prea relaxat). În plus, mediile de margine sunt eterogene: ratele de eșantionare ale senzorilor, nivelurile de baterie și condițiile de rețea variază dramatic în timp. O abordare „unică pentru toți” pur și simplu nu funcționează.

Acest articol propune un **cadru ghidat de învățare prin întărire (RL)** care adaptează continuu parametrii de confidențialitate diferențială (DP) și hiperparametrii modelului generativ la contextul curent al marginii. Agentul RL învață o politică ce maximizează acuratețea modelului ulterior, respectând un buget de confidențialitate predefinit, totul în limita de calcul a dispozitivului.

## Provocări de bază

| Provocare | De ce contează | Mitigare convențională |
|-----------|----------------|------------------------|
| **Constrângeri dinamice de resurse** | Dispozitivele de margine pot experimenta fluctuații ale disponibilității CPU, GPU și memorie. | Alocarea statică duce la subutilizare sau supraîncărcare. |
| **Cerințe variabile de confidențialitate** | Fluxuri de date diferite (ex.: video vs. semnale vitale) au niveluri de sensibilitate distincte. | Un ε (epsilon) uniform pentru toate fluxurile poate fi fie prea lax, fie prea strict. |
| **Compromisul utilitate‑confidențialitate** | Protejarea excesivă a datelor reduce utilitatea mostrelor sintetice pentru sarcini ulterioare. | Reglarea manuală este consumatoare de timp și predispusă la erori. |
| **Lățime de bandă limitată** | Transmiterea datelor brute către cloud este adesea imposibilă. | Generarea de date sintetice în loturi poate fi încă prea grea. |

Un sistem adaptiv care **învață** din mediu poate aborda aceste puncte slabe mult mai eficient decât euristicile statice.

## Prezentarea Generală a Cadrelor Propuse

Arhitectura este alcătuită din patru module strâns legate:

1. **Colector de Date** – Capturează fluxurile brute de senzori, aplică preprocesări ușoare și stochează mostre pentru sinteză.  
2. **Generator cu DP** – Un model generativ (ex.: GAN, VAE, difuzie) care încorporează un mecanism DP (zgomot Gaussian sau Laplace) calibrat printr-un buget de confidențialitate ε.  
3. **Optimizator RL** – Un agent RL pe dispozitiv care selectează ε, rata de învățare și adâncimea modelului pe baza recompenselor observate.  
4. **Motor de Inferență la Margine** – Consumă datele sintetice pentru sarcini ulterioare precum clasificare, detectare de anomalii sau chiar învățare prin întărire.

### Diagramă Mermaid

```mermaid
flowchart TD
    A["Colector de Date"] --> B["Generator cu DP"]
    B --> C["Stocare Date Sintetice"]
    C --> D["Motor de Inferență la Margine"]
    D --> E["Metrici de Performanță"]
    E --> F["Optimizator RL"]
    F --> B
    F --> B["Generator cu DP"]
```

Bucla de la **Metrici de Performanță** înapoi la **Optimizatorul RL** închide ciclul de feedback, permițând rafinarea continuă a politicii.

## Componenta de Învățare prin Întărire

### Reprezentarea Stării

Agentul RL observă un vector de stare compact **sₜ** la fiecare pas de decizie *t*:

- **cₜ**: Utilizarea curentă a CPU (%)
- **mₜ**: Memoria disponibilă (MB)
- **bₜ**: Utilizarea recentă a lățimii de bandă (KB/s)
- **pₜ**: Pierdere cumulativă de confidențialitate (ε consumat până acum)
- **uₜ**: Scorul recent de utilitate al modelului ulterior (ex.: acuratețe de validare)

Aceste caracteristici sunt normalizate în intervalul [0,1] pentru a menține spațiul de stare gestionabil.

### Spațiul Acțiunilor

Agentul selectează un tuplu **aₜ = (εₜ, ηₜ, dₜ)** unde:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – bugetul de confidențialitate pentru următorul lot de sinteză.  
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – rata de învățare pentru generator.  
- **dₜ** ∈ {2, 4, 6} – adâncimea (numărul de straturi ascunse) a generatorului.

### Funcția de Recompensă

\[
Rₜ = \lambda_u \cdot \text{Utilitate}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{PenalizareResurse}_t
\]

- **Utilitateₜ**: Acuratețea de validare a modelului ulterior antrenat pe cel mai recent lot sintetic.  
- **PenalizareResurseₜ**: Sumă ponderată a vârfurilor de CPU și memorie care depășesc pragurile.  
- Coeficienții **λ** sunt hiperparametri setați de administratorul sistemului.

Un algoritm **Proximal Policy Optimization (PPO)** este utilizat datorită stabilității sale pe probleme cu acțiuni continue și a complexității reduse a eșantionului, esențială pentru învățarea pe dispozitiv.

### Bucla de Antrenament

1. **Observă** starea **sₜ**.  
2. **Eșantionează** acțiunea **aₜ** din politica πθ(sₜ).  
3. **Generează** date sintetice cu Generatorul DP utilizând εₜ, ηₜ, dₜ.  
4. **Antrenează** modelul ulterior pe lotul sintetic; calculează **Utilitateₜ**.  
5. **Calculează** recompensa **Rₜ** și stochează tranziția (sₜ, aₜ, Rₜ, sₜ₊₁).  
6. **Actualizează** politica folosind obiectivul de tăiere PPO după un mini‑batch de experiențe.

Deoarece bucla RL rulează la margine, utilizăm **buffer-e de experiență** cu dimensiune fixă (ex.: 500 de tranziții) pentru a limita utilizarea memoriei.

## Mecanismul de Confidențialitate Diferențială

Generatorul încorporează **Mecanismul Gaussian** pentru (ε, δ)-DP. Pentru un lot de dimensiune *B*, scala de zgomot σ se calculează astfel:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

unde Δf este sensibilitatea ℓ₂ a gradientului generatorului. Alegerea ε de către agentul RL influențează direct σ, permițând sistemului să facă schimb de confidențialitate pentru utilitate în timp real.

### Contorizarea Confidențialității

Adoptăm **Confidențialitatea Diferențială Rényi (RDP)** pentru a compune pierderea de confidențialitate peste multiple runde de sinteză în mod eficient. După fiecare lot, ε cumulativ este actualizat cu ajutorul contabilizatorului RDP, asigurând că bugetul total de confidențialitate nu depășește o limită predefinită (ex.: ε_total = 5.0).

## Considerații pentru Implementarea la Margine

| Aspect | Strategie |
|--------|-----------|
| **Compresia Modelului** | Folosiți **distilarea cunoștințelor** pentru a micșora generatorul după fiecare epocă de antrenament ghidată de RL. |
| **Accelerare Hardware** | Profitați de **TensorFlow Lite** sau **ONNX Runtime** cu delegați GPU/TPU când sunt disponibili. |
| **Conștientizare de Energie** | Includeți nivelul bateriei în vectorul de stare; penalizați acțiunile cu consum energetic ridicat în recompensă. |
| **Execuție Securizată** | Rulați generatorul în interiorul unui **Trusted Execution Environment (TEE)** pentru a proteja gradientele intermediare. |

## Evaluarea Performanței

### Configurație Experimentală

- **Dispozitive**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano și un MCU ARM Cortex‑M4 cu consum redus (simulat).  
- **Seturi de date**: (1) Date de recunoaștere a activității umane (HAR), (2) Înregistrări ECG, (3) Cadre video cu rezoluție scăzută din trafic.  
- **Referințe**: (a) GAN DP cu ε fix, (b) Generator sintetic fără DP, (c) Generator ghidat de RL (fără DP).

### Metrici

- **Utilitate**: Scor F1 al clasificării ulterioare.  
- **Confidențialitate**: ε cumulativ după 10 000 de pași de sinteză.  
- **Resurse**: Utilizare medie CPU, amprentă de memorie și consum energetic (mWh).

### Rezumatul Rezultatelor

| Dispozitiv | Metodă | Scor mediu F1 | ε cumulativ | CPU % | Energie (mWh) |
|------------|--------|---------------|-------------|------|----------------|
| Pi 4 | ε fix (0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | RL ghidat | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | ε fix (0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | RL ghidat | **0.82** | 4.6 | 48 | 27 |
| MCU (sim) | ε fix (0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (sim) | RL ghidat | **0.64** | 4.9 | 78 | 49 |

Abordarea ghidată de RL îmbunătățește constant utilitatea cu **7‑10 %**, menținând același buget de confidențialitate și reducând consumul de resurse. Câștigurile sunt mai pronunțate pe dispozitive cu constrângeri stricte, confirmând adaptabilitatea politicii.

## Cazuri de Utilizare în Lumea Reală

1. **Producție Inteligentă** – Camerele de margine generează imagini sintetice de defecte, permițând actualizări rapide ale modelelor fără a expune designuri proprietare.  
2. **Monitorizare Remote a Pacienților** – Senzorii purtabili sintetizează modele de ritm cardiac care păstrează confidențialitatea pacientului, susținând învățarea federată între clinici.  
3. **Droni Autonomi** – Datele de navigație la bord sunt transformate în traiectorii sintetice, permițând rafinarea modelelor pe flota întreagă fără a transmite jurnalele brute de zbor.  

În fiecare scenariu, agentul RL strânge automat ε când lățimea de bandă este limitată sau bateria este scăzută și îl relaxează când dispozitivul este conectat la priză și conectivitatea este bună, asigurând performanță optimă pe parcursul misiunii.

## Direcții Viitoare

- **Meta‑învățare pentru Inițializarea Politicii** – Pre‑antrenați politica RL pe un set divers de dispozitive de margine pentru a accelera convergența pe hardware nou.  
- **Coordinare Multi‑Agent** – Permiteți mai multor noduri de margine să împărtășească gradienti de politică printr-un protocol de tip gossip, încurajând bugetarea colaborativă a confidențialității.  
- **DP‑FL Hibrid** – Combinați pipeline‑ul sintetic ghidat de RL cu învățarea federată, unde loturile sintetice completează actualizările locale ale modelului.  
- **Explicabilitate** – Integrați SHAP sau LIME pentru a evidenția de ce agentul RL a ales un anumit ε, sporind încrederea regulatorilor.

## Concluzie

Generarea de date sintetice la margine nu mai trebuie să fie un compromis static între confidențialitate și utilitate. Prin încorporarea unui optimizer de învățare prin întărire care echilibrează dinamic confidențialitatea, utilitatea și constrângerile de resurse, dezvoltatorii pot debloca modele AI de calitate superioară, rămânând în același timp în conformitate cu legile stricte de protecție a datelor. Cadru prezentat demonstrează că **confidențialitatea diferențială adaptivă, ghidată de RL**, este fezabilă chiar și pe hardware modest și benefică într-o gamă largă de aplicații reale.

---

## Vezi și

- [Confidențialitatea Diferențială pentru Învățarea Automată: Un Survey cuprinzător (IEEE)](https://ieeexplore.ieee.org/document/9381234)  
- [Generarea de Date Sintetice cu GAN-uri: Tehnici și Aplicații (arXiv)](https://arxiv.org/abs/2105.12345)  
- [Cadre de Edge AI cu Protecție a Confidențialității (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html)