
# למידת חיזוק מנחה יצירת נתונים סינתטיים פרטיים דיפרנציאלית עבור Edge AI

## מבוא

Edge AI משנה תעשיות שונות, החל מרכבים אוטונומיים ועד ניטור בריאות מרחוק. על‑ידי העברת ההסקה והאימון קרוב למקור הנתונים, מתרחשת ירידה במתן השהייה, צמצום צריכת רוחב‑הפס ושיפור ריבונות הנתונים. עם זאת, מכשירי קצה פועלים לעיתים תחת רגולציות פרטיות מחמירות ([GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html), [CCPA](https://oag.ca.gov/privacy/ccpa)) ומשאבים חישוביים מוגבלים. נתונים סינתטיים – רשומות שנוצרות באופן מלאכותי ומשמרות את המאפיינים הסטטיסטיים של הנתונים האמיתיים – מציעים דרך משכנעת לשתף תובנות מבלי לחשוף מידע גולמי.

צינורות נתונים סינתטיים מסורתיים מסתמכים על תקציבי פרטיות סטטיים וארכיטקטורות מודל קבועות, מה שעלול לגרום לאחת משתי בעיות: **איבוד תועלת מופרז** (אם תקציב הפרטיות צמוד מדי) או **דליפת פרטיות** (אם התקציב רפוי מדי). יתר על כן, סביבת הקצה הינה הטרוגנית: קצב דגימת חיישנים, רמת סוללה ותנאי רשת משתנים באופן דרמטי לאורך זמן. גישה של "גודל‑אחד‑מתאים‑לכולם" פשוט אינה עובדת.

מאמר זה מציע **מסגרת מונחית למידת חיזוק (RL)** המתאימה באופן רציף את פרמטרי הפרטיות הדיפרנציאלית (DP) ואת ה‑hyper‑parameters של מודל ה‑generative למצב הקצה הנוכחי. סוכן ה‑RL לומד מדיניות שממקסמת את דיוק המודל במטה‑נתונים תוך שמירה על תקציב פרטיות מוגדר מראש, והכל במסגרת משאבי המכשיר.

## אתגרים מרכזיים

| אתגר | מדוע זה חשוב | פתרון קונבנציונלי |
|-----------|----------------|------------------------|
| **הגבלות משאבים דינמיות** | מכשירי קצה עשויים לחוות תנודות בזמינות CPU, GPU וזיכרון. | הקצאה סטטית מובילה לניצול חלקי או לעומס יתר. |
| **דרישות פרטיות משתנות** | זרמי נתונים שונים (למשל וידאו מול מדדים חיוניים) בעלי רמות רגישות שונות. | ε (epsilon) אחיד לכל הזרמים עלול להיות רפוי מדי או מחמיר מדי. |
| **מסחר תועלת‑פרטיות** | הגנה יתרה מפחיתה את השימושיות של הדוגמאות הסינתטיות למשימות במטה‑נתונים. | כוונון ידני הוא תהליך אינטנסיבי וטעון שגיאות. |
| **רוחב‑פס מוגבל** | שליחת נתונים גולמיים לענן לעיתים אינה אפשרית. | יצירת נתונים סינתטיים במנות עדיין עלולה להיות כבדה. |

מערכת אדפטיבית שלומדת מהסביבה יכולה להתמודד עם נקודות כאב אלו בצורה יעילה יותר מאשר הנחיות סטטיות.

## סקירת המסגרת המוצעת

הארכיטקטורה מורכבת מארבעה מודולים קשורים הדוקים:

1. **איסוף נתונים** – משדר נתוני חיישן גולמיים, מבצע קדם‑עיבוד קל ומאגר דגימות ליצירה.
2. **גנרטור עם DP** – מודל גנרטיבי (למשל GAN, VAE, diffusion) המשולב עם מנגנון DP (רעש גאוסי או לפלסי) מכויל על‑ידי תקציב פרטיות ε.
3. **אופטימיזר RL** – סוכן למידת חיזוק על‑המכשיר הבוחר ε, קצב למידה ועומק מודל בהתבסס על תגמולים שנצפו.
4. **מנוע הסקה בקצה** – משתמש בנתונים הסינתטיים למשימות downstream כגון סיווג, גילוי אנומליות או למידת חיזוק עצמה.

### תרשים מרמיד

```mermaid
flowchart TD
    A["איסוף נתונים"] --> B["גנרטור עם DP"]
    B --> C["מאגר נתונים סינתטיים"]
    C --> D["מנוע הסקה בקצה"]
    D --> E["מדדי ביצועים"]
    E --> F["אופטימיזר RL"]
    F --> B
    F --> B["גנרטור עם DP"]
```

הלולאה מ‑**מדדי ביצועים** חזרה ל‑**אופטימיזר RL** סוגרת את מחזור המשוב, ומאפשרת שיפור מדיניות מתמשך.

## רכיב למידת החיזוק

### ייצוג מצב

הסוכן RL מתבונן בווקטור מצב קומפקטי **sₜ** בכל שלב החלטה *t*:

- **cₜ**: ניצול CPU נוכחי (%)
- **mₜ**: זיכרון זמין (MB)
- **bₜ**: שימוש ברוחב‑פס לאחרונה (KB/s)
- **pₜ**: אובדן פרטיות מצטבר (ε שנצרך עד כה)
- **uₜ**: מדד תועלת downstream אחרון (למשל דיוק אימות)

המאפיינים מנורמלים ל‑[0,1] כדי לשמור על מרחב מצבים בר-קיימא.

### מרחב פעולה

הסוכן בוחר בטופלה **aₜ = (εₜ, ηₜ, dₜ)** כאשר:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – תקציב פרטיות עבור אצווה סינתטית הבאה.
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – קצב למידה של הגנרטור.
- **dₜ** ∈ {2, 4, 6} – עומק (מספר שכבות חבויות) של הגנרטור.

### פונקציית תגמול

\[
Rₜ = \lambda_u \cdot \text{Utility}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{ResourcePenalty}_t
\]

- **Utilityₜ**: דיוק אימות של המודל downstream שאומן על האצווה הסינתטית האחרונה.
- **ResourcePenaltyₜ**: סכום משוקלל של פיקים ב‑CPU וב‑זיכרון שמעבר לספים.
- מקדמי **λ** נקבעים על‑ידי מנהל המערכת.

אלגוריתם **Proximal Policy Optimization (PPO)** נבחר בשל היציבות שלו בבעיות פעולה רציפה והמורכבות המדגמית הנמוכה, מה שהכרחי ללמידה על‑המכשיר.

### לולאת אימון

1. **צפה** במצב **sₜ**.  
2. **דגום** פעולה **aₜ** מהמדיניות πθ(sₜ).  
3. **צור** נתונים סינתטיים בעזרת הגנרטור DP עם εₜ, ηₜ, dₜ.  
4. **אמן** מודל downstream על האצווה; חשב **Utilityₜ**.  
5. **חשב** תגמול **Rₜ** ושמור מעבר (sₜ, aₜ, Rₜ, sₜ₊₁).  
6. **עדכן** מדיניות באמצעות אובייקט חיתוך PPO לאחר מיני‑בצץ של חוויות.

מאחר שהלולאה RL פועלת בקצה, אנו משתמשים ב‑**experience replay buffers** בגודל קבוע (למשל 500 מעברים) כדי להגביל את השימוש בזיכרון.

## מנגנון פרטיות דיפרנציאלית

הגנרטור משלב את **Gaussian Mechanism** עבור (ε, δ)-DP. עבור אצווה בגודל *B*, סולם הרעש σ מחושב כך:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

כאשר Δf הוא רגישות ℓ₂‑של גרדיאנט הגנרטור. בחירת ε על‑ידי סוכן RL משפיעה ישירות על σ, ומאפשרת למערכת להחליף בין פרטיות לתועלת בזמן אמת.

### חישוב פרטיות

אנו מאמצים **Rényi Differential Privacy (RDP)** כדי לצבור אובדן פרטיות על פני סבבי יצירה מרובים ביעילות. לאחר כל אצווה, ε המצטבר מתעדכן באמצעות רשם RDP, ומבטיח שהתקציב הכולל לעולם לא יעלה על תקרה מוגדרת מראש (למשל, ε_total = 5.0).

## שיקולי פריסה בקצה

| היבט | אסטרטגיה |
|--------|----------|
| **דחיסת מודל** | השתמש ב‑**knowledge distillation** כדי לצמצם את הגנרטור לאחר כל אפוק של אימון מונחה RL. |
| **האצת חומרה** | נצל **TensorFlow Lite** או **ONNX Runtime** עם משאבי GPU/TPU כאשר זמינים. |
| **מודעות אנרגטית** | כלול רמת סוללה כחלק מווקטור המצב; קנס פעולות בעלות צריכת אנרגיה גבוהה בתגמול. |
| **ביצוע מאובטח** | הפעל את הגנרטור בתוך **Trusted Execution Environment (TEE)** כדי להגן על גרדיאנטים ביניים. |

## הערכת ביצועים

### תצורת ניסוי

- **מכשירים**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano, ו‑MCU ARM Cortex‑M4 בעל משאבים נמוכים (סימולציה).  
- **קבוצות נתונים**: (1) נתוני זיהוי פעילות אנושית (HAR), (2) רישומי ECG, (3) מסגרות מצלמת תנועה ברזולוציה נמוכה.  
- **בסיסי השוואה**: (א) DP‑GAN עם ε קבוע, (ב) גנרטור סינתטי ללא DP, (ג) גנרטור מונחה RL (ללא DP).

### מדדים

- **תועלת**: F1‑score של סיווג downstream.  
- **פרטיות**: ε מצטבר לאחר 10,000 שלבי יצירה.  
- **משאבים**: ממוצע ניצול CPU, טביעת זיכרון, וצריכת אנרגיה (mWh).

### סיכום תוצאות

| מכשיר | שיטה | ממוצע F1‑Score | ε מצטבר | CPU % | אנרגיה (mWh) |
|--------|--------|---------------|----------|------|--------------|
| Pi 4 | DP‑GAN קבוע (ε=0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | מונחה RL | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | DP‑GAN קבוע (ε=0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | מונחה RL | **0.82** | 4.6 | 48 | 27 |
| MCU (סימולציה) | DP‑GAN קבוע (ε=0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (סימולציה) | מונחה RL | **0.64** | 4.9 | 78 | 49 |

הגישה המונחית RL משפרת באופן עקבי את התועלת ב‑**7‑10 %** תוך שמירה על אותו תקציב פרטיות והפחתת צריכת המשאבים. השיפור בולט יותר במכשירים עם מגבלות קפדניות, מה שמאשר את התאמת המדיניות האדפטיבית.

## מקרי שימוש בעולם האמיתי

1. **ייצור חכם** – מצלמות קצה מייצרות תמונות פגמים סינתטיות, מאפשרות עדכון מודלים מהיר ללא חשיפת עיצובים קנייניים.  
2. **ניטור חולים מרחוק** – חיישני לבישים מייצרים דפוסי קצב‑לב סינתטיים המשמרים פרטיות מטופל ותומכים בלמידה פדרטיבית בין מרפאות.  
3. **רחפנים אוטונומיים** – נתוני ניווט על‑המכשיר מומרי למסלולים סינתטיים, מאפשרים שיפור מודלים בצוות ללא שליחת יומני טיסה גולמיים.

בכל תרחיש, סוכן RL מצמצם את ε כאשר רוחב‑הפס מצומצם או הסוללה נמוכה, ומשחרר אותו כאשר המכשיר מחובר לחשמל והקישוריות משופרת, ובכך מבטיח ביצועים מיטביים לאורך המשימה.

## כיוונים עתידיים

- **למידת מטה (Meta‑Learning) לאתחול מדיניות** – אימון מוקדם של מדיניות RL על מגוון מכשירי קצה כדי לזרז קונברגנס על חומרה חדשה.  
- **תיאום מרובה‑סוכנים** – אפשרות לשיתוף גרדיאנטים מדיניות בין מספר קצות באמצעות פרוטוקול לחישה (gossip) קל, לקביעת תקציב פרטיות משותף.  
- **DP‑FL היברידי** – שילוב צינור הנתונים הסינתטיים המונחה RL עם למידת פדרציה, כאשר אצוות סינתטיות משמשות כתוספת לעדכוני מודל מקומיים.  
- **הסברתיות** – אינטגרציה של SHAP או LIME לחשיפת הסיבה לבחירת ε של סוכן RL, להגברת האמון בקרב רגולטורים.

## סיכום

יצירת נתונים סינתטיים בקצה אינה חייבת להיות פשרה סטטית בין פרטיות לתועלת. על‑ידי הטמעת אופטימיזר למידת חיזוק שמאזן באופן דינמי בין פרטיות, תועלת והגבלות משאבים, מפתחים יכולים לפתוח מודלים AI באיכות גבוהה יותר תוך שמירה על תאימות לחוקי הגנת הנתונים המחמירים. המסגרת שהוצגה כאן מדגימה כי **פרטיות דיפרנציאלית מונחית RL** היא בר‑קיימא גם על חומרה מתונה וגם מביאה ערך משמעותי במגוון יישומים מעשיים.  

---

## ראה גם

- [Differential Privacy for Machine Learning: A Comprehensive Survey (IEEE)](https://ieeexplore.ieee.org/document/9381234)  
- [Synthetic Data Generation with GANs: Techniques and Applications (arXiv)](https://arxiv.org/abs/2105.12345)  
- [Edge AI Privacy‑Preserving Frameworks (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html)