
# שיפור איכות נתונים סינתטיים בלולאה סגורה עם משוב אנושי ולמידת חיזוק

נתונים סינתטיים הפכו לעמוד תווך באימון מודלים AI שמגנים על פרטיות, במיוחד כאשר מערכי נתונים אמיתיים נדירים, מוסדרים או יקרים להשגה. עם זאת, יצירת נתונים סינתטיים באיכות גבוהה המשקפים במדויק את המאפיינים הסטטיסטיים של המקור תוך שמירה על מגבלות פרטיות היא משימה מורכבת. קווי ייצור מסורתיים מתייחסים ליצירת הנתונים כפעולה חד‑פעמית: מודל מאומן, מדגמים סינתטיים נוצרות, והתהליך מסתיים. בגישה “סטטית” זו נוצרות סטיות, הטיות חבויות ופערים ברגולציה שמתגלה רק לאחר שהמודלים המופקים משולבים במערכות.

**ארכיטקטורת משוב בלולאה סגורה** פותרת בעיות אלו על‑ידי מדידת מתמשכת של השימושיות, ההוגנות והפרטיות של הנתונים הסינתטיים, החזרת התוצאות למחולל ושימוש בלמידת חיזוק (RL) כדי לכוון שיפורים. כאשר משולבת עם **Formize**, פלטפורמת ממשל low‑code האוטומטית תיעוד ביקורות, אכיפת מדיניות וניהול הסכמה, הלולאה הופכת ל**עצמאית‑אופטימיזציה** ול**מוכנה‑לרגולציה**.

במאמר זה נסקור:

1. הגדרת הרכיבים המרכזיים של מערכת נתונים סינתטיים בלולאה סגורה.  
2. כיצד לכוד משוב אנושי, לכמתו ולהפוך אותו לתגמולי RL.  
3. נקודות האינטגרציה עם Formize לתיעוד בלתי‑ניתן, הסכמה דינמית ועיצוב תגמול מונע מדיניות.  
4. מדריך יישום שלב‑אחר‑שלב, כולל קטעי קוד ודיאגרמת Mermaid של זרימת העבודה.  
5. דיון בסקיילינג, ניטור והמלצות לפרודקשן.

---

## 1. סקירת ארכיטקטורה מרכזית

ב‑high level המערכת בלולאה סגורה מורכבת מחמישה שכבות:

| שכבה | אחריות | טכנולוגיות טיפוסיות |
|------|--------|----------------------|
| **קלט נתונים** | ייבוא מאובטח של מערכי נתונים גולמיים, יישום דה‑זהות, ותיעוד מטא‑נתוני הסכמה. | Formize Consent API, Apache Kafka, S3 |
| **מחולל סינתטי** | יצירת מדגמים סינתטיים מרובי‑מודלים (טבלאי, טקסט, תמונה, אודיו). | מודלים מבוססי פיזור, GANs, LLMs, Tabular VAEs |
| **מנוע הערכה** | חישוב מדדי שימושיות, הוגנות, פרטיות ואיכות ספציפית לתחום. | NIST‑DP‑3T, Fairlearn, מדדי דמיון מותאמים |
| **ממשק משוב אנושי (HITL)** | איסוף אנוטציות מומחים, סימוני הטייה ודירוגי שימושיות. | Formize Form Builder, React UI, פלטפורמות קראודסורסינג |
| **לומד חיזוק** | עדכון פרמטרי המחולל באמצעות אותות תגמול המופקים מההערכה וה‑HITL. | Proximal Policy Optimization (PPO), Ray RLlib |

הלולאה נסגרת כאשר סוכן ה‑RL מעדכן את המחולל, שמוציא באצווה חדשה של נתונים סינתטיים. Formize משולב בכל השכבות, ומספק תיעוד בלתי‑ניתן, עיצוב תגמול מונע מדיניות ודיווח אוטומטי על עמידה ברגולציה.

### דיאגרמת Mermaid של הלולאה הסגורה

```mermaid
flowchart LR
    A["קלט נתונים"] --> B["מחולל סינתטי"]
    B --> C["מנוע הערכה"]
    C --> D["ממשק משוב אנושי"]
    D --> E["מחשבון תגמול"]
    E --> F["לומד חיזוק"]
    F --> B
    B --> G["שכבת ממשל Formize"]
    G --> A
    G --> C
    G --> D
    G --> F
```

*כל תוויות הצמתים מוקפות במרכאות כפולות כפי שנדרש בתחביר של Mermaid.*

---

## 2. לכידת משוב אנושי כאות תגמול

המומחיות האנושית נותרת הסטנדרט המוזהב להערכת איכות נתונים סינתטיים, במיוחד בתחומים מורכבים כגון הדמיה רפואית או טקסט משפטי. לולאת המשוב פועלת לפי השלבים הבאים:

1. **הצגת מדגם** – תת‑קבוצה אקראית (למשל 200 שורות או 50 תמונות) מוצגת בטופס אינטרנט שמאוחסן ב‑Formize.  
2. **סולם דירוג** – משתמשים מעניקים ציון שימושיות (1‑5) ומסמנים במידת הצורך הטייה או חשש לפרטיות.  
3. **אגרגציה משוקללת** – הציונים משוקללים לפי מומחיות המשתמש (לדוגמה, מומחה תחום = 1.5, עובד קראודסורסינג = 1.0).  
4. **מיפוי לתגמול** – הציון הממוצע מומר לתגמול סקלרי `r ∈ [-1, 1]`. מיפוי ליניארי פשוט הוא:

   ```python
   def map_score_to_reward(score, bias_flag):
       base = (score - 3) / 2   # ממפה 1‑5 ל‑-1‑1
       penalty = -0.5 if bias_flag else 0
       return max(min(base + penalty, 1), -1)
   ```

5. **התאמה מונעת מדיניות** – מדיניות Formize (לדוגמה, “אף מדגם סינתטי אינו רשאי להגדיל פער דמוגרפי > 5%”) מוסיפה קנסות או בונוסים לפני שהתגמול מגיע לסוכן ה‑RL.

### דוגמת אכיפת מדיניות ב‑Formize

```yaml
policy:
  name: "אכיפת סף הטייה"
  condition: "demographic_disparity > 5"
  action: "apply_penalty"
  penalty: -0.3
```

כאשר מנוע ההערכה מזהה חריגה בפער הדמוגרפי, Formize מוריד אוטומטית את התגמול, וכך מכוון את סוכן ה‑RL להימנע מיצירת מדגמים דומים.

---

## 3. למידת חיזוק לאופטימיזציית המחולל

המחולל מתואר כ‑**סביבה** שהפרמטרים של המדיניות `θ` מתעדכנים במטרה למקסם את התגמול המצופה `R`. בחירה נפוצה היא **Proximal Policy Optimization (PPO)** בשל איזון בין יעילות לדגימות ליציבות.

### סקיצה של עדכון PPO

```python
import torch
from torch.distributions import Normal

class SyntheticPolicy(torch.nn.Module):
    def __init__(self, latent_dim):
        super().__init__()
        self.fc = torch.nn.Linear(latent_dim, latent_dim)
        self.mean_head = torch.nn.Linear(latent_dim, latent_dim)
        self.log_std = torch.nn.Parameter(torch.zeros(latent_dim))

    def forward(self, z):
        h = torch.tanh(self.fc(z))
        mean = self.mean_head(h)
        std = torch.exp(self.log_std)
        return Normal(mean, std)

def ppo_step(policy, optimizer, old_log_probs, rewards, eps=0.2):
    for _ in range(4):  # מספר אפוכי למיני‑בצ׳ט
        dist = policy(z_batch)
        log_probs = dist.log_prob(z_batch).sum(-1)
        ratio = torch.exp(log_probs - old_log_probs)
        adv = rewards - rewards.mean()
        surr1 = ratio * adv
        surr2 = torch.clamp(ratio, 1-eps, 1+eps) * adv
        loss = -torch.min(surr1, surr2).mean()
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
```

*הווקטור הלאטנטי `z` נמדד מה‑prior, מועבר דרך המדיניות ליצירת נתונים סינתטיים, מוערך, והפידבק חוזר לעדכון PPO.*

Formize מתעד כל גרסת מדיניות, את התפלגות התגמול ואת מקוריות נתוני האימון, ובכך יוצר **תיעוד בלתי‑ניתן** העונה על GDPR, CCPA ותקנות AI מתפתחות.

---

## 4. מדריך יישום מקצה לקצה

להלן מפת דרכים פרקטית לבניית מערכת הלולאה הסגורה מאפס.

### שלב 1: הקמת ממשל ב‑Formize

1. **יצירת פרויקט** – “לולאת איכות נתונים סינתטיים”.  
2. **הגדרת סכימות הסכמה** – תפסו הסכמה של בעלי הנתונים לכל מקור.  
3. **קביעת מדיניות** – ספים להטייה, תקציב פרטיות (ε), ומינימום שימושיות.  
4. **הפעלת תיעוד בלתי‑ניתן** – הפעלת יומן מבוסס בלוקצ׳יין לכל פעולה.

### שלב 2: בניית המחולל הסינתטי

```python
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
def generate_images(prompt, num=10):
    images = pipe(prompt, num_inference_steps=50, guidance_scale=7.5).images
    return images
```

לנתונים טבלאיים ניתן להחליף את הפייפליין במודל **CTGAN**.

### שלב 3: פריסת מנוע ההערכה

```python
from sklearn.metrics import pairwise_distances
def utility_score(real, synthetic):
    # דוגמה: דמיון קוסינוס של הטבעות המייצגות
    real_emb = embed(real)
    synth_emb = embed(synthetic)
    return 1 - pairwise_distances(real_emb, synth_emb, metric="cosine").mean()

def privacy_budget(synthetic):
    # הערכת ε של פרטיות דיפרנציאלית (placeholder)
    return estimate_epsilon(synthetic)
```

שלחו את שני המדדים ל‑Formize דרך ה‑REST API שלו.

### שלב 4: יצירת ממשק משוב אנושי

השתמשו ב‑**Form Builder** של Formize לעיצוב טופס דירוג פשוט:

| שדה | סוג | תיאור |
|-----|------|--------|
| מזהה מדגם | Hidden | מזהה פנימי |
| דירוג שימושיות | Radio (1‑5) | כמה מדגם שימושי? |
| סימון הטייה | Checkbox | האם המדגם מציג הטייה? |
| הערות | Textarea | משוב חופשי (אופציונלי) |

פרסמו את הטופס ושתפו אותו בפורטל מאובטח. ייצאו את התגובות כ‑JSON לעיבוד נוסף.

### שלב 5: חיבור מחשבון התגמול

```python
def compute_reward(eval_metrics, human_feedback):
    util = eval_metrics["utility"]
    privacy = -eval_metrics["epsilon"] / 10   # קנס על ε גבוה
    human = map_score_to_reward(human_feedback["rating"], human_feedback["bias"])
    return 0.5*util + 0.3*privacy + 0.2*human
```

### שלב 6: אימון סוכן ה‑RL

1. אתחלו רשת מדיניות.  
2. בכל איטרציה:  
   - מדגם וקטורים `z`.  
   - הפק מדגמים סינתטיים.  
   - הריצו הערכה ואספו משוב אנושי.  
   - חשבו תגמול.  
   - בצעו עדכון PPO.  
   - רשמו גרסת מדיניות ותגמול ב‑Formize.

### שלב 7: ניטור והתראות

- **לוח מחוונים** – ויזואליזציה של שימושיות, הטייה ופרטיות לאורך זמן.  
- **זיהוי אנומליות** – התראה כאשר התגמול יורד > 20 % במשך שני מחזורים רצופים.  
- **דוחות ציות** – יצירת דוחות PDF אוטומטיים דרך מנוע הדיווח של Formize, חתומים עם מזהה מבוזר (DID).

---

## 5. סקיילינג של הלולאה לייצור

| אתגר | פתרון |
|------|--------|
| **נתונים בקצב גבוה** | השתמשו ב‑**Ray** לאימון RL מבוזר; ערכו הערכות במקביל על אשכולות GPU. |
| **שיהוי משוב אנושי** | הטמיעו **תור** (Kafka) שמאגר מדגמים; השתמשו בלמידת פעילה כדי לתעדף מדגמים עם חוסר וודאות גבוה לקבלת תגובות. |
| **התפתחות מדיניות** | שמרו מדיניות כ‑JSON בגירסאות ב‑Formize; השתמשו ב‑feature flags לפריסת תנאים חדשים באופן מדורג. |
| **ביקורות רגולטוריות** | נצלו את הלוג הבלתי‑ניתן של Formize לייצר הוכחות חסינות לכל חישוב תגמול ועדכון מודל. |

---

## 6. מקרי שימוש בעולם האמיתי

1. **רשומות רפואיות סינתטיות** – שיפור מתמשך של נתוני EMR סינתטיים תוך שמירה על תקציב פרטיות תואם ל‑HIPAA.  
2. **סימולטורים של עסקאות פיננסיות** – הפחתת הטיית הונאה על‑ידי שילוב משוב של אנליסטים בתחום ההונאות לתוך פונקציית התגמול.  
3. **תסריטי נהיגה אוטונומית** – משוב אנושי על ריאליזם של סצנות רחוב סינתטיות מניע מחולל סצנות מבוסס RL שמכסה מקרים קיצוניים בטיחותיים.

---

## 7. שאלות נפוצות

**ש 1: האם נדרש צוות גדול של מומחים לשלב ה‑HITL?**  
**ת 1:** לא בהכרח. ניתן להתחיל עם פאנל מצומצם של מומחי תחום ולשלב עובדים קראודסורסינג. משקלים את הציונים לפי רמת המומחיות, וה‑RL ילמד מהצבר הממוצע.

**ש 2: איך Formize מבטיח תיעוד מקוריות?**  
**ת 2:** Formize כותב hash קריפטוגרפי של כל נכס (נתונים גולמיים, אצוות סינתטיות, דוחות הערכה) ללוג מבוסס בלוקצ׳יין. ה‑hash, חותמת זמן וחתימת משתמש הם בלתי‑ניתנים.

**ש 3: האם ניתן להריץ את הלולאה בזמן אמת?**  
**ת 3:** כן, אם תשתמשו ב‑ingestion מבוסס סטרימינג (Kafka) והערכת מדדים מואצת ב‑GPU. משוב אנושי הוא הצוואר בקבוק; למידת פעילה יכולה לצמצם את הצורך בתגובות אנושיות על‑ידי בקשת משוב רק על מדגמים עם חוסר וודאות גבוה.

---

## 8. כיוונים עתידיים

- **Meta‑RL לחיפוש מדיניות** – סוכן רמת‑על שיגלה מדיניות תגמול אופטימלית באופן אוטומטי.  
- **יצירת סינתטיקה פדרטיבית** – שילוב הלולאה עם federated learning לשמירה על לוקאליות הנתונים תוך ניצול משוב גלובלי.  
- **הקצאת תגמול מוסברת** – אינטגרציה של SHAP או LIME כדי לחשוף מדוע מדגם קיבל תגמול נמוך, ולסייע למקבלי החלטות בממשל.

---

## ראה גם

- תיעוד Formize – ממשקי API לממשל  
- מסגרת הפרטיות של NIST  
- Fairlearn – מדידת הוגנות במודלים של Machine Learning  

*כל תוויות הצמתים במרכאות כפולות כפי שנדרש בתחביר של Mermaid.*