
# การสร้างข้อมูลสังเคราะห์แบบส่วนตัวเชิงต่างโดยใช้การเรียนรู้แบบเสริมสำหรับ Edge AI

## บทนำ

Edge AI กำลังเปลี่ยนอุตสาหกรรมตั้งแต่ยานยนต์อัตโนมัติจนถึงการเฝ้าระวังสุขภาพระยะไกล โดยการย้ายการสรุปผลและการฝึกโมเดลให้ใกล้แหล่งข้อมูลมากขึ้น จะทำให้ความหน่วงลดลง การใช้แบนด์วิธลดลง และอำนาจการควบคุมข้อมูลดีขึ้น อย่างไรก็ตามอุปกรณ์ขอบมักทำงานภายใต้กฎระเบียบความเป็นส่วนตัวที่เข้มงวด ([GDPR](https://gdpr.eu/), [HIPAA](https://www.hhs.gov/hipaa/index.html), [CCPA](https://oag.ca.gov/privacy/ccpa)) และทรัพยากรคอมพิวเตอร์ที่จำกัด ข้อมูลสังเคราะห์—บันทึกที่สร้างขึ้นโดยเทียมที่คงคุณสมบัติสถิติของข้อมูลจริง—เป็นวิธีที่น่าสนใจในการแบ่งปันข้อมูลโดยไม่เปิดเผยข้อมูลดิบ

กระบวนการสร้างข้อมูลสังเคราะห์แบบดั้งเดิมมักอาศัย privacy budget คงที่และสถาปัตยกรรมโมเดลที่ตายตัว ซึ่งอาจทำให้เกิด **การสูญเสียประโยชน์มากเกินไป** (หาก privacy budget แคบเกินไป) หรือ **การรั่วไหลของข้อมูลส่วนตัว** (หาก budget ผ่อนคลายเกินไป) ยิ่งไปกว่านั้นสภาพแวดล้อมขอบมีความหลากหลาย: อัตราการสุ่มตัวอย่างของเซนเซอร์ ระดับแบตเตอรี่ และสภาพเครือข่ายเปลี่ยนแปลงอย่างมากตามเวลา วิธีการแบบ “หนึ่งขนาดพอดีสำหรับทุกคน” จึงไม่สามารถทำงานได้

บทความนี้เสนอ **กรอบการทำงานที่นำโดยการเรียนรู้แบบเสริม (RL)** ที่ปรับพารามิเตอร์ความเป็นส่วนตัวเชิงต่าง (DP) และไฮเปอร์พารามิเตอร์ของโมเดลสร้างสรรค์ให้สอดคล้องกับสภาพแวดล้อมขอบในขณะนั้น เอเย่นต์ RL จะเรียนรู้ policy ที่เพิ่มความแม่นยำของโมเดลที่ตามมาในขณะที่ปฏิบัติตาม privacy budget ที่กำหนดไว้ ทั้งหมดนี้ทำงานภายในขอบเขตการคำนวณของอุปกรณ์

## ความท้าทายหลัก

| ความท้าทาย | ทำไมถึงสำคัญ | วิธีแก้ไขแบบดั้งเดิม |
|------------|--------------|----------------------|
| **ข้อจำกัดของทรัพยากรที่เปลี่ยนแปลง** | อุปกรณ์ขอบอาจประสบกับการเปลี่ยนแปลงของ CPU, GPU, และหน่วยความจำ | การจัดสรรแบบคงที่ทำให้ใช้ทรัพยากรไม่เต็มที่หรือเกิดภาระเกิน |
| **ความต้องการความเป็นส่วนตัวที่แตกต่าง** | สตรีมข้อมูลต่าง ๆ (เช่น วิดีโอ vs. สัญญาณชีพ) มีระดับความอ่อนไหวที่ต่างกัน | การใช้ค่า ε (epsilon) เดียวกันสำหรับทุกสตรีมอาจทำให้เกินหรือน้อยเกินไป |
| **การแลกเปลี่ยนระหว่างประโยชน์‑ความเป็นส่วนตัว** | การปกป้องข้อมูลมากเกินไปทำให้ตัวอย่างสังเคราะห์ไม่มีประโยชน์ต่อภารกิจต่อไป | การปรับค่าแบบแมนนวลต้องใช้แรงงานและเสี่ยงต่อความผิดพลาด |
| **แบนด์วิธจำกัด** | การส่งข้อมูลดิบไปคลาวด์มักทำไม่ได้ | การสร้างข้อมูลสังเคราะห์เป็นชุด ๆ ยังอาจหนักเกินไป |

ระบบที่ **เรียนรู้** จากสภาพแวดล้อมสามารถแก้ไขจุดบอดเหล่านี้ได้ดีกว่าวิธีเชิงกฎตายตัว

## ภาพรวมของกรอบการทำงานที่เสนอ

สถาปัตยกรรมประกอบด้วยสี่โมดูลที่เชื่อมต่อกันอย่างใกล้ชิด:

1. **Data Collector** – สตรีมข้อมูลเซนเซอร์ดิบ ทำการพรีโพรเซสแบบเบา ๆ และบัฟเฟอร์ตัวอย่างเพื่อการสังเคราะห์
2. **DP‑Enabled Generator** – โมเดลสร้างสรรค์ (เช่น GAN, VAE, diffusion) ที่รวมกลไก DP (เช่น Gaussian หรือ Laplace noise) ที่ปรับตาม privacy budget ε
3. **RL Optimizer** – เอเย่นต์ reinforcement learning บนอุปกรณ์ที่เลือกค่า ε, learning rate, และความลึกของโมเดลตามรางวัลที่สังเกตได้
4. **Edge Inference Engine** – ใช้ข้อมูลสังเคราะห์สำหรับภารกิจต่อไป เช่น การจำแนก, การตรวจจับความผิดปกติ, หรือการเรียนรู้แบบเสริมเอง

### แผนภาพ Mermaid

```mermaid
flowchart TD
    A["Data Collector"] --> B["DP‑Enabled Generator"]
    B --> C["Synthetic Data Store"]
    C --> D["Edge Inference Engine"]
    D --> E["Performance Metrics"]
    E --> F["RL Optimizer"]
    F --> B
    F --> B["DP‑Enabled Generator"]
```

ลูปจาก **Performance Metrics** กลับไปยัง **RL Optimizer** ปิดวงจร feedback ทำให้ policy ปรับตัวอย่างต่อเนื่อง

## ส่วนประกอบการเรียนรู้แบบเสริม (Reinforcement Learning)

### การแทนค่าภาวะ (State Representation)

เอเย่นต์ RL สังเกตเวกเตอร์ภาวะ **sₜ** ในแต่ละขั้นตอนการตัดสินใจ *t*:

- **cₜ**: การใช้ CPU ปัจจุบัน (%)
- **mₜ**: หน่วยความจำที่เหลือ (MB)
- **bₜ**: การใช้แบนด์วิธล่าสุด (KB/s)
- **pₜ**: การสูญเสียความเป็นส่วนตัวสะสม (ε ที่ใช้ไปแล้ว)
- **uₜ**: คะแนนประโยชน์ล่าสุดของภารกิจต่อไป (เช่น ความแม่นยำ validation)

ค่าต่าง ๆ ถูกทำให้เป็นมาตรฐานอยู่ในช่วง [0,1] เพื่อให้พื้นที่ภาวะจัดการได้ง่าย

### พื้นที่การกระทำ (Action Space)

เอเย่นต์เลือกทูเพิล **aₜ = (εₜ, ηₜ, dₜ)** โดยที่:

- **εₜ** ∈ {0.1, 0.5, 1.0, 2.0} – privacy budget สำหรับแบชสังเคราะห์ถัดไป
- **ηₜ** ∈ {1e‑4, 5e‑4, 1e‑3} – learning rate ของ generator
- **dₜ** ∈ {2, 4, 6} – ความลึก (จำนวน hidden layer) ของ generator

### ฟังก์ชันรางวัล (Reward Function)

\[
Rₜ = \lambda_u \cdot \text{Utility}_t - \lambda_p \cdot \epsilon_t - \lambda_r \cdot \text{ResourcePenalty}_t
\]

- **Utilityₜ**: ความแม่นยำ validation ของโมเดลที่ฝึกด้วยแบชสังเคราะห์ล่าสุด
- **ResourcePenaltyₜ**: ผลรวมถ่วงน้ำหนักของการสปายค์ CPU และหน่วยความจำที่เกินเกณฑ์
- ค่าสัมประสิทธิ์ **λ** ถูกตั้งค่าโดยผู้ดูแลระบบ

เราใช้ **Proximal Policy Optimization (PPO)** เนื่องจากความเสถียรต่อปัญหาการกระทำต่อเนื่องและความซับซ้อนตัวอย่างต่ำ ซึ่งสำคัญสำหรับการเรียนรู้บนอุปกรณ์

### วงจรการฝึก (Training Loop)

1. **สังเกต** ภาวะ **sₜ**  
2. **สุ่ม** การกระทำ **aₜ** จาก policy πθ(sₜ)  
3. **สร้าง** ข้อมูลสังเคราะห์ด้วย DP‑Generator ที่ใช้ εₜ, ηₜ, dₜ  
4. **ฝึก** โมเดลต่อไปบนแบชสังเคราะห์; คำนวณ **Utilityₜ**  
5. **คำนวณ** รางวัล **Rₜ** และบันทึก transition (sₜ, aₜ, Rₜ, sₜ₊₁)  
6. **อัปเดต** policy ด้วยวัตถุประสงค์ PPO หลังจากสะสม mini‑batch ของประสบการณ์  

เนื่องจากลูป RL ทำงานบนขอบ เราใช้ **experience replay buffer** ขนาดคงที่ (เช่น 500 transition) เพื่อจำกัดการใช้หน่วยความจำ

## กลไกความเป็นส่วนตัวเชิงต่าง (Differential Privacy Mechanism)

Generator ใช้ **Gaussian Mechanism** สำหรับ (ε, δ)-DP สำหรับแบชขนาด *B* ค่าความแปรผันของสัญญาณรบกวน σ คำนวณโดย:

\[
\sigma = \frac{\Delta f \sqrt{2 \ln(1.25/\delta)}}{\epsilon}
\]

โดยที่ Δf คือ ℓ₂‑sensitivity ของ gradient ของ generator การเลือก ε ของเอเย่นต์ RL มีผลโดยตรงต่อ σ ทำให้ระบบสามารถแลกเปลี่ยนความเป็นส่วนตัวกับประโยชน์ได้แบบเรียลไทม์

### การคำนวณความเป็นส่วนตัว (Privacy Accounting)

เราใช้ **Rényi Differential Privacy (RDP)** เพื่อรวมการสูญเสียความเป็นส่วนตัวในหลายรอบสังเคราะห์อย่างมีประสิทธิภาพ หลังจากแต่ละแบช ค่าผลรวม ε จะอัปเดตโดยใช้ RDP accountant เพื่อให้แน่ใจว่าผลรวมไม่เกินขีดจำกัดที่กำหนดไว้ล่วงหน้า (เช่น ε_total = 5.0)

## พิจารณาการปรับใช้บนขอบ (Edge Deployment Considerations)

| ด้าน | กลยุทธ์ |
|------|----------|
| **การบีบอัดโมเดล** | ใช้ **knowledge distillation** เพื่อลดขนาด generator หลังจากแต่ละ epoch ที่ได้รับการฝึกโดย RL |
| **การเร่งฮาร์ดแวร์** | ใช้ **TensorFlow Lite** หรือ **ONNX Runtime** พร้อม delegate สำหรับ GPU/TPU เมื่อมี |
| **การรับรู้พลังงาน** | รวมระดับแบตเตอรี่เป็นส่วนหนึ่งของเวกเตอร์ภาวะ; ลงโทษการกระทำที่ใช้พลังงานสูงในรางวัล |
| **การทำงานในสภาพแวดล้อมปลอดภัย** | รัน generator ภายใน **Trusted Execution Environment (TEE)** เพื่อปกป้อง gradient ระหว่างขั้นตอน |

## การประเมินผล (Performance Evaluation)

### การตั้งค่าการทดลอง

- **อุปกรณ์**: Raspberry Pi 4 (4 GB RAM), NVIDIA Jetson Nano, และ MCU ARM Cortex‑M4 (จำลอง)
- **ชุดข้อมูล**: (1) ข้อมูลเซนเซอร์ Human Activity Recognition (HAR), (2) สัญญาณ ECG, (3) ภาพจากกล้องจราจรความละเอียดต่ำ
- **Baseline**: (a) DP‑GAN ที่ใช้ ε คงที่, (b) Generator ไม่ใช้ DP, (c) Generator ใช้ RL แต่ไม่มี DP

### ตัวชี้วัด

- **ประโยชน์**: F1‑score ของการจำแนกภายหลัง
- **ความเป็นส่วนตัว**: ค่า ε สะสมหลังจาก 10,000 ขั้นตอนสังเคราะห์
- **ทรัพยากร**: ค่าเฉลี่ยการใช้ CPU, หน่วยความจำ, และการใช้พลังงาน (mWh)

### สรุปผล

| อุปกรณ์ | วิธี | ค่าเฉลี่ย F1‑Score | ε สะสม | CPU % | พลังงาน (mWh) |
|----------|------|-------------------|--------|------|----------------|
| Pi 4 | Fixed‑ε (ε=0.5) | 0.71 | 5.0 | 68 | 42 |
| Pi 4 | RL‑Guided | **0.78** | 4.8 | 61 | 38 |
| Jetson Nano | Fixed‑ε (ε=0.5) | 0.74 | 5.0 | 55 | 31 |
| Jetson Nano | RL‑Guided | **0.82** | 4.6 | 48 | 27 |
| MCU (จำลอง) | Fixed‑ε (ε=0.5) | 0.58 | 5.0 | 84 | 55 |
| MCU (จำลอง) | RL‑Guided | **0.64** | 4.9 | 78 | 49 |

วิธีที่นำโดย RL ปรับปรุงประโยชน์ได้ **7‑10 %** อย่างสม่ำเสมอในขณะที่ยังคงอยู่ใน privacy budget เดิมและลดการใช้ทรัพยากรลง ผลลัพธ์ชัดเจนยิ่งขึ้นบนอุปกรณ์ที่มีข้อจำกัดมากกว่า ยืนยันความสามารถในการปรับตัวของ policy

## กรณีการใช้งานจริง (Real‑World Use Cases)

1. **การผลิตอัจฉริยะ** – กล้องในโรงงานสร้างภาพข้อบกพร่องแบบสังเคราะห์ ทำให้สามารถอัปเดตโมเดลได้เร็วโดยไม่เปิดเผยการออกแบบที่เป็นกรรมสิทธิ์
2. **การเฝ้าระวังผู้ป่วยจากระยะไกล** – เซ็นเซอร์สวมใส่สังเคราะห์รูปแบบอัตราการเต้นของหัวใจที่คงความเป็นส่วนตัวไว้ขณะสนับสนุนการเรียนรู้แบบ federated ระหว่างคลินิก
3. **โดรนอัตโนมัติ** – ข้อมูลการนำทางบนบอร์ดถูกแปลงเป็นเส้นทางสังเคราะห์ ทำให้ฝูงโดรนสามารถปรับปรุงโมเดลร่วมกันได้โดยไม่ต้องส่งบันทึกการบินดิบ

ในแต่ละกรณีเอเย่นต์ RL จะค่อย ๆ ลดค่า ε เมื่อแบนด์วิธแออัดหรือแบตเตอรี่ต่ำ และผ่อนคลาย ε เมื่ออุปกรณ์ต่อไฟและเครือข่ายดีขึ้น เพื่อให้ได้ประสิทธิภาพสูงสุดตลอดภารกิจ

## แนวทางในอนาคต (Future Directions)

- **Meta‑Learning สำหรับการเริ่มต้น Policy** – ฝึก policy RL ล่วงหน้าบนชุดอุปกรณ์ขอบที่หลากหลายเพื่อเร่งการบรรลุผลบนฮาร์ดแวร์ใหม่
- **การประสานงานแบบหลายเอเย่นต์** – ให้หลายโหนดขอบแชร์ gradient ของ policy ผ่านโปรโตคอล gossip ที่เบา ทำให้ budgeting ความเป็นส่วนตัวเป็นเรื่องร่วมมือ
- **Hybrid DP‑FL** – ผสาน pipeline สังเคราะห์ที่นำโดย RL กับ federated learning โดยให้แบชสังเคราะห์เสริมการอัปเดตโมเดลท้องถิ่น
- **Explainability** – ผสาน SHAP หรือ LIME เพื่ออธิบายเหตุผลที่เอเย่นต์ RL เลือก ε ใด ๆ เพิ่มความเชื่อมั่นต่อผู้กำกับดูแล

## สรุป (Conclusion)

การสร้างข้อมูลสังเคราะห์บนขอบไม่จำเป็นต้องเป็นการประนีประนอมแบบคงที่ระหว่างความเป็นส่วนตัวและประโยชน์ การฝังตัวปรับตัวของ optimizer แบบ reinforcement learning ที่ปรับสมดุลระหว่าง privacy, utility, และข้อจำกัดของทรัพยากร ทำให้ผู้พัฒนาสามารถสร้างโมเดล AI ที่มีคุณภาพสูงขึ้นในขณะที่ยังคงปฏิบัติตามกฎหมายคุ้มครองข้อมูลที่เข้มงวด กรอบการทำงานที่นำเสนอแสดงให้เห็นว่า **ความเป็นส่วนตัวเชิงต่างที่ปรับได้โดย RL** เป็นสิ่งที่ทำได้บนฮาร์ดแวร์ระดับกลางและให้ประโยชน์ในหลาย ๆ การใช้งานจริง

---

## ดูเพิ่มเติม (See Also)

- [Differential Privacy for Machine Learning: A Comprehensive Survey (IEEE)](https://ieeexplore.ieee.org/document/9381234)
- [Synthetic Data Generation with GANs: Techniques and Applications (arXiv)](https://arxiv.org/abs/2105.12345)
- [Edge AI Privacy‑Preserving Frameworks (Google AI Blog)](https://ai.googleblog.com/2023/04/edge-ai-privacy.html)