
# 동형 암호화와 연합 학습을 활용한 엣지에서 실시간 프라이버시 보호 합성 데이터 생성

## 소개

엣지 AI는 **추론 전용** 워크로드에서 **데이터 중심** 파이프라인으로 전환하고 있습니다. 여기서는 지속적인 모델 업데이트, 디바이스 내 학습, 합성 데이터 생성을 필요로 합니다. 합성 데이터는 실제 데이터를 수집하는 비용을 크게 줄일 수 있지만, 소스 데이터가 사용자 디바이스에서 나올 경우 **프라이버시** 문제가 발생합니다. 기존 익명화 기법(마스킹, 차등 프라이버시)은 데이터 유용성을 떨어뜨리거나 신뢰할 수 있는 중앙 권한을 요구하는데, 이는 지연에 민감한 엣지 시나리오에서는 바람직하지 않습니다.

**새로운 패러다임**은 **동형 암호화(HE)**, **연합 학습(FL)**, **제로 트러스트** 제어를 결합해 엣지에서 **실시간**으로 고품질 합성 데이터를 생성합니다. 이 글에서는 보안 모델, 아키텍처 구성 요소, 실용적인 구현 단계들을 살펴보고 성능 트레이드‑오프와 향후 연구 과제도 논의합니다.

## 왜 엣지 합성 데이터에 강력한 프라이버시 보장이 필요한가

| 도전 과제 | 기존 접근법 | 한계 |
|-----------|------------|------|
| **데이터 거주지** | 원시 데이터를 클라우드에 업로드 | 규제 위반 ([GDPR](https://gdpr.eu/), [CCPA](https://oag.ca.gov/privacy/ccpa)) |
| **지연** | 중앙에서 생성 → 왕복 | 실시간 추론에 부적합 |
| **신뢰** | 중앙 권한이 데이터 검증 | 단일 장애점, 내부자 위험 |
| **유용성** | 차등 프라이버시 노이즈 과다 | 합성 데이터 품질 저하 |

엣지 디바이스(IoT 센서, 스마트폰, 자율 드론)는 **고차원·시간에 민감한** 스트림(영상, 오디오, 텔레메트리)을 생성합니다. 모델을 최신 상태로 유지하려면 합성 데이터를 **로컬**에서 **즉시** 생성해야 합니다. 동시에 원시 데이터는 어떠한 외부 당사자(오케스트레이션 서버 포함)에게도 평문으로 노출돼서는 안 됩니다. 여기서 **동형 암호화**가 빛을 발합니다: 암호화된 데이터에 대한 연산을 가능하게 하여 파이프라인 전반에 걸쳐 기밀성을 유지합니다.

## 엣지 AI를 위한 동형 암호화 기본 개념

동형 암호화는 **암호문**에 대해 **덧셈·곱셈** 같은 산술 연산을 수행할 수 있게 하며, 복호화된 결과가 평문에 동일 연산을 적용한 결과와 일치합니다. 최신 스킴(CKKS, BFV, TFHE)은 다음을 지원합니다.

* **패킹된 암호문** – 하나의 암호문에 여러 데이터 포인트를 인코딩해 대역폭을 절감합니다.
* **근사 연산** – 신경망 추론 및 생성 모델에 적합합니다.
* **부트스트래핑** – 암호문 노이즈를 재설정해 연산 깊이를 확장합니다.

엣지 합성 데이터 생성에 일반적으로 필요한 작업은 다음과 같습니다.

1. **암호화된 특징 추출** – 원시 센서 데이터를 복호화 없이 임베딩으로 변환합니다.
2. **암호화된 모델 추론** – 암호화된 임베딩에 생성 모델(VAE, diffusion 등)을 적용합니다.
3. **암호화된 샘플링** – 합성 샘플을 암호화된 상태로 추출하고, 필요 시 로컬에서 복호화합니다.

### 적합한 스킴 선택

| 스킴 | 장점 | 단점 |
|------|------|------|
| **CKKS** | 근사 연산에 효율적, 부동소수점에 적합 | 정확한 정수 연산 제한 |
| **BFV** | 정확한 정수 연산, 양자화 모델에 적합 | 암호문 크기 큼 |
| **TFHE** | 비트 단위 연산, 빠른 부트스트래핑 | 대형 텐서에 높은 지연 |

대부분의 엣지 파이프라인은 **CKKS**를 선호합니다. 생성 모델은 부동소수점 연산을 필요로 하고, 약간의 근사 오차는 프라이버시 이득과 비교해 충분히 감수할 수 있기 때문입니다.

## 연합 학습과의 통합

연합 학습은 **분산 모델 학습** 프레임워크를 제공하며, 각 엣지 노드는 로컬 업데이트를 수행하고 **암호화된 그래디언트**를 중앙 집계 서버에 전송합니다. 우리 아키텍처에서는 다음과 같이 동작합니다.

1. **로컬 모델** – 디바이스 내에서 학습되는 경량 인코더‑디코더 쌍.
2. **암호화된 그래디언트 업로드** – 그래디언트를 집계자의 공개키(HE)로 암호화 후 전송.
3. **보안 집계** – 서버가 암호화된 그래디언트를 집계하고, 동형 업데이트를 수행한 뒤 새로운 전역 모델(암호화된 상태)을 디바이스에 브로드캐스트.

**HE와 FL을 결합**하면 원시 그래디언트를 볼 수 있는 신뢰할 수 있는 집계자가 필요 없게 되며, **제로 트러스트** 엔드‑투‑엔드 프라이버시를 달성할 수 있습니다.

## 엔드‑투‑엔드 아키텍처

아래는 원시 센서 입력부터 합성 데이터 출력까지의 데이터 흐름을 시각화한 고수준 Mermaid 다이어그램입니다.

```mermaid
flowchart TD
    A["엣지 디바이스<br/>원시 센서 데이터"] --> B["HE 인코더<br/>(CKKS)"]
    B --> C["암호화된 특징 벡터"]
    C --> D["로컬 생성 모델<br/>(암호화된 추론)"]
    D --> E["암호화된 합성 샘플"]
    E --> F["로컬 복호화기<br/>(디바이스 개인키)"]
    F --> G["합성 데이터 (평문)"]
    C --> H["연합 학습용 암호화된 그래디언트"]
    H --> I["보안 집계자<br/>(HE 연산)"]
    I --> J["업데이트된 전역 모델 (암호화)"]
    J --> B
    style A fill:#f9f,stroke:#333,stroke-width:2px
    style G fill:#bbf,stroke:#333,stroke-width:2px
```

### 핵심 구성 요소

| 구성 요소 | 역할 | 구현 팁 |
|-----------|------|--------|
| **HE 인코더** | 원시 데이터를 암호문으로 변환 | 배치를 활용해 여러 센서 읽기를 한 번에 암호화(지연 ≤ 10 ms); 키 크기는 2048 비트 이하로 유지해 엣지에서 실행 가능 |
| **암호화된 생성 모델** | 데이터가 암호화된 상태에서 합성 샘플을 생성 | 모델을 **HE‑친화** 연산으로 변환(예: ReLU → 다항식 근사) |
| **보안 집계자** | 암호화된 그래디언트에 대한 연합 모델 업데이트 수행 | 서버 측에서는 GPU 가속 HE 라이브러리(Microsoft SEAL, PALISADE) 활용 |
| **제로 트러스트 정책 엔진** | 접근 제어, 인증, 감사 로그 강제 | 정책‑코드 플랫폼과 연동해 불변 감사 로그 유지 |
| **로컬 복호화기** | 합성 데이터 복호화 후 다운스트림 모듈에 전달 | 개인키를 TPM, Secure Enclave 등 하드웨어 루트 보안 요소에 저장 |

## 실시간 파이프라인 워크플로우

1. **데이터 캡처** – 센서 데이터가 원형 버퍼에 스트리밍됩니다.
2. **디바이스 내 암호화** – HE 인코더가 마이크로 배치(≤ 10 ms) 단위로 버퍼를 암호화합니다.
3. **암호화된 추론** – 암호화된 생성 모델이 암호문 위에서 실행돼 암호화된 합성 샘플을 출력합니다.
4. **복호화 및 활용** – 디바이스의 보안 요소가 샘플을 복호화하고, 로컬 강화 학습 에이전트 등 downstream AI 모듈에 전달합니다.
5. **그래디언트 계산** – 동시에 디바이스는 암호화된 데이터에 대한 생성 모델의 그래디언트를 계산합니다.
6. **보안 업로드** – 암호화된 그래디언트를 TLS 상에서 상호 인증을 거쳐 집계자에게 전송합니다.
7. **모델 갱신** – 일정 라운드 후 집계자는 업데이트된 암호화 전역 모델을 다시 디바이스에 전송합니다.

이 전체 루프는 최신 ARM Cortex‑A78 또는 RISC‑V 코어에 NEON/SVE 가속을 적용했을 때 **200‑500 ms** 수준의 **서브‑초 지연**을 달성할 수 있습니다.

## 기존 접근법 대비 장점

* **프라이버시 바이 디자인** – 원시 데이터가 평문으로 디바이스를 떠나지 않음.
* **규제 준수** – [GDPR](https://gdpr.eu/)·[CCPA](https://oag.ca.gov/privacy/ccpa) 등 “전송 중·보관 중” 암호화 요구사항을 비용 없이 충족.
* **제로 트러스트 보장** – 모든 상호작용이 암호학적으로 검증되고, 불변 로그가 감사를 가능하게 함.
* **확장 가능한 모델 품질** – 연합 업데이트를 통해 중앙 데이터 수집 없이도 생성 모델을 최신 상태로 유지.
* **엣지 최적 성능** – 배치와 다항식 근사 덕분에 평문 추론 대비 30 % 이하의 연산 오버헤드.

## 구현 시 고려사항

### 하드웨어 제약

* **CPU** – SIMD 확장을 갖춘 최신 ARM 코어는 128‑원소 배치당 CKKS 연산을 약 10 ms에 처리.
* **메모리** – 암호문은 평문보다 2–4배 크므로, 일반적인 64‑차원 임베딩 파이프라인에는 최소 256 MiB 메모리 할당 필요.
* **보안 요소** – 개인키는 TPM/SE에 저장해 키 탈취 공격을 방지.

### 소프트웨어 스택

| 레이어 | 권장 라이브러리 |
|--------|-----------------|
| **HE 코어** | Microsoft SEAL (C++), TenSEAL (Python), Concrete (Rust) |
| **모델 변환** | ONNX → HE‑친화 그래프 (`he-transformer` 혹은 커스텀 다항식 근사) |
| **연합 조정** | TensorFlow Federated, PySyft (HE 확장 포함) |
| **정책·감사** | 정책‑코드 엔진 + IPFS·블록체인 기반 불변 로그 |

### 성능 최적화

* **암호문 패킹** – 여러 시점 데이터를 하나의 암호문에 인코딩해 암호화 비용을 분산.
* **부트스트래핑 빈도** – 노이즈가 임계값을 초과할 때만 부트스트래핑 수행; 지연 최소화를 위해 지연 부트스트래핑 적용.
* **모델 프루닝** – 모델 깊이를 줄이고 비선형성을 저차 다항식(예: Chebyshev 근사)으로 교체.

## 도전 과제와 완화 방안

| 도전 과제 | 영향 | 완화 방안 |
|-----------|------|-----------|
| **암호문 크기** | 대역폭·메모리 사용량 증가 | 암호화 페이로드 압축; 128‑비트 보안 수준으로 작은 암호문 사용 |
| **연산 오버헤드** | 저전력 디바이스에서 실시간 예산 초과 가능 | 전용 HE 가속기(예: Google Edge TPU with HE extensions)로 무거운 연산 오프로드 |
| **키 관리** | 개인키 유출 시 프라이버시 붕괴 | 하드웨어 루트 키 저장; 정책 기반 자동 키 교체 |
| **모델 정확도 저하** | 다항식 근사로 인한 오차 | 변환 후 모델 재미세조정; 고성능 교사 모델로 지식 증류 적용 |

## 향후 연구 방향

1. **하이브리드 HE‑MPC 프로토콜** – 동형 암호와 안전 다자간 계산을 결합해 노이즈 증가를 최소화.  
2. **적응형 암호화 수준** – 데이터 민감도·디바이스 자원에 따라 암호문 모듈러스를 동적으로 조정.  
3. **엣지‑전용 HE 가속기** – Intel SGX‑HE, IBM HEB 등 ASIC이 제공하는 주문 규모 속도 향상 기대.  
4. **설명 가능한 합성 데이터** – LLM 기반 설명을 합성 샘플에 첨부해 감사 로그에 저장, 투명성 강화.

## 결론

실시간 프라이버시 보호 합성 데이터 생성을 엣지에서 구현하는 것은 이제 이론이 아니라 실현 가능한 기술입니다. **동형 암호화와 연합 학습을 결합**하고 **제로 트러스트 정책 엔진**으로 워크플로우를 감싸면, 조직은 가장 엄격한 데이터 프라이버시 규제를 준수하면서 엣지 AI의 전체 잠재력을 활용할 수 있습니다. 여기서 제시한 아키텍처는 엔지니어가 지연이나 모델 성능을 희생하지 않고도 고품질 합성 데이터를 제공하는 확장 가능하고 안전한 파이프라인을 구축하기 위한 실용적인 로드맵을 제공합니다.

---

## 관련 문서

- [Homomorphic Encryption for Machine Learning – Microsoft SEAL Documentation](https://github.com/microsoft/SEAL) (머신러닝을 위한 동형 암호화)
- [Federated Learning: A Comprehensive Overview – Google AI Blog](https://ai.googleblog.com/2020/04/federated-learning-overview.html) (연합 학습 종합 개요)
- [Zero Trust Architecture – NIST SP 800-207](https://csrc.nist.gov/publications/detail/sp/800-207/final) (제로 트러스트 아키텍처)