
# ヒューマンフィードバックと強化学習によるクローズドループ合成データ品質改善

合成データは、実データが不足、規制対象、または取得コストが高い場合に、プライバシー保護された AI モデルの学習に不可欠な基盤となっています。しかし、元データの統計的特性を忠実に再現しつつプライバシー制約を守る高品質な合成データの生成は、容易な課題ではありません。従来のパイプラインは、モデルを学習させて合成サンプルを生成し、そこで処理を終了する「ワンショット」方式です。この「静的」アプローチは、ドリフトや隠れたバイアス、コンプライアンスギャップを招き、下流モデルのデプロイ後に問題が顕在化します。

**クローズドループフィードバックアーキテクチャ** は、合成データの有用性・公平性・プライバシーを継続的に測定し、その結果をジェネレータにフィードバックし、強化学習（RL）で改善を導くことで、これらの問題を解決します。さらに、**Formize**（監査トレイル、ポリシー適用、同意管理を自動化するローコードガバナンスプラットフォーム）と組み合わせることで、ループは **自己最適化** かつ **規制対応** となります。

本記事で取り上げる内容：

1. クローズドループ合成データシステムの主要コンポーネントを定義する。  
2. ヒューマンフィードバックの取得方法、定量化手法、RL 報酬への変換を示す。  
3. Formize との統合ポイント（不変監査トレイル、動的同意、ポリシー駆動の報酬形成）を詳述する。  
4. コードスニペットと Mermaid ワークフローダイアグラムを含む、ステップバイステップの実装ガイドを提供する。  
5. スケーラビリティ、モニタリング、本番デプロイのベストプラクティスを議論する。

---

## 1. コアアーキテクチャ概要

高レベルでは、クローズドループシステムは以下の 5 層で構成されます。

| レイヤー | 役割 | 主な技術例 |
|----------|------|------------|
| **データインジェスト** | 生データの安全な取り込み、非識別化、同意メタデータの記録 | Formize Consent API、Apache Kafka、S3 |
| **合成ジェネレータ** | マルチモーダル合成サンプル（表形式、テキスト、画像、音声）を生成 | Diffusion モデル、GAN、LLM、Tabular VAE |
| **評価エンジン** | 有用性・公平性・プライバシー・ドメイン固有品質指標を計算 | NIST‑DP‑3T、Fairlearn、カスタム類似度スコア |
| **ヒューマン・イン・ザ・ループ (HITL) インターフェース** | 専門家のアノテーション、バイアスフラグ、ユーティリティ評価を収集 | Formize Form Builder、React UI、クラウドソーシングプラットフォーム |
| **強化学習エージェント** | 評価結果と HITL から得られる報酬でジェネレータパラメータを更新 | Proximal Policy Optimization (PPO)、Ray RLlib |

RL エージェントがジェネレータのパラメータを更新すると、再び新しい合成データが生成され、ループが完了します。Formize はすべての層に跨って不変のプロヴァナンス、ポリシー駆動の報酬形成、そして自動コンプライアンスレポートを提供します。

### クローズドループの Mermaid ダイアグラム

```mermaid
flowchart LR
    A["データインジェスト"] --> B["合成ジェネレータ"]
    B --> C["評価エンジン"]
    C --> D["ヒューマンフィードバック UI"]
    D --> E["報酬計算機"]
    E --> F["強化学習エージェント"]
    F --> B
    B --> G["Formize ガバナンス層"]
    G --> A
    G --> C
    G --> D
    G --> F
```

*すべてのノードラベルは Mermaid の構文要件に従い二重引用符で囲んであります。*

---

## 2. ヒューマンフィードバックを報酬信号に変換する方法

特に医療画像や法的文書といった微妙な領域では、ヒューマンエキスパートが合成データ品質を評価する金標準です。フィードバックループは次の手順で進行します。

1. **サンプル提示** – ランダムに抽出したサブセット（例：200 行または 50 画像）を Formize がホストするウェブフォームで表示。  
2. **評価尺度** – ユーザーは有用性スコア（1‑5）を付与し、必要に応じてバイアスやプライバシー問題にフラグを立てます。  
3. **重み付け集計** – スコアはユーザーの専門性で重み付け（例：ドメインエキスパート = 1.5、クラウドワーカー = 1.0）。  
4. **報酬マッピング** – 集計スコアをスカラー報酬 `r ∈ [-1, 1]` に変換。シンプルな線形マッピング例は以下の通りです。

   ```python
   def map_score_to_reward(score, bias_flag):
       base = (score - 3) / 2   # 1‑5 を -1‑1 にマップ
       penalty = -0.5 if bias_flag else 0
       return max(min(base + penalty, 1), -1)
   ```

5. **ポリシー駆動調整** – Formize のポリシー（例：「人口統計的格差が 5% を超えてはならない」）が追加のペナルティやボーナスを報酬に注入し、RL エージェントを適切に誘導します。

### Formize におけるポリシー実装例

```yaml
policy:
  name: "バイアス閾値強制"
  condition: "demographic_disparity > 5"
  action: "apply_penalty"
  penalty: -0.3
```

評価エンジンが格差超過を検知した場合、Formize が自動的に報酬を減少させ、同様のサンプル生成を抑制します。

---

## 3. ジェネレータ最適化のための強化学習

ジェネレータは **環境** とみなし、ポリシーパラメータ `θ` を期待累積報酬 `R` の最大化に向けて更新します。安定性とサンプル効率のバランスが取れる **Proximal Policy Optimization (PPO)** が一般的な選択肢です。

### PPO アップデート概略

```python
import torch
from torch.distributions import Normal

class SyntheticPolicy(torch.nn.Module):
    def __init__(self, latent_dim):
        super().__init__()
        self.fc = torch.nn.Linear(latent_dim, latent_dim)
        self.mean_head = torch.nn.Linear(latent_dim, latent_dim)
        self.log_std = torch.nn.Parameter(torch.zeros(latent_dim))

    def forward(self, z):
        h = torch.tanh(self.fc(z))
        mean = self.mean_head(h)
        std = torch.exp(self.log_std)
        return Normal(mean, std)

def ppo_step(policy, optimizer, old_log_probs, rewards, eps=0.2):
    for _ in range(4):  # ミニバッチエポック数
        dist = policy(z_batch)
        log_probs = dist.log_prob(z_batch).sum(-1)
        ratio = torch.exp(log_probs - old_log_probs)
        adv = rewards - rewards.mean()
        surr1 = ratio * adv
        surr2 = torch.clamp(ratio, 1-eps, 1+eps) * adv
        loss = -torch.min(surr1, surr2).mean()
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
```

*潜在ベクトル `z` をサンプリングし、ポリシーを通して合成データを生成、評価し、PPO 更新にフィードバックします。*

Formize は各ポリシーバージョン、報酬分布、トレーニングデータの出所を記録し、[GDPR](https://gdpr.eu/)、[CCPA](https://oag.ca.gov/privacy/ccpa)、および新興 AI 規制に準拠した **不変監査トレイル** を作成します。

---

## 4. エンドツーエンド実装ガイド

以下は、クローズドループシステムをゼロから構築する実践的ロードマップです。

### Step 1: Formize ガバナンスの設定

1. **プロジェクト作成** – 「Synthetic Data Quality Loop」。  
2. **同意スキーマ定義** – 各ソースデータセットに対するデータ主体の同意を取得。  
3. **ポリシー設定** – バイアス閾値、プライバシーバジェット (ε)、有用性最低基準を構成。  
4. **不変ロギング有効化** – すべてのトランザクションに対しブロックチェーンバックアップの監査トレイルをオンに。

### Step 2: 合成ジェネレータの構築

```python
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
def generate_images(prompt, num=10):
    images = pipe(prompt, num_inference_steps=50, guidance_scale=7.5).images
    return images
```

表形式データの場合は、Diffusion パイプラインの代わりに **CTGAN** モデルを使用してください。

### Step 3: 評価エンジンのデプロイ

```python
from sklearn.metrics import pairwise_distances
def utility_score(real, synthetic):
    # 例: 特徴埋め込みの余弦類似度
    real_emb = embed(real)
    synth_emb = embed(synthetic)
    return 1 - pairwise_distances(real_emb, synth_emb, metric="cosine").mean()

def privacy_budget(synthetic):
    # 差分プライバシー ε 推定（プレースホルダー）
    return estimate_epsilon(synthetic)
```

評価結果は Formize の REST API を通じて記録します。

### Step 4: ヒューマンフィードバック UI の作成

Formize の **Form Builder** を使って以下のシンプルな評価フォームを設計：

| フィールド | 種類 | 説明 |
|------------|------|------|
| Sample ID | Hidden | 内部識別子 |
| Utility Rating | Radio (1‑5) | このサンプルはどれだけ有用ですか？ |
| Bias Flag | Checkbox | バイアスがあると思いますか？ |
| Comments | Textarea | 任意の自由記述フィードバック |

フォームを安全なポータルにデプロイし、JSON 形式でレスポンスをエクスポートして downstream 処理に利用します。

### Step 5: 報酬計算機の組み立て

```python
def compute_reward(eval_metrics, human_feedback):
    util = eval_metrics["utility"]
    privacy = -eval_metrics["epsilon"] / 10   # 高 ε はペナルティ
    human = map_score_to_reward(human_feedback["rating"], human_feedback["bias"])
    return 0.5*util + 0.3*privacy + 0.2*human
```

### Step 6: RL エージェントの学習

1. ポリシーネットワークを初期化。  
2. 各イテレーションで以下を実行：  
   - 潜在ベクトル `z` をサンプリング。  
   - 合成データを生成。  
   - 評価とヒューマンフィードバックを取得。  
   - 報酬を計算。  
   - PPO 更新を実施。  
   - ポリシーバージョンと報酬を Formize にログ。  

### Step 7: 監視とアラート

- **メトリックダッシュボード** – 時系列で有用性、バイアス、プライバシーを可視化。  
- **異常検知** – 連続 2 サイクルで報酬が 20% 以上低下した場合にアラートを発火。  
- **コンプライアンスレポート** – Formize のレポートエンジンで PDF を自動生成し、分散型識別子 (DID) で署名。

---

## 5. 本番環境向けスケーリング

| 課題 | 解決策 |
|------|--------|
| **大量データ処理** | 分散 RL トレーニングに **Ray** を使用し、GPU クラスタでバッチ評価を並列化。 |
| **ヒューマンフィードバックの遅延** | Kafka キューでサンプルをバッファし、アクティブラーニングで不確実性の高いサンプルを優先的にアノテーション依頼。 |
| **ポリシーの進化** | Formize にバージョン管理された JSON ポリシーを保存し、機能フラグで段階的に新制約をロールアウト。 |
| **規制監査** | Formize の不変台帳で、報酬計算とモデル更新のすべての証拠を改ざん不可な形で提供。 |

---

## 6. 実世界ユースケース

1. **医療合成レコード** – 患者レベルの合成 EMR データを継続的に改善し、[HIPAA](https://www.hhs.gov/hipaa/index.html) 準拠のプライバシーバジェットを保証。  
2. **金融取引シミュレータ** – 詐欺アナリストのフィードバックを報酬に組み込み、合成詐欺パターンバイアスを低減。  
3. **自動運転シナリオ** – 合成道路シーンのリアリティ評価をヒューマンが行い、RL ベースのシーンジェネレータが安全クリティカルなエッジケースを学習。

---

## 7. FAQ（よくある質問）

**Q1: HITL ステップに多数の専門家が必要ですか？**  
A1: 必ずしも必要ありません。まずは少数のドメインエキスパートで開始し、クラウドワーカーで補完します。スコアは専門性に応じて重み付けし、RL エージェントは集約された報酬から学習します。

**Q2: Formize はデータの出所をどう保証しますか？**  
A2: 各アーティファクト（生データ、合成バッチ、評価レポート）の暗号ハッシュをブロックチェーンベースの台帳に書き込みます。ハッシュ、タイムスタンプ、ユーザー署名は不変です。

**Q3: ループはリアルタイムで回せますか？**  
A3: はい、ストリーミングインジェスト（Kafka）と GPU 加速評価を組み合わせれば可能です。ボトルネックはヒューマンフィードバックであり、アクティブラーニングで「不確実性が高い」サンプルだけを優先的に取得すれば、ループの応答性を保てます。

---

## 8. 今後の展望

- **メタRLによるポリシー探索** – 上位 RL エージェントが最適な報酬形成ポリシーを自動探索。  
- **フェデレーテッド合成生成** – データローカリティを保ちつつ、グローバルフィードバックの恩恵を受ける。  
- **説明可能な報酬帰属** – SHAP や LIME を統合し、特定サンプルが低報酬を受けた理由を可視化、コンプライアンス担当者を支援。

---

## 参考リンク

- Formize ドキュメント – ガバナンス API  
- NIST 差分プライバシーフレームワーク  
- Fairlearn – 機械学習の公平性評価  

---