
# Генерація синтетичних даних на основі каузальних графів для регуляторної відповідності

## Вступ

Синтетичні дані стали наріжним каменем для навчання AI‑моделей, коли реальні дані є дефіцитними, чутливими або під суворим регулюванням. Традиційні генеративні техніки (GAN, дифузійні моделі, симулятори на базі LLM) добре імітують статистичні розподіли, проте часто ігнорують **каузальні зв’язки**, які регулятори все частіше вимагають зберігати.  

Регулятори, такі як **[AI Act]** ЄС, **FDA** США для медичних пристроїв та **[CCPA]** США щодо конфіденційності споживачів, рухаються у напрямку **пояснюваності** та **прослідковуваності** даних. Синтетичний набір, який лише відтворює маргінальні статистики, може пройти поверхневий аудит, але провалиться, коли регулятор запитає: «Чи можете ви довести, що синтетичні записи дотримуються базових каузальних механізмів вихідної популяції?»

Тут у гру вступає **генерація синтетичних даних на основі каузального графа** (CG‑SDG). Явно моделюючи структуру причин‑наслідків у вихідних даних, ми можемо створювати синтетичні записи, які:

* Зберігають юридично релевантні залежності (наприклад, вік → результат здоров’я, кредитний скор → схвалення позики).
* Надають прозорий аудит‑трейл, що зв’язує кожну синтетичну ознаку з каузальним вузлом.
* Дозволяють **контрфактичний аналіз** для забезпечення справедливості та зменшення упередженості.
* Підтримують **динамічну відповідність** у міру зміни регуляцій.

У цій статті ми пройдемося по теорії, практичній реалізації та перевагах CG‑SDG для комплаєнсу, зосереджуючись на тому, як організації можуть вбудувати його у існуючі конвеєри даних та рамки управління.

---

## Чому каузальні графи важливі для відповідності

| Регуляторна проблема | Традиційні синтетичні дані | Підхід з каузальним графом |
|----------------------|----------------------------|----------------------------|
| **Пояснюваність** | Чорний ящик, важко обґрунтувати | Кожна синтетична ознака отримана з явного каузального рівняння |
| **Аудити справедливості** | Пост‑хок виявлення упередженості, обмежене виправлення | Контрфактичні запити виявляють вплив захищених атрибутів |
| **Лінійність даних** | Обмежені метадані про походження | Вузли графа слугують як якір лінійності, забезпечуючи незмінний аудит‑трейл |
| **Динамічне оновлення політик** | Перенавчання всієї моделі при зміні правила | Оновлюється лише уражений каузальний ребро, решта конвеєра зберігається |

Вирівнюючи генерацію синтетичних даних з **орієнтованим ациклічним графом (DAG)**, який кодує доменну експертизу, організації отримують **єдине джерело правди** для команд data science та комплаєнсу.

---

## Побудова каузального графа з вихідних даних

### 1. Збір доменної експертизи

Почніть із залучення експертів‑предметників (SME) для переліку змінних та гіпотетичних каузальних зв’язків. Для прикладу у сфері охорони здоров’я типові вузли включають:

* Демографічні (Вік, Стать, Етнічна приналежність)
* Стиль життя (Куріння, Фізична активність)
* Клінічні вимірювання (Тиск, Холестерин)
* Результати (Діагноз захворювання, Госпіталізація)

### 2. Навчання структури на даних

Поєднайте експертний внесок з алгоритмами **PC**, **GES** або **NOTEARS** для виявлення додаткових ребер. Отриманий граф слід **валідувати** проти відомої медичної літератури, аби уникнути спуріозних зв’язків.

### 3. Параметризація

Призначте функціональні форми або таблиці умовних ймовірностей (CPT) кожному ребру. Для неперервних змінних підходять лінійні або нелінійні регресії; для категоріальних — багатомірна логістична регресія.

### 4. Валідація

Виконайте **тести d‑separation** та **інтервенційні симуляції**, щоб переконатися, що граф відтворює спостережувані умовні незалежності та відповідає відомим інтервенціям (наприклад, ефект медикаменту).

---

## Інтеграція каузальних графів з генераторами синтетичних даних

Патерн інтеграції можна уявити у вигляді конвеєра:

```mermaid
flowchart TD
    A["Raw Source Data"] --> B["Causal Discovery (PC/NOTEARS)"]
    B --> C["Validated DAG"]
    C --> D["Parameter Estimation"]
    D --> E["Causal Sampler (Do‑Calculus)"]
    E --> F["Synthetic Data Engine (GAN / Diffusion)"]
    F --> G["Compliance Layer (Audit Log, Counterfactual Checks)"]
    G --> H["Synthetic Dataset for Model Training"]
```

1. **Causal Sampler**: Використовує **do‑calculus** для генерації зразків, що відповідають DAG. Реалізується бібліотеками **DoWhy**, **causalml** або кастомними модулями PyTorch.  
2. **Synthetic Data Engine**: Приймає каузальні зразки як умови для GAN або дифузійної моделі, забезпечуючи високу достовірність при збереженні каузальної структури.  
3. **Compliance Layer**: Автоматично реєструє каузальний шлях для кожного згенерованого запису, додає метадані (версія DAG, параметри) та виконує контрфактичні перевірки справедливості.

---

## Забезпечення регуляторної відповідності

### 3.1 Незмінні аудиторські сліди

Зберігайте DAG, його версію та випадкове зерно, використані для кожної синтетичної партії, у **блокчейн‑підтримуваному реєстрі** або **логі лише для додавання**. Це задовольняє вимоги щодо **прослідковуваності** та **захисту від підробки**.

### 3.2 Звіти про контрфактичну справедливість

Для кожного захищеного атрибуту (наприклад, стать, раса) створюйте **контрфактичний набір**, у якому атрибут змінюється, а всі інші каузальні предки залишаються незмінними. Порівнюйте прогнози моделей, щоб продемонструвати, що синтетичні дані не містять нелегальної упередженості.

### 3.3 Динамічне застосування політик

Коли регулятор вводить нове правило (наприклад, «Вік не може використовуватись як проксі для кредитного ризику»), оновіть DAG, **видаливши або замаскувавши** проблемне ребро. Перезапустіть лише sampler, без необхідності перенавчати downstream GAN, що значно скорочує час реакції на комплаєнс.

### 3.4 Шаблони документації

Використовуйте шаблони у стилі **Formize** для автоматичного заповнення досьє комплаєнсу:

* **Діаграма потоку даних** (генерується з DAG)  
* **Заява про каузальний вплив** (натуральний опис кожного ребра)  
* **Версійний журнал змін** (diff‑подібний Git‑лог оновлень DAG)

---

## Реальний приклад: кредитний скоринг у ЄС

**Контекст** – Європейський фінтех потребував синтетичний набір для навчання новітньої моделі кредитного скорингу, дотримуючись **[EU AI Act]** та **[GDPR]**.

**Підхід**  

1. **Каузальне моделювання** – Побудовано DAG, що пов’язує *Вік*, *Дохід*, *Статус зайнятості*, *Кредитну історію* та *Результат позики*. Експерти підтвердили, що *Вік → Дохід* та *Статус зайнятості → Дохід* є правдоподібними шляхами.  
2. **Регуляторне коригування** – AI Act забороняє пряме використання *Віку* у скорингу. Команда **заблокувала** ребро *Вік → Результат позики*, залишивши *Вік → Дохід* для реалістичності, але не дозволяючи моделі експлуатувати його.  
3. **Генерація синтетики** – За допомогою **Do‑Calculus sampler** створено 1 млн каузальних зразків, які потім подано у **Conditional GAN**, умовленого на *Дохід* та *Кредитну історію*.  
4. **Перевірка комплаєнсу** – Проведено контрфактичні тести справедливості, сформовано незмінні аудиторські сліди та підготовлено пакет Formize.

**Результат** – Синтетичний набір досяг **98 % статистичної схожості** з оригіналом, пройшов зовнішній аудит регулятора та скоротив час виходу нової моделі на ринок на **45 %**.

---

## Покроковий посібник з впровадження

| Крок | Дія | Інструменти та поради |
|------|-----|------------------------|
| 1 | **Збір доменної експертизи** – інтерв’ю зі SME, збір політик | Confluence, Miro для візуального брейнстормінгу |
| 2 | **Запуск навчання структури** – застосування PC або NOTEARS | `causal-learn` (Python), Spark для великих даних |
| 3 | **Валідація та уточнення DAG** – порівняння з літературою, d‑separation | DoWhy, Tetrad |
| 4 | **Параметризація ребер** – підгонка регресій чи ймовірнісних моделей | scikit‑learn, PyTorch Probabilistic |
| 5 | **Реалізація каузального sampler** – генерація do‑інтервенцій | DoWhy `do`‑оператор, кастомний PyTorch sampler |
| 6 | **Інтеграція з генеративною моделлю** – умовний GAN/Diffusion | StyleGAN2‑ADA, Stable Diffusion, Hugging Face Diffusers |
| 7 | **Додавання шару комплаєнсу** – логування версії DAG, seed, контрфактичні тести | OpenTelemetry, Formize API |
| 8 | **Деплой та моніторинг** – планове перенавчання при дрейфі даних | Airflow, Prefect, MLflow |
| 9 | **Аудит та звітність** – автоматичне формування досьє комплаєнсу | Formize шаблони, бібліотеки генерації PDF |

---

## Огляд переваг

* **Відповідність регуляторам** – Прямо відповідає вимогам щодо пояснюваності та справедливості.  
* **Зниження витрат на перенавчання** – Оновлення лише окремого ребра дешевше, ніж перебудова всієї генеративної моделі.  
* **Підвищення довіри** – Кожен синтетичний запис можна простежити до каузового шляху.  
* **Покращення стійкості моделей** – Синтетика, орієнтована на контрфакти, підвищує стійкість downstream‑моделей до зсуву розподілів.

---

## Виклики та їх подолання

| Виклик | Шляхи подолання |
|--------|-----------------|
| **Складні DAG** – у високовимірних доменах графи можуть бути густими. | **Обрізка графа** за порогом статистичної значущості; модульна декомпозиція на під‑графи. |
| **Невизначеність параметрів** – обмежені дані для точного оцінювання CPT. | Використання **байєсових пріорів** та **Monte Carlo** симуляцій для захоплення невизначеності. |
| **Масштабованість** – каузальне семплювання може бути повільнішим за чистий GAN. | Паралелізація семплювання на Spark‑виконавцях; кешування проміжних значень вузлів. |
| **Інтерпретація регуляторів** – неоднозначність у трактуванні збереження каузальності. | Підтримка ролі **регуляторного лінейзера**; документування обґрунтування кожного ребра простими словами. |

---

## Майбутні напрямки

1. **Федеративне навчання каузальних графів** – об’єднання виявлення ребер між пристроями без передачі сирих даних, що дозволяє створювати **синтетичні дані на краю** з урахуванням приватності.  
2. **LLM‑асистоване виявлення каузальності** – підказки великих мовних моделей для пропозиції правдоподібних каузальних зв’язків, подальша статистична валідація.  
3. **Докази з нульовим розкриттям (zk‑SNARKs) для аудиту** – доведення, що синтетичний запис відповідає DAG, без розкриття параметрів.  
4. **Самовідновлювані конвеєри** – автоматичне виявлення дрейфу каузальних зв’язків (наприклад, зміни під час пандемії) та автоматичне переобучення уражених ребер.

---

## Висновок

Генерація синтетичних даних на основі каузального графа заповнює прогалину між **високоякісними даними для навчання AI** та **жорсткими вимогами регуляторного комплаєнсу**. Явно формалізуючи структуру причин‑наслідків, організації отримують прозорий, аудиторський та адаптивний конвеєр даних, який задовольняє нові стандарти управління AI, зберігаючи при цьому статистичну багатогранність, необхідну сучасним моделям машинного навчання.

Впровадження CG‑SDG вимагає співпраці між data‑science, комплаєнсом та доменною експертизою, проте вигода — швидший вихід на ринок, знижений юридичний ризик та підвищена довіра стейкхолдерів — робить цей підхід стратегічною необхідністю для будь‑якого AI‑орієнтованого підприємства.

---

## Дивіться також

- [DoWhy – Causal Inference for Python](https://github.com/microsoft/dowhy) – бібліотека з відкритим кодом для каузального мислення та do‑calculus.  
- [EU AI Act – Official Documentation](https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence) – нормативна база, що формує AI‑комплаєнс у Європі.  
- [Synthetic Data Generation with GANs – A Survey (2023)](https://arxiv.org/abs/2305.12345) – всебічний огляд генеративних технік.  
- [Formize Compliance Automation Platform](https://www.formize.com) – low‑code рішення для автоматизованої документації та робочих процесів комплаєнсу.