
# Causal Graph pagrindu sukurtų sintetinės duomenų generavimas reguliavimo atitikties tikslais

## Įvadas

Sintetiniai duomenys tapo kertiniu akmeniu mokant AI modelius, kai realūs duomenys yra reti, jautrūs arba griežtai reguliuojami. Tradiciniai generatyviniai metodai (GAN, difuzijos modeliai, LLM valdomi simuliatoriai) puikiai atkuria statistines pasiskirstymo savybes, tačiau dažnai ignoruoja **priežastinius ryšius**, kurių reguliuotojai vis dažniau reikalauja išsaugoti.  

Reguliuotojai, tokie kaip ES **[AI Act](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)**, JAV **FDA** medicinos įrenginiams ir **[CCPA](https://oag.ca.gov/privacy/ccpa)** vartotojų privatumo srityje, siekia **paaiškinamumo** ir **sekamumo** duomenų srautų. Sintetinis duomenų rinkinys, kuris tik atkuria marginalines statistikas, gali praeiti paviršutinišką auditą, bet nesugebės atsakyti į reguliuotojo klausimą: „Ar galite įrodyti, kad sintetiniai įrašai gerbia pagrindinius priežastinius mechanizmus šaltinio populiacijoje?“

Čia į sceną įžengia **priežastinių grafų pagrindu sukurtas sintetinės duomenų generavimas** (CG‑SDG). Aiškiai modeliuodami priežasties‑poveikio struktūrą, galime generuoti sintetinį įrašą, kuris:

* Išlaiko teisiškai svarbias priklausomybes (pvz., amžius → sveikatos išs outcome, kredito balas → paskolos patvirtinimas).
* Suteikia skaidrią audito taką, susiejantį kiekvieną sintetinę savybę su priežastiniu mazgu.
* Leidžia atlikti **kontrfaktyvią analizę** dėl teisingumo ir šališkumo mažinimo.
* Palaiko **dinaminį atitiktį**, kai reguliavimai keičiasi.

Šiame straipsnyje išsamiai nagrinėjama CG‑SDG teorija, praktinis įgyvendinimas ir atitikties privalumai, su dėmesiu, kaip organizacijos gali įdiegti šį metodą į esamus duomenų srautus ir valdymo sistemas.

---

## Kodėl priežastiniai grafai svarbūs atitikties požiūriui

| Reguliavimo rūpestis | Tradiciniai sintetiniai duomenys | Priežastinių grafų požiūris |
|----------------------|----------------------------------|-----------------------------|
| **Paaiškinamumas** | Juodosios dėžutės generavimas, sunku pagrįsti | Kiekviena sintetinė savybė gaunama iš aiškios priežastinės lygties |
| **Teisingumo auditai** | Po‑faktinis šališkumo aptikimas, ribotos korekcijos | Kontrfaktyvūs užklausimai atskleidžia apsauginių požymių įtaką |
| **Duomenų kilmė** | Ribota kilmės metaduomenų informacija | Grafų mazgai veikia kaip kilmės inkarai, suteikiantys nekeičiamos audito takus |
| **Dinaminiai politikos atnaujinimai** | Pertreniruojamas visas modelis, kai taisyklė pasikeičia | Atnaujinamas tik paveiktas priežastinis briaunas, išsaugant likusią duomenų srautą |

Suderindami sintetinį duomenų generavimą su **kryptiniu aštruoju grafu (DAG)**, kuris koduoja domeno žinias, organizacijos įgyja **vieną tiesos šaltinį** tiek duomenų mokslininkams, tiek atitikties komandai.

---

## Priežastinio grafo kūrimas iš šaltinio duomenų

### 1. Domeno žinių surinkimas

Pradėkite nuo temų ekspertų (SME), kad išvardintumėte kintamuosius ir hipotezinius priežastinius ryšius. Sveikatos priežiūros atveju tipiniai mazgai yra:

* Demografiniai (Amžius, Lytis, Etninė priklausomybė)
* Gyvenimo būdas (Rūkymas, Fizinis aktyvumas)
* Klinikiniai matavimai (Kraujo spaudimas, Cholesterolis)
* Rezultatai (Ligos diagnozė, Hospitalizacija)

### 2. Duomenimis pagrįstas struktūros mokymasis

Sujunkite ekspertų įžvalgas su algoritmais, tokiais kaip **PC**, **GES** arba **NOTEARS**, kad atrastumėte papildomas briaunas. Gautas grafas turi būti **patvirtintas** pagal medicinos literatūrą, kad išvengtumėte klaidingų ryšių.

### 3. Parametrizavimas

Kiekvienai briaunai priskirkite funkcines formas arba sąlyginės tikimybės lenteles (CPT). Tęstiniams kintamiesiems tinka linijinės arba nelinearinės regresijos; kategoriniams – daugialypės logistinės regresijos.

### 4. Validacija

Atlikite **d‑atskyrimo testus** ir **intervencinius simuliacijas**, kad įsitikintumėte, jog grafas atkuria stebimas sąlyginės nepriklausomybės ir gerbia žinomas intervencijas (pvz., vaistų poveikis).

---

## Priežastinių grafų integravimas su sintetiniais duomenų generatoriais

Integracijos modelį galima pavaizduoti kaip duomenų srautą:

```mermaid
flowchart TD
    A["Raw Source Data"] --> B["Causal Discovery (PC/NOTEARS)"]
    B --> C["Validated DAG"]
    C --> D["Parameter Estimation"]
    D --> E["Causal Sampler (Do‑Calculus)"]
    E --> F["Synthetic Data Engine (GAN / Diffusion)"]
    F --> G["Compliance Layer (Audit Log, Counterfactual Checks)"]
    G --> H["Synthetic Dataset for Model Training"]
```

1. **Causal Sampler**: Naudoja **do‑calculą**, kad generuotų pavyzdžius, atitinkančius DAG. Šį žingsnį galima įgyvendinti su bibliotekomis kaip **DoWhy**, **causalml** arba savų PyTorch moduliais.  
2. **Synthetic Data Engine**: Priima priežastinius pavyzdžius kaip kondicionavimo įvestį GAN arba difuzijos modeliui, užtikrinant aukštą tikslumą ir išlaikant priežastinę struktūrą.  
3. **Compliance Layer**: Automatiškai registruoja priežastinį kelią kiekvienam sugeneruotam įrašui, prideda metaduomenis (pvz., DAG versija, parametrų reikšmės) ir vykdo kontrfaktyvius teisingumo patikrinimus.

---

## Reguliavimo atitikties užtikrinimas

### 3.1 Nekeičiama audito takų

Saugokite DAG, jo versiją ir atsitiktinį sėklą, naudojamą kiekvienam sintetiniam partijai, **blokų grandinės pagrindu** arba **pridėjimo‑tik‑log**. Tai tenkina **sekamumo** ir **nepakeičiamumo** reikalavimus.

### 3.2 Kontrfaktyvios teisingumo ataskaitos

Kiekvienam apsaugiamam požymiui (pvz., lytis, rasė) sukurkite **kontrfaktyvų duomenų rinkinį**, kuriame požymis yra pakeistas, o visi kiti priežastiniai protėviai – nepakitę. Palyginkite modelio prognozes, kad įrodytumėte, jog sintetiniai duomenys neįkūnija neteisėto šališkumo.

### 3.3 Dinaminis politikos vykdymas

Kai reguliuotojas išleidžia naują taisyklę (pvz., „Amžius negali būti naudojamas kaip kredito rizikos proxy“), atnaujinkite DAG, **pašalindami arba maskuodami** problematišką briauną. Pakartokite samplerį be iš naujo treniruojant žemiau esantį GAN, taip žymiai sumažindami atitikties įgyvendinimo laiką.

### 3.4 Dokumentacijos šablonai

Pasinaudokite **Formize**‑tipo šablonais, kad automatiškai užpildytumėte atitikties dokumentus:

* **Duomenų srauto diagrama** (generuojama iš DAG)  
* **Priežastinės įtakos pareiškimas** (natūralios kalbos aprašymas kiekvienai briaunai)  
* **Versijuoto keitimo žurnalas** (Git‑stiliaus diff DAG atnaujinimų)

---

## Realus atvejis: Kredito įvertinimas ES

**Kontekstas** – Europos fintech įmonė reikėjo sintetinį duomenų rinkinį, kad mokytų naują kredito įvertinimo modelį, laikydamasi **[ES AI Act](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)** ir **[GDPR](https://gdpr.eu/)**.

**Požiūris**  

1. **Priežastinis modeliavimas** – Sukurtas DAG, jungiantis *Amžius*, *Pajamos*, *Užimtumo statusas*, *Kredito istorija* ir *Paskolos rezultatas*. SME patvirtino, kad *Amžius → Pajamos* ir *Užimtumo statusas → Pajamos* yra teisėti priežastiniai keliai.  
2. **Reguliavimo korekcija** – AI Act draudė tiesiogiai naudoti *Amžių* kredito įvertinimui. Komanda **užblokavo** briauną *Amžius → Paskolos rezultatas*, išlaikydama *Amžius → Pajamos* realistiškumui, bet užkertant kelią modeliams ją išnaudoti.  
3. **Sintetinis generavimas** – Naudotas **Do‑Calculus sampler**, sukurtas 1 M priežastinių pavyzdžių, po to tie duomenys buvo pateikti **Conditional GAN**, kondicionuotam pagal *Pajamas* ir *Kredito istoriją*.  
4. **Atitikties patikrinimas** – Vykdyti kontrfaktyvūs teisingumo testai, sukurti nekeičiami audito įrašai ir paruošti Formize atitikties paketas.

**Rezultatas** – Sintetinis duomenų rinkinys pasiekė **98 % statistinį panašumą** į originalą, išlaikė išorinį reguliuotojo auditą ir sumažino naujo įvertinimo modelio rinkos įvedimo laiką **45 %**.

---

## Žingsnis po žingsnio įgyvendinimo vadovas

| Žingsnis | Veiksmas | Įrankiai ir patarimai |
|---------|----------|-----------------------|
| 1 | **Surinkti domeno žinias** – interviu su SME, rinkti politikos dokumentus | Confluence, Miro vizualiam brainstormui |
| 2 | **Vykdyti struktūros mokymą** – taikyti PC arba NOTEARS ant reprezentatyvaus mėginių | `causal-learn` Python biblioteka, Spark dideliems duomenims |
| 3 | **Patvirtinti ir patobulinti DAG** – lyginti su literatūra, atlikti d‑atskyrimo testus | DoWhy, Tetrad |
| 4 | **Parametrizuoti briaunas** – pritaikyti regresijos arba tikimybės modelius | scikit‑learn, PyTorch Probabilistic |
| 5 | **Įgyvendinti priežastinį samplerį** – generuoti do‑intervencijas | DoWhy `do` operatorius, savitas PyTorch sampleris |
| 6 | **Integruoti su generatyviniu modeliu** – kondicionuoti GAN/Diffusion priežastiniais pavyzdžiais | StyleGAN2‑ADA, Stable Diffusion, Hugging Face Diffusers |
| 7 | **Pridėti atitikties sluoksnį** – registruoti DAG versiją, sėklą, kontrfaktyvius patikrinimus | OpenTelemetry, Formize API |
| 8 | **Paleisti ir stebėti** – planuoti periodinį permokymą, kai šaltinio duomenys keičiasi | Airflow, Prefect, MLflow |
| 9 | **Audituoti ir ataskaitoti** – generuoti automatizuotas atitikties dokumentacijas | Formize šablonai, PDF generavimo bibliotekos |

---

## Privalumų apžvalga

* **Reguliavimo atitikimas** – tiesiogiai sprendžia paaiškinamumo ir teisingumo reikalavimus.  
* **Sumažintos permokymo išlaidos** – atnaujinus tik vieną briauną, nereikia kurti viso generatyvinio modelio iš naujo.  
* **Padidintas pasitikėjimas** – suinteresuotos šalys gali sekti kiekvieną sintetinį įrašą iki priežastinio kelio.  
* **Stipresnis modelio patvarumas** – kontrfaktyvių duomenų įtraukimas gerina galutinio modelio atsparumą pasiskirstymo pokyčiams.

---

## Iššūkiai ir jų įveikimo būdai

| Iššūkis | Sprendimas |
|--------|------------|
| **Sudėtingi DAG** – aukštos dimensijos domenai gali sukurti tankius grafus. | **Grafų supjaudinimas** pagal statistinį reikšmingumą; moduliuoti į sub‑grafus. |
| **Parametrų neapibrėžtumas** – riboti duomenys tikslioms CPT įvertinimams. | **Bayeso priorai** ir **Monte Carlo** imtis, kad atspindėtų neapibrėžtumą. |
| **Mastelio problema** – priežastinis imtis gali būti lėtesnė nei grynasis GAN generavimas. | Paralelizuoti imtį per Spark vykdytojus; talpinti tarpinius mazgų rezultatus. |
| **Reguliavimo interpretacijos neaiškumas** – neaišku, kaip reguliuotojai vertina priežastinio išsaugojimą. | Palaikyti **reguliavimo ryšio** vaidmenį; dokumentuoti kiekvienos briaunos pagrindimą paprasta kalba. |

---

## Ateities kryptys

1. **Federacinis priežastinių grafų mokymasis** – sujungti briaunų atradimą per įrenginius, neatskleidžiant žaliųjų duomenų, leidžiant **įrenginio‑centrinius sintetinį duomenis**, kurie gerbia privatumą nuo pat pradžių.  
2. **LLM‑palaikytas priežastinis atradimas** – naudoti didelius kalbos modelius, kad pasiūlytų galimus priežastinius ryšius, vėliau statistiškai patvirtinti.  
3. **Zero‑Knowledge įrodymai audito takams** – naudoti **zk‑SNARK** technologiją, kad įrodytumėte, jog sintetiniai įrašai atitinka DAG, neatskleidžiant parametrų.  
4. **Savarankiškai atsinaujinantys srautai** – aptikti priežastinių santykių nuokrypius (pvz., pandemijos sukeltus pokyčius) ir automatiškai permokyti paveiktas briaunas.

---

## Išvada

Priežastinių grafų pagrindu sukurtas sintetinės duomenų generavimas sujungia **aukštos kokybės AI mokymo duomenis** su **griežta reguliavimo atitiktimi**. Padarant priežasties‑poveikio struktūrą aiškią, organizacijos įgyja skaidrų, audituojamą ir lanksčiai pritaikomą duomenų srautą, atitinkantį besikeičiančius AI valdymo standartus, tuo pačiu išlaikant statistinį turtingumą, reikalingą šiuolaikiniams mašininio mokymosi modeliams.

CG‑SDG įgyvendinimas reikalauja bendradarbiavimo tarp duomenų mokslininkų, atitikties specialistų ir domeno ekspertų, tačiau nauda – greitesnis produktų įvedimas į rinką, sumažinta teisinė rizika ir stipresnis suinteresuotų šalių pasitikėjimas – daro šį požiūrį strategine būtinybe bet kuriai AI‑pirmaujančiai įmonei.

---

## Susiję straipsniai

- [DoWhy – Causal Inference for Python](https://github.com/microsoft/dowhy) – Atviro kodo biblioteka priežastiniam mąstymui ir do‑calcului.  
- [EU AI Act – Oficialus dokumentas](https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence) – Reguliavimo struktūra, formuojanti AI atitiktį Europoje.  
- [Sintetinių duomenų generavimas su GAN (2023) – apžvalga](https://arxiv.org/abs/2305.12345) – Išsamus generatyvinių metodų apžvalga.  
- [Formize Atitikties automatizavimo platforma](https://www.formize.com) – Žemo kodo sprendimas auditui paruoštų dokumentų ir darbo srautų automatizavimui.