# Federatiivse õppe andmete päritolu ja vastavuse kiirendamine Formize abil

Federatiivne õpe (FL) on saanud de‑facto strateegiaks kõrgekvaliteediliste AI mudelite treenimiseks, hoides toorandmeid seadmes. See lähenemine lahendab paljusid privaatsusprobleeme, kuid toob kaasa uue komplekti vastavusväljakutseid: jälgida, millised andmed aitasid kaasa millisele mudeli värskendusele, tõestada nõusoleku olemasolu ja tagada, et auditi jäljed on muutumatud tuhandete servasõlmede ulatuses.

Formize, madala‑koodi, koodivaba platvorm vastavuslike töövoogude loomiseks, suudab seda lünka täita. Kasutades Formize dünaamilist vormi mootorit, versioonikontrollitud andmeskeeme ja plokiahela‑toetatud auditi jälgi, saavad organisatsioonid **kiirendada** kogu päritolu elutsüklit — alates andmete kogumisest servas kuni regulatiivse aruandluseni pilves — ilma ühegi koodirida kirjutamata.

Allpool uurime probleemi, kirjeldame praktilist arhitektuuri ja juhendame samm‑sammult rakenduse, mida saab kordada nädalate, mitte kuude jooksul.

---

## Miks andmete päritolu on oluline federatiivses õppes

| Väljakutse | Mõju FL projektidele |
|-----------|-----------------------|
| **Regulatiivne kontroll** | GDPR, CCPA ja sektori‑spetsiifilised regulatsioonid (HIPAA, FINRA) nõuavad tõendit, et isikuandmeid kasutati seaduslikult. |
| **Mudeli selgitatavus** | Audiitorid ja sidusrühmad nõuavad jälgitavust mudeli väljundist tagasi algsesse andmeosasse. |
| **Intsidendi reageerimine** | Andmelekkega olukorras peate kiiresti tuvastama, millised servaseadmed andmeid lekitasid. |
| **Piiriülene andmeedastus** | Federatiivne õpe hõlmab sageli mitut jurisdiktsiooni; päritolu kirjed lihtsustavad SCC ja BCR vastavust. |

Ilma süstemaatilise päritolu raamistiku kasutamiseta kalduvad meeskonnad kasutama ad‑hoc arvutustabeleid, käsitsi logisid või kohandatud andmebaase — kõik on altid vigadele, viivitustele ja turvariskidele.

---

## Formize ühes pilgu

Formize pakub kolme põhivõimekust, mis sobivad otse FL päritolu vajadustega:

1. **Dünaamiline vormi ehitaja** – Loo korduvkasutatavad, skeemi‑põhised vormid nõusoleku, andmete märgistamise ja värskenduste metaandmete jaoks.  
2. **Muutumatu auditi jälg** – Salvesta iga vormi sisestus muutmiskindlasse registrisse (valikuliselt plokiahela toega).  
3. **Low‑Code automatiseerimine** – Käivita järgnevad toimingud (nt metaandmete saatmine mudeliregistrisse, vastavusaruannete genereerimine) visuaalsete töövoo kujundajate abil.  

Need võimekused on kättesaadavad veebipõhise kasutajaliidese, REST‑API‑de ja Python, Java ning JavaScript SDK‑de kaudu, muutes integratsiooni FL tööriistadega (TensorFlow Federated, PySyft, Flower) sujuvaks.

---

## Lõpp‑kuni‑lõpp päritolu arhitektuur

Allpool on kõrgetasemeline diagramm, mis näitab, kuidas Formize sobitub tüüpilisse FL torujuhtmesse.

```mermaid
flowchart TD
    A["Edge Device – Data Capture"] --> B["Formize Consent Form"]
    B --> C["Signed Consent Stored in Ledger"]
    C --> D["Local FL Client – Tag Data with Consent ID"]
    D --> E["Federated Update (Model Weights)"]
    E --> F["Formize Metadata Form"]
    F --> G["Immutable Update Log"]
    G --> H["Central Aggregator"]
    H --> I["Model Registry (MLflow)"]
    I --> J["Compliance Dashboard"]
```

*Kõik sõlme märgendid on märgitud, nagu Mermaid nõuab.*

### Peamised andmevood

1. **Nõusoleku kogumine** – Enne kui mis tahes sensorandmed seadmest lahkuvad, renderdatakse Formize nõusoleku vorm lokaalselt (Formize SDK kaudu). Kasutaja allkiri ja nõusoleku ulatus salvestatakse muutumatult.  
2. **Märgistamine** – FL klient lisab iga andmekogumi juurde nõusoleku tehingu ID, tagades krüptograafilise seose toorandmete ja nõusoleku kirje vahel.  
3. **Värskenduste metaandmed** – Pärast iga treeningtsüklit esitab klient kerge Formize vormi, mis sisaldab mudeli versiooni, andmete räsi ja kasutatud nõusoleku ID-sid.  
4. **Agregatsioon ja aruandlus** – Keskserver koondab muutumatud logid, sisestab need vastavusarmatuuri ja genereerib automaatselt regulaatoritele valmis aruandeid (nt GDPR DSAR, FDA 21 CFR Part 11).

---

## Samm‑sammult rakenduse juhend

### 1. Määra nõusoleku skeem

Loo Formize vorm nimega **“FL‑Seadme Nõusolek”** järgmiste väljadega:

| Väli | Tüüp | Kirjeldus |
|------|------|-----------|
| `device_id` | Text | Seadme unikaalne identifikaator |
| `user_id` | Text | Pseudonüümne kasutaja identifikaator |
| `data_scope` | Multi‑Select | Andmete tüübid (nt „akseleromeeter“, „kaamera“) |
| `purpose` | Text | Kavandatud ML eesmärk (nt „tegevuse tuvastamine“) |
| `expiry_date` | Date | Nõusoleku aegumine |
| `signature` | Signature | Käsitsi või digitaalne allkiri |

Luba **„Muutumatu register“** ja vali **Ethereum‑ühilduv** plokiahel täiendava õigusliku kaalu jaoks.

### 2. Paigalda nõusoleku vorm servaseadmetele

```javascript
import { FormizeClient } from '@formize/sdk';

const client = new FormizeClient({ apiKey: 'YOUR_API_KEY' });

async function renderConsent(deviceId, userId) {
  const form = await client.getForm('FL-Device Consent');
  const prefilled = {
    device_id: deviceId,
    user_id: userId,
  };
  return client.renderForm(form.id, prefilled);
}
```

SDK puhverdab vormi lokaalselt, võimaldades offline renderdamist. Kui kasutaja allkirjastab, lükkab SDK allkirjastatud koormuse Formize registrisse, kui ühendus taastub.

### 3. Märgi andmed nõusoleku tehingu ID-ga

```python
import hashlib
from formize_sdk import FormizeClient

def tag_data(sample, consent_tx):
    data_hash = hashlib.sha256(sample).hexdigest()
    metadata = {
        "data_hash": data_hash,
        "consent_tx": consent_tx,
        "timestamp": datetime.utcnow().isoformat()
    }
    return metadata
```

FL klient lisab selle metaandme iga kohaliku treeningpaketi juurde.

### 4. Esita värskenduste metaandmed pärast iga tsüklit

Loo teine Formize vorm **“FL‑Värskenduste Logi”** järgmiste väljadega:

| Väli | Tüüp | Kirjeldus |
|------|------|-----------|
| `model_version` | Text | Mudeli versioon |
| `round_number` | Number | Tsükli number |
| `data_hashes` | Text (JSON array) | Andmete räsid (JSON massiiv) |
| `consent_tx_ids` | Text (JSON array) | Nõusoleku tehingu ID-d (JSON massiiv) |
| `aggregator_signature` | Signature | Agregaatori allkiri |

```python
def submit_update_log(version, round_num, data_hashes, consent_ids):
    payload = {
        "model_version": version,
        "round_number": round_num,
        "data_hashes": json.dumps(data_hashes),
        "consent_tx_ids": json.dumps(consent_ids),
    }
    client.submit_form('FL-Update Log', payload)
```

Kuna vorm on seotud muutumatu registriga, muutub iga värskendus verifitseeritavaks ajatempli‑kirjeks.

### 5. Loo vastavusarmatuur

Formize pakub **aruande ehitajat**, mis saab registri kirjeid pärida GraphQL‑i kaudu. Koosta armatuur, mis visualiseerib:

* Aktiivsete nõusolekute arv jurisdiktsiooniti  
* Andmete panuse soojuskaart seadme tüübi järgi  
* Mudeli versiooni päritolu (graafik, millised nõusolekud sisestasid millise versiooni)

Ekspordivõimalused hõlmavad PDF‑i, CSV‑t ja JSON‑i, valmis regulatoritele esitamiseks.

### 6. Automatiseeri regulatiivne aruandlus

Kasutades Formize töövoo mootorit, määra käivitaja:

> **Kui** luuakse uus “FL‑Värskenduste Logi” kirje **ja** `round_number % 10 == 0`  
> **Siis** genereeri [GDPR](https://gdpr.eu/) DSAR‑vastavuspakett ja saada see DPO‑le e‑postiga.

Töövoog töötab täielikult Formize serverless‑keskkonnas, välistades vajaduse kohandatud cron‑tööde järele.

---

## Kasutatud eelised kvantifitseeritult

| Mõõdik | Traditsiooniline lähenemine | Formize‑toetatud FL |
|--------|----------------------------|---------------------|
| **Aeg nõusoleku töövoo juurutamiseks** | 6–8 nädalat (kohandatud UI, taustsüsteem) | 2–3 päeva (lohistamine ja kukutamine) |
| **Auditi jälje latentsus** | Tunnid (pakettide üleslaadimine) | Peaaegu reaalajas (sekundid) |
| **Vastavuskulude vähenemine** | 150–250 tuh. USD aastas (õigus- ja arendus) | 30–50 tuh. USD aastas (automatiseerimine) |
| **Vastavuseta riski** | Kõrge (käsitsi vead) | Madala (muutumatu register) |

---

## Parimad praktikad ja vältimised

| Praktika | Miks see oluline on |
|----------|----------------------|
| **Versioonita oma vormid** – Vormiskeemi muutmine loob uue lepinguversiooni; vanad kirjed jäävad muutumatuks, säilitades ajaloolise terviklikkuse. |
| **Krüpteeri tundlikud väljad** – Kuigi register on muutumatu, krüpteeri sellised väljad nagu `user_id`, et järgida andmete minimeerimise põhimõtteid. |
| **Kasuta serva vahemälu** – Seadmed võivad tundideks võrguühenduseta olla; veendu, et SDK vahemällutab allkirjastatud vormid lokaalselt ja proovib automaatselt uuesti. |
| **Regulaarselt registri puhastamine** – Avalike plokiahelate puhul kaaluge suurte koormuste off‑chain salvestamist koos on‑chain räsidega kulude kontrollimiseks. |
| **Integreeri mudeliregistriga** – Formize logide sidumine MLflow või DVC‑ga pakub ühtset tõeallikat mudeli päritolu jaoks. |

---

## Tuleviku laiendused

1. **Nullteadmise tõendid** – Lisa ZKP‑põhine verifitseerimine, et tõestada andmete kaasamist ilma toorräsi avaldamata.  
2. **Federatiivne selgitatavus** – Kombineeri Formize päritolu SHAP väärtustega, et luua seadme‑põhised panuse aruanded.  
3. **AI‑põhine nõusoleku optimeerimine** – Kasuta kogutud nõusoleku metaandmeid, et treenida soovitusmootorit, mis soovitab uutele seadmetele optimaalseid nõusoleku ulatusi.

---

## Kokkuvõte

Federatiivne õpe lubab privaatsust säilitavat AI-d, kuid **päritolu** ja **vastavus** kihid jäävad sageli maha. Formize täidab selle lünna, muutes nõusoleku kogumise, metaandmete logimise ja regulatiivse aruandluse konfigureeritavaks, madala‑koodiga kogemuseks, mis on toetatud muutumatute auditi jälgedega. Organisatsioonid, kes seda mustrit omaks võtavad, saavad **kiirendada** oma FL juurutamist, vähendada õiguslikku riski ja pakkuda usaldusväärseid AI‑mudeleid skaalas.

---

## Vaata ka

- [Google AI Blog – Federatiivne õpe: privaatsust säilitav masinõpe](https://ai.googleblog.com/2020/04/federated-learning-privacy-preserving.html)  
- [Euroopa Andmekaitse Nõukogu – Juhised nõusoleku kohta GDPR‑i alusel](https://edpb.europa.eu/our-work-tools/consultations/consent_en)  
- [MLflow – Mudeli päritolu ja metaandmete jälgimine](https://mlflow.org/docs/latest/tracking.html)  
- [Hyperledger Fabric – Muutumatute auditi jälgede loomine ettevõtte rakendustele](https://www.hyperledger.org/use/fabric)