# Federated Learning -datan alkuperän ja vaatimustenmukaisuuden nopeuttaminen Formizella

Federated learning (FL) on noussut de‑facto -strategiaksi korkealaatuisten AI‑mallien kouluttamiseen samalla, kun raakadata pysyy laitteessa. Tämä lähestymistapa ratkaisee monia yksityisyyskysymyksiä, mutta se tuo mukanaan uuden joukon vaatimustenmukaisuushaasteita: seurata, mikä data vaikutti mihinkin mallipäivitykseen, todistaa suostumuksen saaminen ja varmistaa, että auditointijäljet ovat muuttumattomia tuhansissa reunasolmuissa.  

Formize, low‑code‑ ja no‑code‑alusta compliant‑työnkulkujen rakentamiseen, voi sulkea tämän aukon. Hyödyntämällä Formizen dynaamista lomakekoneistoa, versioituja dataskeemoja ja lohkoketju‑tukemia auditointijälkiä, organisaatiot voivat **nopeuttaa** koko alkuperäelinkaaren – raakadatasta reunalla sääntelyraportointiin pilvessä – ilman yhdenkään koodirivin kirjoittamista.

Alla tarkastelemme ongelma‑aluetta, hahmotamme käytännöllisen arkkitehtuurin ja käymme läpi askel‑askeleelta toteutuksen, jonka voi toistaa viikkojen, ei kuukausien, sisällä.

---

## Miksi datan alkuperä on tärkeä federated learning -ympäristössä

| Haaste | Vaikutus FL-projekteihin |
|--------|--------------------------|
| **Sääntelyn tarkastelu** | [GDPR](https://gdpr.eu/), [CCPA](https://oag.ca.gov/privacy/ccpa) ja toimialakohtaiset säädökset ([HIPAA](https://www.hhs.gov/hipaa/index.html), FINRA) vaativat todisteita siitä, että henkilötietoja on käytetty lainmukaisesti. |
| **Mallin selitettävyys** | Tarkastajat ja sidosryhmät vaativat jäljitettävyyttä mallin tuloksesta lähtien alkuperäiseen datan osaan. |
| **Tapahtumavaste** | Jos tietomurto tapahtuu, on nopeasti tunnistettava, mitkä reunalaitteet ovat antaneet vaarantunutta dataa. |
| **Rajat ylittävä datansiirto** | Federated learning kattaa usein useita oikeusalueita; alkuperäkirjaukset helpottavat SCC‑ ja BCR‑vaatimusten täyttämistä. |

Ilman systemaattista alkuperäkehystä tiimit turvautuvat ad‑hoc‑taulukoihin, manuaalisiin lokitietoihin tai räätälöityihin tietokantoihin – kaikki alttiita virheille, viiveille ja turvallisuusaukkoihin.

---

## Formize yhdellä silmäyksellä

Formize tarjoaa kolme ydintoimintoa, jotka vastaavat suoraan FL‑alkuperän tarpeisiin:

1. **Dynaaminen lomakkeenrakentaja** – Luo uudelleenkäytettäviä, skeemaan perustuvia lomakkeita suostumukselle, datan merkinnälle ja päivitysmetadatalle.  
2. **Muuttumaton auditointijälki** – Tallenna jokainen lomakkeen lähetys manipulointia havaitsevaan kirjanpitoon (valinnaisesti lohkoketjun tukemana).  
3. **Low‑code automaatio** – Käynnistä alavirta‑toiminnot (esim. lähetä metadata mallirekisteriin, luo vaatimustenmukaisuusraportteja) visuaalisten työnkulkujen avulla.  

Nämä ominaisuudet tarjotaan web‑pohjaisen käyttöliittymän, REST‑API:en ja Python‑, Java‑ sekä JavaScript‑SDK:en kautta, mikä tekee integraatiosta FL‑työkaluihin (TensorFlow Federated, PySyft, Flower) sujuvaa.

---

## End‑to‑End alkuperäarkkitehtuuri

Alla on korkean tason kaavio, joka havainnollistaa Formizen roolia tyypillisessä FL‑putkistossa.

```mermaid
flowchart TD
    A["Reunalaitte – Datan keruu"] --> B["Formize suostumuslomake"]
    B --> C["Allekirjoitettu suostumus tallennettu kirjanpitoon"]
    C --> D["Paikallinen FL-asiakas – Merkitse data suostumus‑tunnuksella"]
    D --> E["Federated päivitys (mallin painot)"]
    E --> F["Formize metadata‑lomake"]
    F --> G["Muuttumaton päivitysloki"]
    G --> H["Keskusaggregaatio"]
    H --> I["Mallirekisteri (MLflow)"]
    I --> J["Vaatimustenmukaisuustyöpöytä"]
```

*Kaikki solmut on merkitty lainausmerkeillä, kuten Mermaid‑syntaksi vaatii.*

### Keskeiset datavirrat

1. **Suostumuksen keruu** – Ennen kuin mikään anturidata lähtee laitteesta, Formize‑suostumuslomake renderöidään paikallisesti (Formize‑SDK:n avulla). Käyttäjän allekirjoitus ja suostumuksen laajuus tallennetaan muuttumattomasti.  
2. **Merkintä** – FL‑asiakas liittää suostumustapahtuman ID:n jokaiselle databatchille, mikä takaa kryptografisen linkin raakadatasta suostumustietueeseen.  
3. **Päivitysmetatiedot** – Jokaisen koulutuskierroksen jälkeen asiakas lähettää kevyen Formize‑lomakkeen, jossa on malliversio, datan hash ja käytetyt suostumus‑ID:t.  
4. **Aggregointi & raportointi** – Keskuspalvelin aggregoi muuttumattomat lokit, syöttää ne vaatimustenmukaisuustyöpöytään ja luo automaattisesti sääntelijöiden käyttöön valmiita raportteja (esim. GDPR‑DSAR, FDA 21 CFR Part 11).

---

## Vaihe‑vaiheinen toteutusopas

### 1. Määritä suostumuskaava

Luo Formize‑lomake nimeltä **“FL‑Laitteen suostumus”**, jossa on seuraavat kentät:

| Kenttä | Tyyppi | Kuvaus |
|--------|--------|--------|
| `device_id` | Teksti | Laitteen reunalaitteen ainutlaatuinen tunniste |
| `user_id` | Teksti | Pseudonymisoitu käyttäjätunniste |
| `data_scope` | Monivalinta | Datan tyypit (esim. “kiihtyvyysanturi”, “kamera”) |
| `purpose` | Teksti | Tarkoitettu ML‑tarkoitus (esim. “toiminnan tunnistus”) |
| `expiry_date` | Päivämäärä | Suostumuksen voimassaolo päättyy |
| `signature` | Allekirjoitus | Käsin piirretty tai digitaalinen allekirjoitus |

Ota käyttöön **“Immutable Ledger”** ja valitse **Ethereum‑yhteensopiva** lohkoketju lisäoikeudelliseksi vahvistukseksi.

### 2. Ota suostumuslomake käyttöön reunalaitteilla

Formize‑JavaScript‑SDK:n avulla:

```javascript
import { FormizeClient } from '@formize/sdk';

const client = new FormizeClient({ apiKey: 'YOUR_API_KEY' });

async function renderConsent(deviceId, userId) {
  const form = await client.getForm('FL-Device Consent');
  const prefilled = {
    device_id: deviceId,
    user_id: userId,
  };
  return client.renderForm(form.id, prefilled);
}
```

SDK välimuistii lomakkeen paikallisesti, mahdollistaen offline‑renderöinnin. Kun käyttäjä allekirjoittaa, SDK työntää allekirjoitetun payloadin Formizen kirjanpitoon automaattisesti yhteyden palautuessa.

### 3. Merkitse data suostumustapahtuman tunnuksella

Kun laite kerää anturidatan, laske SHA‑256‑hash raakadatasta ja tallenna suostumustapahtuman hash sen rinnalle:

```python
import hashlib
from formize_sdk import FormizeClient

def tag_data(sample, consent_tx):
    data_hash = hashlib.sha256(sample).hexdigest()
    metadata = {
        "data_hash": data_hash,
        "consent_tx": consent_tx,
        "timestamp": datetime.utcnow().isoformat()
    }
    return metadata
```

FL‑asiakas sisällyttää tämän metadatan jokaisessa paikallisessa koulutusbatchissa.

### 4. Lähetä päivitysmetatiedot jokaisen kierroksen jälkeen

Luo toinen Formize‑lomake **“FL‑Päivitysloki”** seuraavilla kentillä:

| Kenttä | Tyyppi | Kuvaus |
|--------|--------|--------|
| `model_version` | Teksti | |
| `round_number` | Numero | |
| `data_hashes` | Teksti (JSON‑taulukko) | |
| `consent_tx_ids` | Teksti (JSON‑taulukko) | |
| `aggregator_signature` | Allekirjoitus | |

Kun aggregointi on suoritettu, palvelin kutsuu:

```python
def submit_update_log(version, round_num, data_hashes, consent_ids):
    payload = {
        "model_version": version,
        "round_number": round_num,
        "data_hashes": json.dumps(data_hashes),
        "consent_tx_ids": json.dumps(consent_ids),
    }
    client.submit_form('FL-Update Log', payload)
```

Koska lomake on sidottu muuttumattomaan kirjanpitoon, jokainen päivitys on tarkistettavissa oleva aikaleimattu tietue.

### 5. Rakenna vaatimustenmukaisuustyöpöytä

Formize tarjoaa **raporttirakentajan**, jonka avulla voi tehdä GraphQL‑kyselyitä kirjanpitoon. Luo työpöytä, joka visualisoi:

* Aktiivisten suostumusten määrä per oikeusalue  
* Datan kontribuution lämpökartta laitteittain  
* Malliversioiden sukupuu (grafi siitä, mitkä suostumukset vaikuttivat mihinkin versioon)

Vientimuotoja ovat PDF, CSV ja JSON – valmiina sääntelijöiden toimittamista varten.

### 6. Automatisoi sääntelyn raportointi

Formizen **työnkulku‑moottorin** avulla määritä trigger:

> **Kun** uusi “FL‑Päivitysloki”‑tietue luodaan **ja** `round_number % 10 == 0`  
> **Silloin** luo [GDPR](https://gdpr.eu/)‑DSAR‑paketti ja lähetä se DPO:lle sähköpostilla.

Työnkulku ajetaan Formizen serverless‑ympäristössä, eikä erillisiä cron‑job‑eja tarvita.

---

## Hyödyt kvantifioitu

| Mittari | Perinteinen lähestymistapa | Formize‑tuki FL |
|---------|---------------------------|-----------------|
| Aika suostumustyönkulun käyttöönottoon | 6–8 viikkoa (räätälöity UI, backend) | 2–3 päivää (drag‑and‑drop) |
| Auditointijäljen viive | Tunteja (erälähetykset) | Lähes reaaliaikainen (sekunteja) |
| Vaatimustenmukaisuuskustannusten vähennys | $150 k–$250 k/vuosi (juridiikka + kehitys) | $30 k–$50 k/vuosi (automaatio) |
| Epäonnistumisen riski | Korkea (manuaaliset virheet) | Matala (muuttumaton kirjanpito) |

---

## Parhaat käytännöt ja sudenkuopat

| Käytäntö | Miksi se on tärkeä |
|----------|--------------------|
| **Versioi lomakkeet** | Lomakkeen skeeman muutos luo uuden sopimuksen version; vanhat tietueet pysyvät muuttumattomina, säilyttäen historiallisen eheyden. |
| **Salaa arkaluontoiset kentät** | Vaikka kirjanpito on muuttumaton, salaa kentät kuten `user_id` noudattaaksesi minimointiperiaatteita. |
| **Hyödynnä reunavälimuistia** | Laitteet voivat olla offline‑tilassa tunteja; varmista, että SDK välimuistii allekirjoitetut lomakkeet paikallisesti ja yrittää uudelleen automaattisesti. |
| **Suorita säännöllinen kirjanpidon puhdistus** | Julkisilla lohkoketjuilla harkitse suurten payloadien off‑chain‑säilytystä hash‑arvojen kanssa kustannusten hallitsemiseksi. |
| **Integroi mallirekisteriin** | Linkitä Formizen lokit MLflow‑ tai DVC‑rekisteriin, jolloin saat yhden totuuden lähteen mallin sukupuun. |

---

## Tulevaisuuden laajennukset

1. **Zero‑Knowledge‑todistukset** – Lisää ZKP‑pohjainen varmistus, joka todistaa datan sisältyvän ilman raakahashien paljastamista.  
2. **Federated‑selitettävyys** – Yhdistä Formizen alkuperä SHAP‑arvoihin, jotta voit luoda laitekohtaisia kontribuutioraportteja.  
3. **AI‑pohjainen suostumuksen optimointi** – Hyödynnä kerättyä suostumusmetadataa suositusmoottorina, joka ehdottaa optimaalisia suostumusalueita uusille laitteille.

---

## Yhteenveto

Federated learning lupaa yksityisyyttä kunnioittavaa tekoälyä, mutta **alkuperä‑** ja **vaatimustenmukaisuustasot** jäävät usein jälkeen. Formize sulkee tämän kuilun muuttamalla suostumuksen keruun, metadatankäsittelyn ja sääntelyn raportoinnin konfiguroitaviksi low‑code‑kokemuksiksi, jotka on turvattu muuttumattomilla auditointijäljillä. Organisaatiot, jotka omaksuvat tämän mallin, voivat **nopeuttaa** FL‑käyttöönottojaan, pienentää oikeudellista riskiä ja toimittaa luotettavia AI‑malleja mittakaavassa.

---

## Katso myös

- [Google AI Blog – Federated Learning: Privacy‑Preserving Machine Learning](https://ai.googleblog.com/2020/04/federated-learning-privacy-preserving.html)  
- [European Data Protection Board – Guidelines on Consent under GDPR](https://edpb.europa.eu/our-work-tools/consultations/consent_en)  
- [MLflow – Tracking Model Lineage and Metadata](https://mlflow.org/docs/latest/tracking.html)  
- [Hyperledger Fabric – Building Immutable Audit Trails for Enterprise Applications](https://www.hyperledger.org/use/fabric)