# Jatkuva tietohallinto MLOps‑putkissa Formizen avulla

Yritykset, jotka julkaisevat koneoppimismalleja suuressa mittakaavassa, kohtaavat paradoksin: mitä nopeammin ne iteroivat, sitä vaikeampaa on varmistaa, että koulutuksessa, validoinnissa ja inferenssissä käytettävät tiedot noudattavat sisäisiä käytäntöjä ja ulkoisia säädöksiä. Perinteiset tietohallintamenetelmät – manuaaliset auditoinnit, säännölliset raportit ja staattiset linjauskaaviot – eivät pysty pitämään tahdin nykyaikaisten MLOps‑työnkulkujen nopeuteen.

Formize, matalan koodin tietolinjaus‑ ja vaatimustenmukaisuusalusta, on rakennettu juuri tätä haastetta varten. Upottamalla Formize CI/CD‑putkeen organisaatiot voivat **tallentaa linjaukset reaaliajassa**, **toteuttaa politiikat koodina** ja **näyttää laatudashbordeja**, joita kehittäjät ja tarkastajat voivat kysellä välittömästi.

Tässä artikkelissa käymme läpi:

1. Jatkuvan tietohallinnon keskeiset käsitteet.  
2. Kuinka Formize integroidaan suosittuihin MLOps‑työkaluihin (GitHub Actions, Jenkins, Kubeflow, MLflow).  
3. Täydellisen end‑to‑end‑toteutuksen läpikäynti, lähdekoodihookeista automatisoituihin vaatimustenmukaisuustarkastuksiin.  
4. Mermaid‑kaavion, joka visualisoi tietovirran.  
5. Skaalausnäkökulmat, turvallisuus ja tulevaisuuden varmistaminen.

> **Keskeinen opetus:** Kun Formize on natiivi vaihe CI/CD‑putkessasi, tietolinjaus, politiikkojen täytäntöönpano ja laadunvalvonta muuttuvat *jatkuviksi* eikä *aikaväliksi* tapahtuviksi toiminnoiksi.

---

## 1. Miksi jatkuva hallinto on tärkeää

| Perinteinen lähestymistapa | Jatkuva lähestymistapa |
|----------------------------|------------------------|
| Auditoinnit neljännesvuosittain tai tietomurron jälkeen | Auditoinnit jokaisessa commitissa, buildissä ja deployssa |
| Manuaaliset linjauskaaviot vanhentuvat | Automaattiset linjausgraafit heijastavat reaaliaikaista tilaa |
| Politiikkarikkomukset havaitaan myöhään, korjaaminen kallista | Politiikkarikkomukset estävät putken välittömästi |
| Rajoitettu näkyvyys ei‑teknisille sidosryhmille | Reaaliaikaiset dashbordit antavat valtaa datan hallitsijoille ja tarkastajille |

Siirtyminen **aikaväliksi** tapahtuvasta hallinnosta **jatkuvaan** muistuttaa Waterfall‑mallin siirtymistä DevOpsiin. Samalla tavalla kuin automatisoidut testit havaitsevat koodivirheet aikaisessa vaiheessa, automatisoitu hallinto havaitsee datavirheet aikaisessa vaiheessa.

---

## 2. Keskeiset rakennuspalikat

1. **Formize‑moottori** – Tarjoaa API:n linjausten tallentamiseen, politiikkojen määrittelyyn ja audit‑polun tallentamiseen.  
2. **MLOps‑orchestrator** – Jenkins, GitHub Actions, Azure Pipelines tai Kubeflow‑pipeline, jotka ohjaavat mallin koulutusta ja käyttöönottoa.  
3. **Artefaktivarasto** – S3, Azure Blob tai GCS, jossa datasetit, mallibinaarit ja feature‑storet sijaitsevat.  
4. **Politiikka‑koodina** – YAML/JSON‑säännöt, jotka koodaavat GDPR‑, HIPAA‑ tai sisäiset datankäyttöpolitiikat.  
5. **Havaintokerros** – Grafana/Prometheus‑dashbordit, jotka esittelevät Formizen mittareita.

Kaikki komponentit kommunikoivat **REST‑päätepisteiden** tai **tapahtumavirtojen** (Kafka, Pub/Sub) kautta. Alla oleva Mermaid‑kaavio havainnollistaa tietovirran.

```mermaid
graph LR
    subgraph CI_CD["CI/CD Pipeline"]
        A["Git Commit"] --> B["Build Stage"]
        B --> C["Test Stage"]
        C --> D["Training Stage"]
        D --> E["Model Registry"]
    end

    subgraph Governance["Formize Governance"]
        F["Lineage Capture"] --> G["Policy Engine"]
        G --> H["Compliance Report"]
        H --> I["Dashboard"]
    end

    D -->|Dataset Access| F
    E -->|Model Artifact| F
    G -->|Violation Event| CI_CD
    CI_CD -->|Fail Build| B
    I -->|Alert| Developers
```

*Kaikki solmujen nimet on suljettu kaksoislainausmerkkeihin, kuten Mermaid‑syntaksi vaatii.*

---

## 3. Vaihe‑käsittelyintegraatio

### 3.1. Määritä politiikka‑koodina

Luo `policies.yaml` -tiedosto repositorion juureen:

```yaml
policies:
  - id: "PII-001"
    description: "Ei‑PII‑kenttiä saa käyttää koulutuksessa ilman nimenomaista suostumusta"
    condition: "dataset.contains('ssn') or dataset.contains('email')"
    action: "block"
    severity: "high"

  - id: "DATA-RETENTION-01"
    description: "Yli 5 vuotta vanhat koulutusdatat on arkistoitava"
    condition: "dataset.age > 5y"
    action: "warn"
    severity: "medium"
```

Formize lukee tämän tiedoston **Lineage Capture** -vaiheessa ja arvioi jokaisen säännön tulevan dataset‑metadatan perusteella.

### 3.2. Lisää Formize‑hookki putkeen

Alla on GitHub Actions -pätkä, joka ajetaan koulutustehtävän jälkeen:

```yaml
name: MLOps CI/CD

on:
  push:
    branches: [ main ]

jobs:
  train-and-govern:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.11'

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Run training script
        id: train
        run: |
          python train.py --data s3://bucket/raw-data/2024-08-01.csv --output model.pkl

      - name: Capture lineage & enforce policy
        env:
          FORMIZE_API_KEY: ${{ secrets.FORMIZE_API_KEY }}
        run: |
          curl -X POST https://api.formize.io/v1/lineage \
            -H "Authorization: Bearer $FORMIZE_API_KEY" \
            -H "Content-Type: application/json" \
            -d @- <<EOF
          {
            "pipeline_id": "github-actions-mlops",
            "run_id": "${{ github.run_id }}",
            "artifact": "model.pkl",
            "dataset": "s3://bucket/raw-data/2024-08-01.csv",
            "metadata": {
              "commit_sha": "${{ github.sha }}",
              "author": "${{ github.actor }}",
              "timestamp": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")"
            },
            "policy_file": "policies.yaml"
          }
          EOF
```

Jos jokin politiikka palauttaa `block`, askel päättyy nollasta poikkeavaan tilakoodiin, jolloin koko jobi epäonnistuu. Tämä **fail‑fast** -käyttäytyminen takaa, että ei‑vaatimustenmukainen data ei koskaan pääse tuotantoon.

### 3.3. Tallenna linjaus keskitettyyn graafiin

Formize kirjoittaa automaattisesti suunnattoman syklittömän graafin (DAG) sisäiseen Neo4j‑tietokantaansa. Voit kysellä sitä Cypher‑kielellä:

```cypher
MATCH (d:Dataset)-[:USED_IN]->(t:TrainingRun)-[:PRODUCED]->(m:Model)
WHERE d.name CONTAINS 'raw-data'
RETURN d.name, t.run_id, m.version
ORDER BY t.timestamp DESC
LIMIT 10;
```

Tuloksen voi visualisoida Formize‑käyttöliittymässä tai viedä Grafanaan omia dashbordeja varten.

### 3.4. Reaaliaikainen dashbordi

Luo Prometheus‑exporter, joka kerää Formizen mittareita:

```go
package main

import (
    "net/http"
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)

var (
    policyViolations = prometheus.NewCounterVec(
        prometheus.CounterOpts{
            Name: "formize_policy_violations_total",
            Help: "Kokonaismäärä havaittuja politiikkarikkomuksia",
        },
        []string{"policy_id", "severity"},
    )
)

func main() {
    // Oletetaan, että saamme webhook‑tapahtumia Formizelta
    http.HandleFunc("/webhook", func(w http.ResponseWriter, r *http.Request) {
        // Parsitaan JSON, kasvatetaan laskureita...
    })
    prometheus.MustRegister(policyViolations)
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":9090", nil)
}
```

Grafana voi nyt piirtää `formize_policy_violations_total` -mittarin per putki, tarjoten datan hallitsijoille välittömän näkyvyyden.

---

## 4. Hallintakerroksen skaalaus

| Haaste | Suositeltu ratkaisu |
|--------|---------------------|
| **Korkean taajuuden putket** (satoja suorituksia päivässä) | Aja Formize **klusteroituna** tilana kuormantasaajan takana; ota käyttöön **eräsyötteet** linjaustapahtumille. |
| **Monipilvi‑datalähteet** | Hyödynnä Formizen **pilvivälinäisiä liittimiä** (S3, Azure Blob, GCS) ja määritä yhtenäinen **resurssitunnistekaava**. |
| **Risti‑tiimien politiikka‑omistajuus** | Käytä Formizen **roolipohjaista käyttövalvontaa (RBAC)**, jolloin jokainen domain‑tiimi hallinnoi omia politiikkatiedostojaan, kun keskitiimi hallinnoi moottoria. |
| **Audit‑polun muuttumattomuus** | Yhdistä Formize lohkoketju‑ankkuriin (esim. Ethereum tai Hyperledger) kryptografisesti sinetöidäkseen jokaisen linjaustapahtuman. |

---

## 5. Turvallisuus‑ ja vaatimustenmukaisuuskysymykset

1. **API‑avaimen hallinta** – Säilytä `FORMIZE_API_KEY` salaisuusmanagerissa (GitHub Secrets, Azure Key Vault). Vaihda avaimet neljännesvuosittain.  
2. **Dataminimisointi** – Lähetä Formizelle **vain metatiedot** (hashit, skeema, aikaleimat); älä koskaan siirrä raakaa PII‑dataa.  
3. **Salaus siirrossa** – Kaikki Formizen päätepisteet pakottavat TLS 1.3:n.  
4. **Säilytyspolitiikat** – Määritä Formize poistamaan linjaukset, jotka ylittävät organisaation säilytysikkunan, linjaamalla GDPR:n “oikeus tulla unohdetuksi” -vaatimukset.

---

## 6. Hallintapinon tulevaisuuden varmistaminen

- **LLM‑avusteinen politiikkagenerointi**: Hyödynnä suuria kielimalleja ehdottamaan uusia sääntöjä havaittujen data‑drift‑mallien perusteella.  
- **Tapahtumapohjainen arkkitehtuuri**: Korvaa HTTP‑kutsut Kafka‑aiheilla (`lineage.events`, `policy.violations`) äärimmäisen alhaisen latenssin saavuttamiseksi.  
- **Itsepalveluportaalit**: Mahdollista datatieteilijöiden pyytää tilapäisiä politiikka‑poikkeuksia Formize‑ohjatun käyttöliittymän kautta, automaattisten hyväksymisvirtojen kera.

---

## 7. Yhteenveto

Formizen upottaminen MLOps‑CI/CD‑putkiin muuttaa tietohallinnon **reaktiivisesta tarkistuspisteestä** **jatkuvaksi, automatisoiduksi suojaksi**. Tallaamalla linjaukset jokaisessa vaiheessa, arvioimalla politiikka‑koodina ja tuomalla reaaliaikaiset mittarit, organisaatiot voivat:

- Vähentää vaatimustenmukaisuusriskiä ja auditointityötä.  
- Nopeuttaa mallien toimitusta tinkimättä datan laadusta.  
- Tarjota läpinäkyviä, tarkastettavia jälkiä sääntelijöille ja sisäisille tarkastajille.

Aloita yhdestä putkesta, kehitä politiikkamäärittelyjä ja skaalaa vaakasuunnassa. Tuloksena on kestävä, luotettava AI‑toimitusalusta, joka pysyy mukana nykyaikaisen kehityksen vauhdissa.