# Jätkuv andmevalitsemine MLOps torujuhtmetes Formize'iga

Ettevõtted, kes saadavad masinõppe mudeleid suures mahus, seisavad silmitsi paradoksi: mida kiiremini nad iteratsiooni teevad, seda raskemaks muutub tagada, et treeningu, valideerimise ja inferentsi jaoks kasutatav andmestik vastab sisemistele poliitikatele ja välistele regulatsioonidele. Traditsioonilised andmevalitsemise lähenemised — käsitsi auditid, perioodilised aruanded ja staatilised päritulumapsid — ei suuda sammu pidada kaasaegsete MLOps töövoogude kiirusega.

Formize, madala koodiga andmepäritolu‑ ja vastavusmootor, loodi just selle väljakutse jaoks. Integreerides Formize'i CI/CD torujuhtmesse, saavad organisatsioonid **jäädvustada päritolu reaalajas**, **jõustada poliitikat koodina** ja **näidata kvaliteedi armatuurlaudu**, mida arendajad ja auditorid saavad koheselt pärida.

Selles artiklis käsitleme:

1. Jätkuva andmevalitsemise põhiprintsiipe.
2. Kuidas Formize integreerub populaarsete MLOps tööriistadega (GitHub Actions, Jenkins, Kubeflow, MLflow).
3. Täielikku lõpptulemuseni viivat rakendust, alates versioonikontrolli hookidest kuni automatiseeritud vastavuskontrollideni.
4. Mermaid diagrammi, mis visualiseerib andmevoogu.
5. Skaleerimisvahendeid, turvalisust ja tulevikukindlust.

> **Oluline järeldus:** Kui Formize muutub teie CI/CD torujuhtme loomulikuks sammuks, muutuvad andmepäritolu, poliitika jõustamine ja kvaliteedijälgimine *jätkuvateks* mitte *perioodilisteks* tegevusteks.

---

## 1. Miks jätkuv valitsemine on oluline

| Traditsiooniline lähenemine | Jätkuv lähenemine |
|-----------------------------|-------------------|
| Auditid toimuvad kvartalis või rikkumise järel | Auditid toimuvad iga commit'i, buildi ja juurutuse juures |
| Käsitsi loodud päritulodiagrammid on aegunud | Automatiseeritud päritulograafikud kajastavad reaalset olekut |
| Poliitikavigu avastatakse hilja, nende kõrvaldamine on kulukas | Poliitikavigu blokeeritakse torujuhtmes kohe |
| Piiratud nähtavus mitte‑tehnilistele sidusrühmadele | Reaalajas armatuurlaud annab nähtavuse andmehalduritele ja auditoritele |

Üleminek **perioodilisest** **jätkuvaks** peegeldab muutust Waterfall‑ist DevOps‑i. Nii nagu automatiseeritud testid püüavad koodivigu varakult, püüab automatiseeritud valitsemine andmevigu varakult.

---

## 2. Põhilised ehituskivid

1. **Formize Engine** – Pakub API‑d päritolu jäädvustamiseks, poliitikate määratlemiseks ja audit‑logide salvestamiseks.
2. **MLOps Orkestreerija** – Jenkins, GitHub Actions, Azure Pipelines või Kubeflow, mis juhivad mudelite treeningut ja juurutamist.
3. **Artefaktide hoidla** – S3, Azure Blob või GCS, kus asuvad andmekogumid, mudelibinaarid ja funktsioonipoed.
4. **Poliitika‑koodina** – YAML/JSON reeglid, mis kodeerivad GDPR‑i, HIPAA‑d või sisemisi andmekasutuse poliitikaid.
5. **Jälgitavuse kiht** – Grafana/Prometheus armatuurlaud, mis kuvab Formize'i mõõdikuid.

Kõik komponendid suhtlevad **REST‑ful endpointide** või **sündmusvoogude** (Kafka, Pub/Sub) kaudu. Järgnevas Mermaid diagrammis on visualiseeritud andmevoog.

```mermaid
graph LR
    subgraph CI_CD["CI/CD Pipeline"]
        A["Git Commit"] --> B["Build Stage"]
        B --> C["Test Stage"]
        C --> D["Training Stage"]
        D --> E["Model Registry"]
    end

    subgraph Governance["Formize Governance"]
        F["Lineage Capture"] --> G["Policy Engine"]
        G --> H["Compliance Report"]
        H --> I["Dashboard"]
    end

    D -->|Dataset Access| F
    E -->|Model Artifact| F
    G -->|Violation Event| CI_CD
    CI_CD -->|Fail Build| B
    I -->|Alert| Developers
```

*Kõik sõlme märgendid on topeltjutumärkides, nagu Mermaid nõuab.*

---

## 3. Samm‑sammuline integreerimine

### 3.1. Määra poliitika koodina

Loo `policies.yaml` fail repositooriumi juurkaustas:

```yaml
policies:
  - id: "PII-001"
    description: "Ühtegi PII välja ei tohi kasutada treeningus ilma selgesõnalise nõusolekuta"
    condition: "dataset.contains('ssn') or dataset.contains('email')"
    action: "block"
    severity: "high"

  - id: "DATA-RETENTION-01"
    description: "Treeningandmed, mis on vanemad kui 5 aastat, tuleb arhiveerida"
    condition: "dataset.age > 5y"
    action: "warn"
    severity: "medium"
```

Formize loeb seda faili **Päritolu jäädvustamise** etapis ja hindab iga reeglit siseneva andmekogumi metaandmete põhjal.

### 3.2. Lisa Formize hook torujuhtmesse

Allpool on GitHub Actions näidis, mis käivitub pärast treeningtöö lõpetamist:

```yaml
name: MLOps CI/CD

on:
  push:
    branches: [ main ]

jobs:
  train-and-govern:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.11'

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Run training script
        id: train
        run: |
          python train.py --data s3://bucket/raw-data/2024-08-01.csv --output model.pkl

      - name: Capture lineage & enforce policy
        env:
          FORMIZE_API_KEY: ${{ secrets.FORMIZE_API_KEY }}
        run: |
          curl -X POST https://api.formize.io/v1/lineage \
            -H "Authorization: Bearer $FORMIZE_API_KEY" \
            -H "Content-Type: application/json" \
            -d @- <<EOF
          {
            "pipeline_id": "github-actions-mlops",
            "run_id": "${{ github.run_id }}",
            "artifact": "model.pkl",
            "dataset": "s3://bucket/raw-data/2024-08-01.csv",
            "metadata": {
              "commit_sha": "${{ github.sha }}",
              "author": "${{ github.actor }}",
              "timestamp": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")"
            },
            "policy_file": "policies.yaml"
          }
          EOF
```

Kui mõni poliitika tagastab `block`, lõpetab samm mitte‑nulli staatusega, mis põhjustab kogu töö ebaõnnestumise. See **kiire ebaõnnestumise** käitumine tagab, et mitte‑vastavusandmeid ei jõuta kunagi tootmisse.

### 3.3. Salvesta päritolu keskse graafi

Formize kirjutab automaatselt suunatud tsüklivaba graafi (DAG) oma sisemisse Neo4j andmebaasi. Saad seda pärida Cypheri abil:

```cypher
MATCH (d:Dataset)-[:USED_IN]->(t:TrainingRun)-[:PRODUCED]->(m:Model)
WHERE d.name CONTAINS 'raw-data'
RETURN d.name, t.run_id, m.version
ORDER BY t.timestamp DESC
LIMIT 10;
```

Tulemust saab visualiseerida Formize kasutajaliideses või eksportida Grafanasse kohandatud armatuurlaudade jaoks.

### 3.4. Reaalajas armatuurlaud

Loo Prometheus eksportija, mis kogub Formize'i mõõdikuid:

```go
package main

import (
    "net/http"
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)

var (
    policyViolations = prometheus.NewCounterVec(
        prometheus.CounterOpts{
            Name: "formize_policy_violations_total",
            Help: "Total number of policy violations detected",
        },
        []string{"policy_id", "severity"},
    )
)

func main() {
    // Assume we receive webhook events from Formize
    http.HandleFunc("/webhook", func(w http.ResponseWriter, r *http.Request) {
        // Parse JSON, increment counters...
    })
    prometheus.MustRegister(policyViolations)
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":9090", nil)
}
```

Grafana saab nüüd plotida `formize_policy_violations_total` iga torujuhtme kohta, andes andmehalduritele kohese nähtavuse.

---

## 4. Valitsemiskihi skaleerimine

| Väljakutse | Soovitatav lahendus |
|------------|----------------------|
| **Sagedased torujuhtmed** (sadu jooksu päevas) | Paiguta Formize **klastritud** režiimis koormuse tasakaalustaja taha; luba **pakett‑sissekanne** päritulu sündmustele. |
| **Mitme pilve andmeallikad** | Kasuta Formize'i **pilve‑agnostilisi konnektoreid** (S3, Azure Blob, GCS) ja määra ühtne **ressursi identifikaatori** skeem. |
| **Ristimeeskondade poliitika omanikud** | Kasuta Formize'i **rollipõhist juurdepääsukontrolli (RBAC)**, et iga domeenimeeskond omaks oma poliitikafaile, samas kui keskmeeskond haldab mootorit. |
| **Audit‑logi muutumatuse tagamine** | Siduge Formize **plokiahela ankruga** (nt Ethereum või Hyperledger), et krüptograafiliselt kinnitada iga päritulu tehing. |

---

## 5. Turvalisuse ja vastavuse kaalutlused

1. **API‑võtme haldamine** – Hoia `FORMIZE_API_KEY` salajaste haldurite (GitHub Secrets, Azure Key Vault) kaudu. Värskenda võtmeid iga kvartali lõpus.
2. **Andmete minimeerimine** – Saada Formize'ile ainult **metaandmed** (hashid, skeem, ajatemplit) — ära kunagi edasta toores PII‑d.
3. **Krüpteerimine ülekandes** – Kõik Formize'i endpointid nõuavad TLS 1.3.
4. **Säilituspoliitikad** – Konfigureeri Formize kustutama päritolu, mis on vanem kui organisatsiooni säilitusaeg, kooskõlas [GDPR](https://gdpr.eu/) “unustamise õigusega”.

---

## 6. Tulevikukindlaks valitsemusvirna

- **AI‑toetatud poliitikate genereerimine**: Kasuta LLM‑e, et soovitada uusi reegleid andme‑drifti mustrite põhjal.
- **Sündmus‑põhine arhitektuur**: Asenda HTTP‑kõned Kafka‑teemadega (`lineage.events`, `policy.violations`) äärmiselt madala latentsusega.
- **Ise‑teenindusportaalid**: Võimalda andmeteadlastel taotleda ajutisi poliitika erandeid Formize‑põhise UI kaudu, koos automatiseeritud heakskiitmisvoogudega.

---

## 7. Kokkuvõte

Formize'i integreerimine MLOps CI/CD torujuhtmesse muudab andmevalitsemise **reaktiivseks kontrollpunktiks** **automaatseks, pidevaks kaitseks**. Jäädvustades päritolu igas etapis, hindades poliitika‑koodi ja pakkudes reaalajas mõõdikuid, saavad organisatsioonid:

- Vähendada vastavusriskide ja audititöö koormust.
- Kiirendada mudelite tarnimist, ohverdamata andmekvaliteeti.
- Tagada läbipaistvad, auditeeritavad jäljed regulaatoritele ja sisemistele auditoritele.

Alusta ühe torujuhtmega, iteratsiooni poliitikade üle, ja skaleeri horisontaalselt. Tulemuseks on vastupidav, usaldusväärne AI tarnimisplatvorm, mis hoiab sammu kaasaegse arenduskiirusega.