# Безперервне управління даними в MLOps‑конвеєрах за допомогою Formize

Підприємства, які масштабно доставляють моделі машинного навчання, стикаються з парадоксом: чим швидше вони ітерують, тим складніше гарантувати, що дані, використані для навчання, валідації та інференсу, відповідають внутрішнім політикам та зовнішнім регуляціям. Традиційні підходи до управління даними — ручні аудити, періодичні звіти та статичні карти лінійності — не встигають за швидкістю сучасних MLOps‑процесів.

Formize, платформа низького коду для відстеження лінійності даних та забезпечення відповідності, створена саме для цього виклику. Вбудовуючи Formize у CI/CD‑конвеєр, організації можуть **фіксувати лінійність у реальному часі**, **застосовувати політики як код** та **надавати інформаційні панелі якості**, які розробники та аудитори можуть миттєво запитувати.

У цій статті ми розглянемо:

1. Основні концепції безперервного управління даними.  
2. Як Formize інтегрується з популярними інструментами MLOps (GitHub Actions, Jenkins, Kubeflow, MLflow).  
3. Повну реалізацію від гачків у системі контролю версій до автоматичних перевірок відповідності.  
4. Діаграму Mermaid, що візуалізує потік даних.  
5. Питання масштабування, безпеки та майбутньої стійкості.

> **Ключовий висновок:** коли Formize стає нативним кроком у вашому CI/CD‑конвеєрі, відстеження лінійності, застосування політик та моніторинг якості стають *безперервними*, а не *періодичними* процесами.

---

## 1. Чому важливе безперервне управління

| Традиційний підхід | Безперервний підхід |
|--------------------|---------------------|
| Аудити проводяться щоквартально або після інциденту | Аудити виконуються при кожному коміті, збірці та розгортанні |
| Ручні діаграми лінійності застарівають | Автоматичні графи лінійності відображають поточний стан |
| Порушення політик виявляються пізно, їх виправлення дорого коштує | Порушення політик блокують конвеєр миттєво |
| Обмежена видимість для нетехнічних стейкхолдерів | Дашборди в реальному часі дають можливість діяти керівникам даних та аудиторам |

Перехід від **періодичного** до **безперервного** підходу нагадує еволюцію від Waterfall до DevOps. Подібно до того, як автоматичні тести виявляють дефекти коду на ранніх етапах, автоматичне управління виявляє дефекти даних одразу.

---

## 2. Основні будівельні блоки

1. **Formize Engine** — надає API для фіксації лінійності, визначення політик та зберігання журналу аудиту.  
2. **MLOps Orchestrator** — Jenkins, GitHub Actions, Azure Pipelines або Kubeflow pipelines, які керують навчанням та розгортанням моделей.  
3. **Artifact Repository** — S3, Azure Blob або GCS, де зберігаються набори даних, бінарники моделей та сховища ознак.  
4. **Policy‑as‑Code** — правила у форматі YAML/JSON, що кодують GDPR, HIPAA або внутрішні політики використання даних.  
5. **Observability Layer** — дашборди Grafana/Prometheus, що відображають метрики Formize.

Усі компоненти спілкуються через **REST‑ful** кінцеві точки або **event streams** (Kafka, Pub/Sub). Нижче наведена діаграма Mermaid, що ілюструє потік даних.

```mermaid
graph LR
    subgraph CI_CD["CI/CD Pipeline"]
        A["Git Commit"] --> B["Build Stage"]
        B --> C["Test Stage"]
        C --> D["Training Stage"]
        D --> E["Model Registry"]
    end

    subgraph Governance["Formize Governance"]
        F["Lineage Capture"] --> G["Policy Engine"]
        G --> H["Compliance Report"]
        H --> I["Dashboard"]
    end

    D -->|Dataset Access| F
    E -->|Model Artifact| F
    G -->|Violation Event| CI_CD
    CI_CD -->|Fail Build| B
    I -->|Alert| Developers
```

*Усі мітки вузлів взяті в подвійні лапки, як вимагає Mermaid.*

---

## 3. Покрокова інтеграція

### 3.1. Визначення Policy‑as‑Code

Створіть файл `policies.yaml` у корені репозиторію:

```yaml
policies:
  - id: "PII-001"
    description: "Поле з особистими даними (PII) не може використовуватись у навчанні без явної згоди"
    condition: "dataset.contains('ssn') or dataset.contains('email')"
    action: "block"
    severity: "high"

  - id: "DATA-RETENTION-01"
    description: "Навчальні дані старші за 5 років мають бути архівовані"
    condition: "dataset.age > 5y"
    action: "warn"
    severity: "medium"
```

Formize читає цей файл під час кроку **Lineage Capture** та оцінює кожне правило проти метаданих вхідного набору даних.

### 3.2. Додайте хук Formize у конвеєр

Нижче приклад фрагмента GitHub Actions, який виконується після завершення навчального завдання:

```yaml
name: MLOps CI/CD

on:
  push:
    branches: [ main ]

jobs:
  train-and-govern:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.11'

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Run training script
        id: train
        run: |
          python train.py --data s3://bucket/raw-data/2024-08-01.csv --output model.pkl

      - name: Capture lineage & enforce policy
        env:
          FORMIZE_API_KEY: ${{ secrets.FORMIZE_API_KEY }}
        run: |
          curl -X POST https://api.formize.io/v1/lineage \
            -H "Authorization: Bearer $FORMIZE_API_KEY" \
            -H "Content-Type: application/json" \
            -d @- <<EOF
          {
            "pipeline_id": "github-actions-mlops",
            "run_id": "${{ github.run_id }}",
            "artifact": "model.pkl",
            "dataset": "s3://bucket/raw-data/2024-08-01.csv",
            "metadata": {
              "commit_sha": "${{ github.sha }}",
              "author": "${{ github.actor }}",
              "timestamp": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")"
            },
            "policy_file": "policies.yaml"
          }
          EOF
```

Якщо будь‑яка політика повертає `block`, крок завершується з ненульовим статусом, що призводить до провалу всього завдання. Така **fail‑fast** поведінка гарантує, що некомплектні дані не потрапляють у продакшн.

### 3.3. Зберігання лінійності у центральному графі

Formize автоматично записує орієнтований ациклічний граф (DAG) у внутрішнє сховище Neo4j. Його можна запитувати за допомогою Cypher:

```cypher
MATCH (d:Dataset)-[:USED_IN]->(t:TrainingRun)-[:PRODUCED]->(m:Model)
WHERE d.name CONTAINS 'raw-data'
RETURN d.name, t.run_id, m.version
ORDER BY t.timestamp DESC
LIMIT 10;
```

Результат можна візуалізувати у UI Formize або експортувати у Grafana для кастомних дашбордів.

### 3.4. Дашборд у реальному часі

Створіть Prometheus‑експортер, який збирає метрики Formize:

```go
package main

import (
    "net/http"
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)

var (
    policyViolations = prometheus.NewCounterVec(
        prometheus.CounterOpts{
            Name: "formize_policy_violations_total",
            Help: "Загальна кількість виявлених порушень політик",
        },
        []string{"policy_id", "severity"},
    )
)

func main() {
    // Припускаємо, що отримуємо webhook‑події від Formize
    http.HandleFunc("/webhook", func(w http.ResponseWriter, r *http.Request) {
        // Парсимо JSON, інкрементуємо лічильники...
    })
    prometheus.MustRegister(policyViolations)
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":9090", nil)
}
```

Тепер Grafana може будувати графік `formize_policy_violations_total` за конвеєром, надаючи стейкхолдерам миттєву видимість.

---

## 4. Масштабування шару управління

| Проблема | Рекомендоване рішення |
|----------|-----------------------|
| **Високочастотні конвеєри** (сотні запусків на день) | Розгорнути Formize у **кластерному** режимі за балансувальником навантаження; увімкнути **пакетне надсилання** подій лінійності. |
| **Багатохмарні джерела даних** | Використовувати **хмаро-незалежні коннектори** Formize (S3, Azure Blob, GCS) та уніфіковану схему **ідентифікаторів ресурсів**. |
| **Політики, що належать різним командам** | Застосовувати **RBAC** Formize, дозволяючи кожній доменної команді керувати своїми файлами політик, а центральній команді – управляти двигуном. |
| **Незмінність журналу аудиту** | Поєднати Formize з **блокчейн‑якорем** (Ethereum або Hyperledger) для криптографічного фіксування кожної транзакції лінійності. |

---

## 5. Безпека та відповідність

1. **Управління API‑ключами** — зберігайте `FORMIZE_API_KEY` у менеджерах секретів (GitHub Secrets, Azure Key Vault). Проводьте ротацію ключів щоквартально.  
2. **Мінімізація даних** — надсилайте до Formize лише **метадані** (хеші, схеми, часові мітки); ніколи не передавайте сирі PII.  
3. **Шифрування під час передачі** — усі кінцеві точки Formize працюють лише через TLS 1.3.  
4. **Політики зберігання** — налаштуйте Formize на автоматичне видалення лінійності, старішої за встановлену у вашій організації, у відповідності до [GDPR](https://gdpr.eu/).

---

## 6. Майбутнє вашого стеку управління

- **Генерація політик за допомогою ШІ**: використовуйте LLM для пропозиції нових правил на основі виявлених патернів зсуву даних.  
- **Подієва архітектура**: замініть HTTP‑виклики на Kafka‑топіки (`lineage.events`, `policy.violations`) для наднизької затримки.  
- **Портали самообслуговування**: дайте дата‑науковцям можливість запитувати тимчасові виключення з політик через UI, підкріплене автоматичними процесами схвалення.

---

## 7. Підсумок

Вбудовування Formize у CI/CD‑конвеєри MLOps перетворює управління даними з **реактивної контрольної точки** на **безперервний, автоматизований захист**. Фіксуючи лінійність на кожному етапі, оцінюючи політики як код і надаючи метрики в реальному часі, організації можуть:

- Знизити ризики відповідності та витрати на аудит.  
- Прискорити доставку моделей без шкоди якості даних.  
- Забезпечити прозорі, аудиторські сліди для регуляторів та внутрішніх аудиторів.

Почніть з одного конвеєра, поступово розширюйте визначення політик і масштабуйте горизонтально. Результат — стійка, довірена платформа доставки ШІ, що встигає за сучасною швидкістю розробки.