ClickHouse source: настройка и тесты

source.type: clickhouse делает JSONL snapshot таблиц выбранных баз через HTTP API ClickHouse.

Что умеет provider

• подключение к ClickHouse HTTP API (http/https);
• выбор нужных баз (databases);
• выгрузка структуры таблиц (SHOW CREATE TABLE);
• выгрузка данных (SELECT ... FORMAT JSONEachRow);
• потоковый экспорт в .jsonl артефакт.

Конфиг source

source:
  type: clickhouse
  config:
    host: 127.0.0.1
    port: 18123
    username: default
    # password_env: CLICKHOUSE_PASSWORD
    databases:
      - iobackup
    timeout: 30s

Поля:

• host (required)
• databases (required)
• port (default 8123, или 8443 при secure: true)
• username (default default)
• password_env (optional)
• secure (HTTPS)
• tls_insecure_skip_verify (только для dev)
• timeout (default 30s)

Docker-стенд тестового ClickHouse

Файлы:

• examples/dev/clickhouse/docker-compose.yml
• examples/dev/clickhouse/seed-dev.sh

Запуск:

docker compose -f ./examples/dev/clickhouse/docker-compose.yml up -d

Сид тестовых данных:

chmod +x ./examples/dev/clickhouse/seed-dev.sh
./examples/dev/clickhouse/seed-dev.sh

Пример backup job

Готовый пример (примеры на сайте):

• clickhouse.local.yaml · исходный YAML

Запуск:

go run ./cmd/iobackupctl --server http://127.0.0.1:8735 --token-env IOBACKUP_API_TOKEN \
  job submit ./examples/clickhouse.local.yaml

go run ./cmd/iobackupctl --server http://127.0.0.1:8735 --token-env IOBACKUP_API_TOKEN \
  job run clickhouse-local

Проверка:

go run ./cmd/iobackupctl --server http://127.0.0.1:8735 --token-env IOBACKUP_API_TOKEN artifact list

Остановка стенда:

docker compose -f ./examples/dev/clickhouse/docker-compose.yml down -v