- Материализовать данные как в самоуправляемые экземпляры ClickHouse, так и в ClickHouse Cloud
- Автоматически выполнять такие задачи, как создание таблиц и изменение схемы
- Поддерживать мягкое и жёсткое удаление
- Использовать
ReplacingMergeTreeдля стандартных обновлений при слиянии илиMergeTreeдля дельта-обновлений - Обеспечивать семантику доставки exactly-once
Руководство по настройке
- Аккаунт Estuary
- Один или несколько capture в Estuary, получающих данные из нужных источников
- Самоуправляемый экземпляр ClickHouse или аккаунт ClickHouse Cloud
- Пользователь базы данных ClickHouse с учетными данными
1
Настройте ClickHouse для интеграции
Чтобы настроить коннектор ClickHouse для Estuary, соберите информацию об экземпляре ClickHouse и настройте разрешения пользователя.
- Скопируйте конечную точку хоста базы данных. Используйте порт 9440, если TLS включен, или 9000, если TLS отключен. Хост и порт вместе образуют адрес, который необходимо указать в Estuary.
-
Предоставьте разрешения пользователю базы данных, которого будет использовать Estuary.
Чтобы автоматически создавать таблицы и управлять ими, Estuary потребуются разрешения
CREATE,SELECT,INSERTи другие для целевой базы данных, а также разрешения на обнаружение метаданных и управление партициями. Все необходимые разрешения можно предоставить, выполнив следующие SQL-команды и заменив<database>и<user>своими значениями: -
При необходимости ограничьте системный доступ пользователя только целевой базой данных.
Для этого можно использовать политики уровня строк. Например:
2
Создайте материализацию Estuary
- На панели мониторинга Estuary перейдите на страницу Destinations.
- Нажмите + New Materialization.
- Выберите коннектор ClickHouse.
-
Заполните раздел Materialization Details:
- Укажите уникальное имя материализации
- Выберите плоскость данных (облачного провайдера и регион)
-
Заполните раздел Endpoint Config, чтобы Estuary мог подключиться к экземпляру ClickHouse:
- Address: хост и порт экземпляра
- Database: имя целевой базы данных
- Authentication: имя пользователя и пароль пользователя базы данных
3
Настройте исходные collection
В разделе Source Collections выберите источники, которые нужно материализовать в ClickHouse.
- Свяжите существующий capture или добавьте отдельные collection данных для материализации в ClickHouse.
- При необходимости выберите collection данных из списка для дополнительной настройки. Доступны следующие параметры:
- Выберите другое имя таблицы для collection
- Выберите поведение слияния для collection (использовать ли режим дельта-обновлений)
- Настройте выбор полей, чтобы определить, какие поля будут материализованы
- Когда настройка материализации данных в ClickHouse вас устроит, нажмите Next, а затем Save and Publish.
Дополнительные ресурсы
- См. документацию Estuary по материализации ClickHouse.
- Помимо описанного в этих инструкциях рабочего процесса через интерфейс, настройкой конвейера Estuary можно управлять и через CLI. Подробнее о программной работе с Estuary см. в руководствах Estuary по
flowctl.