Создание первого Amazon S3 ClickPipe
S3 ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из Amazon S3 и S3-совместимых объектных хранилищ в ClickHouse Cloud. Он поддерживает как однократную, так и непрерывную ингестию с семантикой exactly-once.
S3 ClickPipes можно развёртывать и управлять ими вручную через ClickPipes UI, а также программно с помощью OpenAPI и Terraform.
Выберите источник данных
1. В ClickHouse Cloud в главном меню навигации выберите Data sources и нажмите Create ClickPipe.
2. Нажмите плитку Amazon S3. Эту плитку также можно использовать для подключения к другим S3-совместимым сервисам, которые не перечислены в интерфейсе ClickPipes.
Из-за различий в форматах URL и реализациях API у разных провайдеров сервисов объектного хранилища не все S3-совместимые сервисы поддерживаются по умолчанию. Если у вас возникают проблемы с сервисом, который не указан в списке поддерживаемых источников данных, свяжитесь с нашей командой.
Настройте подключение ClickPipe
1. Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации к вашему сервису объектного хранилища.
2. Нажмите плитку Amazon S3. Эту плитку также можно использовать для подключения к другим S3-совместимым сервисам, которые не перечислены в интерфейсе ClickPipes.
Из-за различий в форматах URL и реализациях API у разных провайдеров сервисов объектного хранилища не все S3-совместимые сервисы поддерживаются по умолчанию. Если у вас возникают проблемы с сервисом, который не указан в списке поддерживаемых источников данных, свяжитесь с нашей командой.
2. Нажмите Incoming data. ClickPipes получит метаданные из вашего бакета для следующего шага.
Выберите формат данных
В интерфейсе будет показан список файлов в указанном бакете. Выберите формат данных (в настоящее время поддерживается подмножество форматов ClickHouse) и укажите, хотите ли вы включить непрерывную ингестию. См. раздел «continuous ingest» на обзорной странице для получения дополнительной информации.
Настройте таблицу, схему и параметры
На следующем шаге вы можете выбрать, хотите ли вы выполнять приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. Вы можете видеть предварительный просмотр изменений в реальном времени в примерной таблице в верхней части экрана.
Вы также можете настроить расширенные параметры с помощью предоставленных элементов управления.
Кроме того, вы можете настроить приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.
Вы также можете сопоставлять виртуальные столбцы, такие как _path или _size, с полями.
Настройте права доступа
Наконец, вы можете настроить права доступа для внутреннего пользователя ClickPipes.
Permissions: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя, используя настраиваемую роль или одну из предопределённых ролей:
Full access: с полным доступом к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.Only destination table: с правамиINSERTтолько в целевую таблицу.
Завершите настройку
Нажав «Complete Setup», система зарегистрирует ваш ClickPipe, и вы сможете увидеть его в сводной таблице.
Сводная таблица предоставляет элементы управления для отображения примеров данных из источника или целевой таблицы в ClickHouse.
А также элементы управления для удаления ClickPipe и отображения сводной информации о задании по приёму данных.
Поздравляем! Вы успешно настроили свой первый ClickPipe. Если это ClickPipe, настроенный для непрерывной ингестии, он будет постоянно работать, выполняя приём данных в реальном времени из вашего удалённого источника данных. В противном случае будет выполнена пакетная ингестия, после чего работа завершится.
