Создание первого ClickPipe для Amazon S3

Выберите источник данных

1. В ClickHouse Cloud выберите Источники данных в главном навигационном меню и нажмите Создать ClickPipe.

2. Нажмите плитку Amazon S3. Эту плитку также можно использовать для подключения к другим S3-совместимым сервисам, не указанным в интерфейсе ClickPipes.

Из-за различий в форматах URL и реализациях API у разных провайдеров сервисов объектного хранилища не все S3-совместимые сервисы поддерживаются по умолчанию. Если у вас возникают проблемы с сервисом, который не указан в разделе поддерживаемые источники данных, свяжитесь с нашей командой.

Настройте подключение ClickPipe

1. Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего сервиса объектного хранилища.

• Метод аутентификации: S3 ClickPipe поддерживает учётные данные IAM (Credentials) и аутентификацию на основе роли IAM (IAM role). Рекомендации по аутентификации и разрешениям см. в справочной документации.
  • Путь к файлу S3: S3 ClickPipe ожидает URI в стиле virtual-hosted-style.
    https://bucket-name.s3.region-code.amazonaws.com/key-name
    
    Для сопоставления нескольких файлов или префиксов можно использовать подстановочные шаблоны POSIX. Сведения о поддерживаемых шаблонах см. в справочной документации.

2. Нажмите Входящие данные. ClickPipes получит метаданные из вашего бакета, которые понадобятся на следующем шаге.

Выберите формат данных

В интерфейсе отобразится список файлов в указанном бакете. Выберите формат данных (в настоящее время мы поддерживаем только часть форматов ClickHouse) и укажите, нужно ли включить непрерывную ингестию. Подробнее см. в разделе “continuous ingest” на странице обзора.

Настройте таблицу, схему и параметры

На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. В верхней части страницы доступен предварительный просмотр изменений в реальном времени в примере таблицы.

Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

Либо вы можете выбрать приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля источника с полями ClickHouse в выбранной целевой таблице.

Вы также можете сопоставлять виртуальные столбцы, такие как _path или _size, с полями.

Настройте разрешения

Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.Разрешения: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:

• Full access: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
• Only destination table: только разрешения INSERT для целевой таблицы.

Завершите настройку

После нажатия “Complete Setup” система зарегистрирует ваш ClickPipe, и вы увидите его в сводной таблице.

В сводной таблице доступны элементы управления для отображения примеров данных из источника или из целевой таблицы ClickHouse

А также элементы управления для удаления ClickPipe и отображения сводки по заданию приёма.

Поздравляем! Вы успешно настроили свой первый ClickPipe. Если этот ClickPipe настроен для непрерывной ингестии, он будет непрерывно работать, выполняя приём данных в реальном времени из удалённого источника данных. В противном случае он примет батч и завершит работу.