Object Storage ClickPipes обеспечивают простой и надёжный способ приёма данных из Amazon S3, Google Cloud Storage, Azure Blob Storage и DigitalOcean Spaces в ClickHouse Cloud. Поддерживаются как разовая, так и непрерывная ингестия с гарантией exactly-once.
Создание первого ClickPipe для объектного хранилища
Предварительное условие
- Вы ознакомились с вводной информацией о ClickPipes.
Перейдите к источникам данных
В облачной консоли в меню слева нажмите кнопку Data Sources, затем — «Set up a ClickPipe».
Выберите источник данных
Выберите источник данных.
Настройка ClickPipe
Заполните форму, указав для ClickPipe имя, описание (необязательно), вашу IAM‑роль или учетные данные и URL‑адрес бакета. Вы можете указать несколько файлов, используя шаблоны в стиле bash. Дополнительную информацию см. в документации по использованию шаблонов в путях.
Выберите формат данных
В интерфейсе пользователя отобразится список файлов в указанном бакете. Выберите формат данных (сейчас поддерживается подмножество форматов ClickHouse) и определите, хотите ли вы включить непрерывную ингестию. (Подробнее об этом ниже).
Настройка таблицы, схемы и параметров
На следующем шаге вы можете выбрать, нужно ли настраивать приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. В верхней части экрана вы увидите предварительный просмотр изменений в примерной таблице в режиме реального времени.
Вы также можете настроить расширенные параметры с помощью доступных элементов управления.
Либо вы можете настроить приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.
Вы также можете сопоставлять виртуальные столбцы, такие как _path или _size, с полями.
Настройка прав доступа
Наконец, вы можете настроить права доступа для внутреннего пользователя ClickPipes.
Права доступа: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя, указав пользовательскую роль или одну из предопределённых ролей:
Full access: с полным доступом к кластеру. Требуется, если вы используете материализованное представление или Dictionary с целевой таблицей.Only destination table: с правамиINSERTтолько для целевой таблицы.
Завершение настройки
При нажатии на «Complete Setup» система зарегистрирует ваш ClickPipe, и вы сможете увидеть его в сводной таблице.
Сводная таблица предоставляет элементы управления для отображения образцов данных из таблицы-источника или целевой таблицы в ClickHouse.
А также элементы управления для удаления ClickPipe и отображения сводной информации о задаче приёма данных.
Поздравляем! вы успешно настроили свой первый ClickPipe. Если это потоковый ClickPipe, он будет непрерывно работать, выполняя приём данных в режиме реального времени из вашего удалённого источника данных. В противном случае он выполнит пакетный приём данных и завершится.
