Создание первого GCS ClickPipe

GCS ClickPipe обеспечивает полностью управляемый и отказоустойчивый способ приёма данных из Google Cloud Storage (GCS). Он поддерживает как однократную, так и непрерывную ингестию с семантикой «ровно один раз».

GCS ClickPipes могут быть развернуты и управляться вручную с помощью ClickPipes UI, а также программно с использованием OpenAPI и Terraform.

Выберите источник данных

1. В ClickHouse Cloud в главном меню навигации выберите Data sources и нажмите Create ClickPipe.

2. Нажмите плитку Google Cloud Storage.

Настройте подключение ClickPipe

1. Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации к вашему сервису объектного хранилища.

2. Нажмите плитку Google Cloud Storage.

2. Нажмите Incoming data. ClickPipes получит метаданные из вашего бакета для следующего шага.

Выберите формат данных

В интерфейсе будет показан список файлов в указанном бакете. Выберите формат данных (в настоящее время поддерживается подмножество форматов ClickHouse) и укажите, хотите ли вы включить непрерывную ингестию. См. раздел «continuous ingest» на обзорной странице для получения дополнительной информации.

Настройте таблицу, схему и параметры

На следующем шаге вы можете выбрать, хотите ли вы выполнять приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. Вы можете видеть предварительный просмотр изменений в реальном времени в примерной таблице в верхней части экрана.

Вы также можете настроить расширенные параметры с помощью предоставленных элементов управления.

Кроме того, вы можете настроить приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.

Справочные материалы

Вы также можете сопоставлять виртуальные столбцы, такие как _path или _size, с полями.

Настройте права доступа

Наконец, вы можете настроить права доступа для внутреннего пользователя ClickPipes.

Permissions: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя, используя настраиваемую роль или одну из предопределённых ролей:

• Full access: с полным доступом к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
• Only destination table: с правами INSERT только в целевую таблицу.

Завершите настройку

Нажав «Complete Setup», система зарегистрирует ваш ClickPipe, и вы сможете увидеть его в сводной таблице.

Сводная таблица предоставляет элементы управления для отображения примеров данных из источника или целевой таблицы в ClickHouse.

А также элементы управления для удаления ClickPipe и отображения сводной информации о задании по приёму данных.

Поздравляем! Вы успешно настроили свой первый ClickPipe. Если это ClickPipe, настроенный для непрерывной ингестии, он будет постоянно работать, выполняя приём данных в реальном времени из вашего удалённого источника данных. В противном случае будет выполнена пакетная ингестия, после чего работа завершится.