В этом руководстве мы пошагово рассмотрим процесс создания первого Kafka ClickPipe.Kafka ClickPipes можно развертывать и настраивать вручную через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.
1
Перейдите к источникам данных
В левом меню выберите кнопку
Data Sources и нажмите “Set up a ClickPipe”.2
Выберите источник данных
Выберите в списке источник данных Kafka.
3
Настройте источник данных
Заполните форму: укажите имя для ClickPipe, описание (необязательно), учетные данные и другие сведения о подключении.
4
Настройте реестр схем (необязательно)
Для топиков Avro и Protobuf требуется корректная схема. Подробнее о том, как настроить реестр схем, см. в разделе Реестры схем.
5
Настройте обратную частную конечную точку (необязательно)
Настройте обратную частную конечную точку, чтобы ClickPipes могли подключаться к вашему кластеру Kafka через AWS PrivateLink.
Подробнее см. в нашей документации по AWS PrivateLink.
6
Настройка SSH-туннелирования (необязательно)
Вы можете использовать SSH-туннелирование, если ваш брокер Kafka недоступен из интернета. Вместо прямого подключения ClickPipes устанавливает SSH-соединение с бастион-хостом (сервером в вашей сети, который имеет публичный доступ), а затем перенаправляет через него трафик к вашему брокеру Kafka в частной сети.
- Включите переключатель “SSH Tunnel”.
- Заполните сведения о SSH-подключении:
- SSH Host: имя хоста или IP-адрес вашего бастион-хоста — это общедоступный сервер, который служит шлюзом в вашу частную сеть.
- SSH Port: SSH-порт на бастион-хосте (по умолчанию
22). - SSH User: имя пользователя для аутентификации на бастион-хосте.
- Чтобы использовать аутентификацию по ключу, нажмите “Revoke and regenerate key pair”, чтобы сгенерировать новую пару ключей, и скопируйте созданный открытый ключ на ваш SSH-сервер в
~/.ssh/authorized_keys. - Нажмите “Verify Connection”, чтобы проверить подключение.
Убедитесь, что вы добавили ClickPipes IP addresses в правила брандмауэра для SSH-бастиона, чтобы ClickPipes могли установить SSH-туннель.
7
Выберите топик
Выберите топик, и интерфейс отобразит пример документа из этого топика.
8
Настройте целевую таблицу
На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и настройки. Вверху страницы вы увидите предварительный просмотр изменений в таблице-образце в реальном времени.Вы также можете настроить дополнительные параметры с помощью доступных элементов управления
9
Настройка разрешений
ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:
Full access: полный доступ к кластеру. Это может быть полезно, если вы используете Materialized View или словарь с целевой таблицей.Only destination table: только с разрешениемINSERTдля целевой таблицы.
10
Завершение настройки
После нажатия на “Create ClickPipe” будет создан и запущен ваш ClickPipe. После этого он появится в разделе Data Sources.