Онбординг BYOC для AWS - ClickHouse Documentation

Процесс онбординга

Клиенты могут начать процесс онбординга, связавшись с нами. Для этого клиентам нужна выделенная учетная запись AWS и информация о регионе, который они будут использовать. В настоящее время запускать сервисы BYOC можно только в тех регионах, которые поддерживаются в ClickHouse Cloud.

Подготовьте учетную запись AWS

Для лучшей изоляции рекомендуется подготовить отдельную учетную запись AWS для размещения развертывания ClickHouse BYOC. Однако можно также использовать общую учетную запись и существующий VPC. Подробности см. ниже в разделе Setup BYOC Infrastructure. Имея эту учетную запись и исходный адрес электронной почты администратора организации, вы можете обратиться в службу поддержки ClickHouse.

Инициализация BYOC

Первичную настройку BYOC можно выполнить либо с помощью шаблона CloudFormation, либо с помощью модуля Terraform. В обоих случаях создаётся одна и та же роль IAM, которая позволяет контроллерам BYOC из ClickHouse Cloud управлять вашей инфраструктурой. Обратите внимание: ресурсы S3, VPC и вычислительные ресурсы, необходимые для запуска ClickHouse, в эту первоначальную настройку не входят.

Шаблон CloudFormation

Шаблон CloudFormation для BYOC

Модуль Terraform

Модуль Terraform для BYOC

module "clickhouse_onboarding" {
  source   = "https://s3.us-east-2.amazonaws.com/clickhouse-public-resources.clickhouse.cloud/tf/byoc.tar.gz"
  byoc_env = "production"
}

Настройка инфраструктуры BYOC

После создания стека CloudFormation вам будет предложено настроить инфраструктуру, включая S3, VPC и кластер EKS, в облачной консоли. Некоторые параметры нужно определить на этом этапе, так как позже изменить их будет нельзя. В частности:

Регион, который вы хотите использовать: вы можете выбрать любой из общедоступных регионов, доступных для ClickHouse Cloud.
Диапазон VPC CIDR для BYOC: по умолчанию для диапазона VPC CIDR BYOC используется 10.0.0.0/16. Если вы планируете использовать пиринг VPC с другой учетной записью, убедитесь, что диапазоны CIDR не пересекаются. Выделите для BYOC подходящий диапазон CIDR с минимальным размером /22, чтобы разместить необходимые рабочие нагрузки.
Зоны доступности для BYOC VPC: если вы планируете использовать пиринг VPC, согласование зон доступности между исходной и BYOC-учетными записями поможет снизить затраты на межзонный трафик. В AWS суффиксы зон доступности (a, b, c) могут соответствовать разным идентификаторам физических зон в разных учетных записях. Подробности см. в руководстве AWS.

VPC под управлением клиента

По умолчанию ClickHouse Cloud создаёт выделенную VPC для лучшей изоляции в вашем BYOC-развертывании. Однако вы также можете использовать существующую VPC в своей учетной записи. Для этого требуется специальная конфигурация, и такие изменения необходимо согласовать со службой поддержки ClickHouse. Настройте существующую VPC

Выделите как минимум 3 приватные подсети в 3 разных зонах доступности для использования ClickHouse Cloud.
Убедитесь, что каждая подсеть имеет как минимум диапазон CIDR /23 (например, 10.0.0.0/23), чтобы обеспечить достаточное количество IP-адресов для развертывания ClickHouse.
Добавьте тег kubernetes.io/role/internal-elb=1 в каждую подсеть, чтобы обеспечить корректную настройку балансировщика нагрузки.

Настройте шлюзовую конечную точку S3 Если в вашей VPC ещё не настроена шлюзовая конечная точка S3, вам нужно будет создать её, чтобы обеспечить безопасное приватное взаимодействие между вашей VPC и Amazon S3. Эта конечная точка позволяет сервисам ClickHouse получать доступ к S3 без выхода в публичный интернет. Ниже приведён пример конфигурации.

Свяжитесь со службой поддержки ClickHouse Создайте тикет в поддержку, указав следующую информацию:

Идентификатор вашей учетной записи AWS
Регион AWS, в котором вы хотите развернуть сервис
Идентификаторы вашей VPC
Идентификаторы приватных подсетей, которые вы выделили для ClickHouse
Зоны доступности, в которых находятся эти подсети

Дополнительно: Настройка пиринга VPC

Чтобы создать или удалить пиринг VPC для ClickHouse BYOC, выполните следующие шаги:

Включите частный балансировщик нагрузки для ClickHouse BYOC

Обратитесь в службу поддержки ClickHouse, чтобы включить частный балансировщик нагрузки.

Создайте пиринговое соединение

Перейдите в панель мониторинга VPC в аккаунте ClickHouse BYOC.
Выберите Peering Connections.
Нажмите Create Peering Connection.
Укажите идентификатор VPC ClickHouse в качестве VPC Requester.
Укажите идентификатор целевой VPC в качестве VPC Accepter. (При необходимости выберите другой аккаунт)
Нажмите Create Peering Connection.

Примите запрос на пиринговое соединение

Перейдите в аккаунт пиринга; на странице (VPC -> Peering connections -> Actions -> Accept request) клиент может одобрить этот запрос на пиринг VPC.

Добавьте пункт назначения в таблицы маршрутизации ClickHouse VPC

В аккаунте ClickHouse BYOC,

Выберите Route Tables в панели мониторинга VPC.
Найдите идентификатор VPC ClickHouse. Отредактируйте каждую таблицу маршрутизации, связанную с приватными подсетями.
Нажмите кнопку Edit на вкладке Routes.
Нажмите Add another route.
Введите CIDR-диапазон целевой VPC в поле Destination.
Выберите “Peering Connection” и идентификатор пирингового соединения в поле Target.

Добавьте пункт назначения в таблицы маршрутизации целевой VPC

В AWS-аккаунте пиринга,

Выберите Route Tables в панели мониторинга VPC.
Найдите идентификатор целевой VPC.
Нажмите кнопку Edit на вкладке Routes.
Нажмите Add another route.
Введите CIDR-диапазон ClickHouse VPC в поле Destination.
Выберите “Peering Connection” и идентификатор пирингового соединения в поле Target.

Измените группу безопасности, чтобы разрешить доступ из VPC, подключённой через пиринг

В аккаунте ClickHouse BYOC необходимо обновить настройки Security Group, чтобы разрешить трафик из вашей VPC, подключённой через пиринг. Обратитесь в службу поддержки ClickHouse, чтобы запросить добавление входящих правил, включающих CIDR-диапазоны вашей VPC, подключённой через пиринг.

Теперь сервис ClickHouse должен быть доступен из VPC, подключённой через пиринг.Для частного доступа к ClickHouse выделяются частный балансировщик нагрузки и конечная точка, обеспечивающие безопасное подключение из VPC пользователя, подключённой через пиринг. Частная конечная точка соответствует формату публичной конечной точки с суффиксом -private. Например:

Публичная конечная точка: h5ju65kv87.mhp0y4dmph.us-west-2.aws.byoc.clickhouse.cloud
Частная конечная точка: h5ju65kv87-private.mhp0y4dmph.us-west-2.aws.byoc.clickhouse.cloud

При необходимости, после того как вы убедитесь, что пиринг работает, можно запросить удаление публичного балансировщика нагрузки для ClickHouse BYOC.

Процесс обновления

Мы регулярно обновляем программное обеспечение, включая версии базы данных ClickHouse, ClickHouse Operator, EKS и других компонентов. Хотя мы стремимся выполнять обновления без простоев (например, поэтапные обновления и перезапуски), некоторые из них, такие как смена версии ClickHouse и обновления узлов EKS, могут повлиять на работу сервиса. Клиенты могут задать окно обслуживания (например, каждый вторник в 1:00 ночи по PDT), чтобы такие обновления выполнялись только в это запланированное время.

Окна обслуживания не распространяются на исправления, связанные с безопасностью и уязвимостями. Такие обновления выполняются вне планового цикла, при этом мы заранее связываемся с клиентами, чтобы согласовать подходящее время и свести к минимуму влияние на работу сервиса.

Роли IAM для CloudFormation

Bootstrap роль IAM

Bootstrap роль IAM имеет следующие разрешения:

Операции с EC2 и VPC: Требуются для настройки VPC и кластеров EKS.
Операции с S3 (например, s3:CreateBucket): Нужны для создания бакетов для хранилища BYOC в ClickHouse.
Разрешения route53:*: Требуются внешнему DNS для настройки записей в Route 53.
Операции IAM (например, iam:CreatePolicy): Нужны контроллерам для создания дополнительных ролей (подробности см. в следующем разделе).
Операции EKS: Ограничены ресурсами, имена которых начинаются с префикса clickhouse-cloud.

Дополнительные роли IAM, создаваемые контроллером

Помимо ClickHouseManagementRole, создаваемой через CloudFormation, контроллер создаст несколько дополнительных ролей. Эти роли берут на себя приложения, работающие в EKS-кластере клиента:

Роль экспортера состояния
- Компонент ClickHouse, который передаёт в ClickHouse Cloud информацию о состоянии сервиса.
- Требует разрешения на запись в очередь SQS, принадлежащую ClickHouse Cloud.
Контроллер балансировщика нагрузки
- Стандартный контроллер AWS для балансировщика нагрузки.
- Контроллер EBS CSI для управления томами сервисов ClickHouse.
External-DNS
- Публикует конфигурацию DNS в Route 53.
Cert-Manager
- Выпускает TLS-сертификаты для доменов сервиса BYOC.
Cluster Autoscaler
- При необходимости изменяет размер группы узлов.

Роли K8s-control-plane и k8s-worker предназначены для сервисов AWS EKS. Наконец, data-plane-mgmt позволяет компоненту Control Plane в ClickHouse Cloud синхронизировать необходимые пользовательские ресурсы, такие как ClickHouseCluster и Istio Virtual Service/Gateway.

Сетевые границы

В этом разделе рассматриваются различные типы сетевого трафика в клиентский BYOC VPC и из него:

Входящий: трафик, поступающий в клиентский BYOC VPC.
Исходящий: трафик, исходящий из клиентского BYOC VPC и направляемый во внешний пункт назначения.
Публичный: сетевая конечная точка, доступная из общедоступного интернета.
Приватный: сетевая конечная точка, доступная только через приватные соединения, такие как пиринг VPC, VPC Private Link или Tailscale.

Входной шлюз Istio развёрнут за AWS NLB для приёма клиентского трафика ClickHouse. Входящий, публичный (может быть приватным) Шлюз входного трафика Istio выполняет терминацию TLS. Сертификат, выпущенный CertManager с использованием Let’s Encrypt, хранится как секрет в кластере EKS. Трафик между Istio и ClickHouse шифруется средствами AWS, поскольку они находятся в одном VPC. По умолчанию входной шлюз общедоступен с фильтрацией по списку разрешённых IP-адресов. Клиенты могут настроить пиринг VPC, чтобы сделать его приватным и отключить публичный доступ. Мы настоятельно рекомендуем настроить IP-фильтр, чтобы ограничить доступ.

Доступ для устранения неполадок

Входящий, публичный (может быть приватным) Инженерам ClickHouse Cloud требуется доступ для устранения неполадок через Tailscale. Для развертываний BYOC им предоставляется аутентификация по сертификатам по мере необходимости.

Сборщик данных биллинга

Исходящий, приватный Сборщик данных биллинга собирает данные биллинга из ClickHouse и отправляет их в S3 бакет, принадлежащий ClickHouse Cloud. Он работает как sidecar-контейнер рядом с контейнером сервера ClickHouse и периодически собирает метрики CPU и памяти. Запросы в пределах одного региона маршрутизируются через сервисные конечные точки шлюза VPC.

Оповещения

Исходящий, публичный AlertManager настроен на отправку оповещений в ClickHouse Cloud, если кластер ClickHouse клиента работает некорректно. Метрики и журналы хранятся в BYOC VPC клиента. Сейчас журналы хранятся локально в EBS. В одном из следующих обновлений они будут храниться в LogHouse — сервисе ClickHouse в пределах BYOC VPC. Для метрик используется стек Prometheus и Thanos, который хранится локально в BYOC VPC.

Состояние сервиса

Исходящий трафик State Exporter отправляет сведения о состоянии сервиса ClickHouse в очередь SQS, принадлежащую ClickHouse Cloud.

​Процесс онбординга

​Подготовьте учетную запись AWS

​Инициализация BYOC

​Шаблон CloudFormation

​Модуль Terraform

​Настройка инфраструктуры BYOC

​VPC под управлением клиента

​Дополнительно: Настройка пиринга VPC

​Процесс обновления

​Роли IAM для CloudFormation

​Bootstrap роль IAM

​Дополнительные роли IAM, создаваемые контроллером

​Сетевые границы

​Доступ для устранения неполадок

​Сборщик данных биллинга

​Оповещения

​Состояние сервиса