Ключевые понятия
- Организация ClickHouse Cloud: Сущность верхнего уровня в ClickHouse Cloud, которая управляет пользователями, биллингом и сервисами ClickHouse, не относящимися к BYOC. Пользователи внутри организации могут получать доступ как к стандартным сервисам Cloud, так и к сервисам BYOC.
- Организация ClickHouse BYOC: Отдельная организация, предназначенная для управления развертываниями BYOC. Она использует общих пользователей с организацией Cloud, но связана с одним или несколькими облачными аккаунтами, в которых развернута инфраструктура BYOC.
- Облачный аккаунт / проект: Принадлежащий клиенту аккаунт AWS или проект GCP, в котором развертывается инфраструктура BYOC. Каждый аккаунт или проект может размещать развертывания BYOC в одном или нескольких регионах. Для изоляции рекомендуется выделять отдельный аккаунт или проект для каждого развертывания BYOC.
- Инфраструктура BYOC: Набор облачных ресурсов, развернутых в определенном регионе облачного аккаунта, включая VPC, кластер Kubernetes (EKS/GKE), бакеты хранилища, роли IAM и вспомогательные сервисы. Один облачный аккаунт может содержать несколько инфраструктур BYOC в разных регионах.
- Сервис ClickHouse: Отдельный кластер ClickHouse, работающий в инфраструктуре BYOC. В одной и той же инфраструктуре BYOC может работать несколько сервисов.
Совмещать аккаунты AWS и проекты GCP в рамках одной организации можно только для клиентов, которые не подключены через маркетплейс облачного провайдера.
Глоссарий
- ClickHouse VPC: VPC, принадлежащая ClickHouse Cloud.
- Customer BYOC VPC: VPC в облачной учетной записи клиента, выделенная для развертывания ClickHouse Cloud BYOC, которая подготавливается и управляется ClickHouse Cloud.
- Customer VPC: Другие VPC в облачной учетной записи клиента, используемые для приложений, которым необходимо подключаться к Customer BYOC VPC.
Техническая архитектура
Основные облачные ресурсы, которые ClickHouse Cloud развернет в вашем аккаунте:
- VPC: Virtual Private Cloud, выделенная для вашего развертывания ClickHouse. Она может управляться как ClickHouse, так и вами, клиентом, и обычно соединяется с VPC ваших приложений через peering.
- Роли IAM и политики: Роли и разрешения, необходимые для Kubernetes, сервисов ClickHouse и стека мониторинга. Они могут быть подготовлены ClickHouse или предоставлены клиентом.
- Бакеты хранилища: Используются для хранения частей данных, резервных копий и (при необходимости) долгосрочных архивов метрик и логов.
- Кластер Kubernetes: Это может быть Amazon EKS, Google GKE или Azure AKS — в зависимости от вашего облачного провайдера; в нем размещаются серверы ClickHouse и вспомогательные сервисы, показанные на схеме архитектуры.
Хранение данных
Взаимодействие с плоскостью управления
Основные требования для BYOC
Межаккаунтные IAM-разрешения
- Подготавливать инфраструктуру: создавать и настраивать VPC, подсети, группы безопасности и другие сетевые компоненты
- Управлять кластерами Kubernetes: развертывать и поддерживать кластеры EKS/GKE, группы узлов и компоненты кластера
- Создавать ресурсы хранилища: выделять S3 бакеты или эквивалентное объектное хранилище для данных и резервных копий
- Управлять ролями IAM: создавать и настраивать роли IAM для сервисных учетных записей Kubernetes и вспомогательных сервисов
- Обеспечивать работу вспомогательных сервисов: развертывать и управлять стеками мониторинга, контроллерами входного шлюза и другими компонентами инфраструктуры
Подключение к частной сети Tailscale
- Непрерывный мониторинг: инженеры ClickHouse могут получать доступ к стеку мониторинга Prometheus, развернутому в вашем BYOC VPC, чтобы отслеживать состояние и производительность сервиса
- Проактивное обслуживание: инженеры могут выполнять плановое обслуживание, обновления и устранение неполадок
- Экстренная поддержка: в случае проблем с сервисом инженеры могут быстро получить доступ к вашему окружению, чтобы диагностировать и устранить проблему
- Управление инфраструктурой: управляющие сервисы могут координировать работу с вашей инфраструктурой BYOC для выполнения автоматизированных операций
- Согласуется и аудитируется: инженеры должны запрашивать доступ через внутреннюю систему согласования
- Ограничен по времени: срок действия доступа автоматически истекает через заданный период
- Ограничен: инженеры могут получать доступ только к системным таблицам и компонентам инфраструктуры, но никогда — к данным клиентов
- Зашифрован: весь обмен данными защищен сквозным шифрованием
Почему эти требования важны
- Поддерживать надежность: Заблаговременно отслеживать состояние развертывания и предотвращать проблемы
- Обеспечивать безопасность: Использовать доступ с минимально необходимыми привилегиями и полной возможностью аудита
- Упрощать эксплуатацию: Автоматизировать управление инфраструктурой, сохраняя за вами контроль
- Предоставлять поддержку: Быстро реагировать на проблемы и устранять их при возникновении
- Убедитесь, что диапазоны CIDR сети для вашего BYOC VPC не пересекаются с существующими VPC, с которыми вы планируете настроить пиринг VPC.
- Четко помечайте свои ресурсы, чтобы упростить управление и поддержку.
- Заранее предусмотрите достаточный размер подсетей и их распределение по зонам доступности для обеспечения высокой доступности.
- Ознакомьтесь с руководством по безопасности, чтобы понять зоны общей ответственности и лучшие практики при работе ClickHouse Cloud в вашей среде.
- Ознакомьтесь с полным руководством по онбордингу, где приведены пошаговые инструкции по первоначальной настройке учетной записи, конфигурации VPC, сетевому подключению (например, пирингу VPC) и делегированию роли IAM.