Журнал изменений Cloud

В дополнение к этому журналу изменений ClickHouse Cloud, вы можете ознакомиться с Совместимостью Cloud.

16 мая 2025 г.

• Введен Dashboard использования ресурсов, который показывает ресурсы, используемые сервисом в ClickHouse Cloud. Следующие метрики собираются из системных таблиц и отображаются на этом дашборде:
  • Память и CPU: Графики для CGroupMemoryTotal (Выделенная память), CGroupMaxCPU (выделенный CPU), MemoryResident (используемая память) и ProfileEvent_OSCPUVirtualTimeMicroseconds (используемый CPU)
  • Передача данных: Графики, показывающие входящие и исходящие данные из ClickHouse Cloud. Узнайте больше здесь.
• Мы рады сообщить о запуске нашего нового интеграционного решения ClickHouse Cloud с Prometheus/Grafana, разработанного для упрощения мониторинга ваших сервисов ClickHouse Cloud. Это интеграционное решение использует наш совместимый с Prometheus API-эндпоинт для бесшовной интеграции метрик ClickHouse в вашу существующую настройку Prometheus и Grafana. Оно включает преднастроенный дашборд, который дает вам возможность в реальном времени отслеживать состояние и производительность ваших сервисов. Ознакомьтесь с блогом для получения дополнительной информации.

18 апреля 2025 г.

• Введена новая роль уровня организации Участник и две новые роли уровня сервиса: Администратор сервиса и Только для чтения сервиса. Участник — это роль уровня организации, которая по умолчанию назначается пользователям SAML SSO и предоставляет только возможности для входа и обновления профиля. Роли Администратор сервиса и Только для чтения сервиса для одного или нескольких сервисов могут быть назначены пользователям с ролями Участник, Разработчик или Администратор биллинга. Для получения дополнительной информации см. "Контроль доступа в ClickHouse Cloud"
• ClickHouse Cloud теперь предлагает услуги HIPAA и PCI в следующих регионах для клиентов Enterprise: AWS eu-central-1, AWS eu-west-2, AWS us-east-2.
• Введены уведомления для пользователей ClickPipes. Эта функция отправляет автоматические уведомления о сбоях ClickPipes по электронной почте, через UI ClickHouse Cloud и Slack. Уведомления по электронной почте и UI включены по умолчанию и могут быть настроены для каждой трубы. Для Postgres CDC ClickPipes уведомления также охватывают порог репликационного слота (настраиваемый на вкладке Настройки), конкретные типы ошибок и шаги для самостоятельной разблокировки.
• Частный предварительный просмотр MySQL CDC теперь открыт. Это позволяет клиентам реплицировать базы данных MySQL в ClickHouse Cloud за несколько кликов, обеспечивая быструю аналитику и исключая необходимость в сторонних инструментах ETL. Коннектор поддерживает как непрерывную репликацию, так и однократные миграции, независимо от того, находится ли MySQL в облаке (RDS, Aurora, Cloud SQL, Azure и т.д.) или локально. Вы можете подписаться на частный предварительный просмотр, перейдя по этой ссылке.
• Введен AWS PrivateLink для ClickPipes. Вы можете использовать AWS PrivateLink для установки безопасного подключения между VPC, AWS-сервисами, вашими локальными системами и ClickHouse Cloud. Это можно сделать без экспонирования трафика в интернет, перемещая данные из таких источников, как Postgres, MySQL и MSK на AWS. Также поддерживается кросс-регионный доступ через эндпоинты VPC-сервиса. Настройка подключения PrivateLink теперь осуществляется полностью самостоятельно через ClickPipes.

4 апреля 2025 г.

• Уведомления Slack для ClickHouse Cloud: ClickHouse Cloud теперь поддерживает уведомления Slack для событий биллинга, масштабирования и ClickPipes, в дополнение к уведомлениям в консоли и по электронной почте. Эти уведомления отправляются через приложение Slack ClickHouse Cloud. Администраторы организаций могут настраивать эти уведомления через центр уведомлений, указывая каналы Slack, на которые уведомления должны быть отправлены.
• Пользователи, работающие с сервисами Production и Development, теперь увидят цену за использование ClickPipes и передачи данных в своих счетах. Пожалуйста, обратитесь к анонсу от января 2025 года для получения дополнительной информации.

21 марта 2025 г.

• Кросс-регионное соединение Private Link на AWS теперь в бета-версии. Пожалуйста, смотрите документацию ClickHouse Cloud по частному соединению docs для информации о том, как настроить и список поддерживаемых регионов.
• Максимальный размер реплики для сервисов на AWS теперь установлен на 236 GiB RAM. Это позволяет эффективно использовать ресурсы, обеспечивая при этом наличие ресурсов для фоновых процессов.

7 марта 2025 г.

• Новый API-эндпоинт UsageCost: Спецификация API теперь поддерживает новый эндпоинт для получения информации об использовании. Это эндпоинт уровня организации, и стоимость использования можно запросить за максимум 31 день. Метрики, которые могут быть получены, включают Хранение, Вычисление, Передачу данных и ClickPipes. Пожалуйста, смотрите документацию для подробностей.
• Выпуск провайдера Terraform v2.1.0 поддерживает включение MySQL-эндпоинта.

21 февраля 2025 г.

ClickHouse Bring Your Own Cloud (BYOC) для AWS теперь доступен для общего пользования!

В этой модели развертывания компоненты плоскости данных (вычисление, хранилище, резервные копии, логи, метрики) работают в VPC клиента, в то время как контрольная плоскость (веб-доступ, API и биллинг) остается внутри VPC ClickHouse. Эта настройка идеально подходит для больших нагрузок, которые должны соответствовать строгим требованиям к проживанию данных, обеспечивая, чтобы все данные оставались в безопасной среде клиента.

• Для получения дополнительной информации вы можете обратиться к документации для BYOC или прочитать наш анонс в блоге.
• Связаться с нами для запроса доступа.

Коннектор Postgres CDC для ClickPipes

Коннектор Postgres CDC для ClickPipes теперь доступен в открытом бета-тестировании. Эта функция позволяет пользователям бесшовно реплицировать свои базы данных Postgres в ClickHouse Cloud.

• Чтобы начать, обратитесь к документации по коннектору Postgres CDC ClickPipes.
• Для получения дополнительной информации о случаях использования клиентами и функциях, пожалуйста, обратитесь к целевой странице и блогу о запуске.

Соответствие PCI для ClickHouse Cloud на AWS

ClickHouse Cloud теперь поддерживает услуги, соответствующие PCI для клиентов Enterprise tier в регионах us-east-1 и us-west-2. Пользователи, желающие запустить сервис в среде, соответствующей PCI, могут обратиться в поддержку за помощью.

Шифрование данных на лету и управление ключами шифрования клиентом на Google Cloud Platform

Поддержка шифрования данных на лету (TDE) и управляемых клиентом ключей шифрования (CMEK) теперь доступна для ClickHouse Cloud на Google Cloud Platform (GCP).

• Пожалуйста, обратитесь к документации этих функций для получения дополнительной информации.

Доступность AWS на Ближнем Востоке (ОАЭ)

Добавлена поддержка нового региона для ClickHouse Cloud, который теперь доступен в регионе AWS Middle East (UAE) me-central-1.

Ограничения ClickHouse Cloud

Чтобы способствовать лучшим практикам и обеспечить стабильное использование ClickHouse Cloud, мы вводим ограничения по количеству таблиц, баз данных, партиций и частей в использовании.

• Обратитесь к разделу лимиты использования документации для подробностей.
• Если ваш сервис уже превышает эти пределы, мы разрешим увеличение на 10%. Пожалуйста, свяжитесь с поддержкой, если у вас есть какие-либо вопросы.

27 января 2025 г.

Изменения в уровнях ClickHouse Cloud

Мы стремимся адаптировать наши продукты к постоянно меняющимся требованиям наших клиентов. С момента его введения в GA за последние два года ClickHouse Cloud значительно эволюционировал, и мы получили бесценный опыт в том, как наши клиенты используют наши облачные решения.

Мы вводим новые функции для оптимизации размерности и стоимости услуг ClickHouse Cloud для ваших рабочих нагрузок. К ним относятся разделение вычислений, виды машин высокой производительности и услуги с одной репликой. Мы также развиваем автоматическое масштабирование и управляемые обновления, чтобы они выполнялись более бесшовно и реактивно.

Мы добавляем новый уровень Enterprise, чтобы удовлетворить потребности самых требовательных клиентов и рабочих нагрузок, с акцентом на специфику безопасности и соблюдения требований в отрасли, еще больше контроля над подлежащим оборудованием и обновлениями, а также расширенные функции восстановления после сбоев.

Чтобы поддержать эти изменения, мы реорганизуем наши текущие уровни Разработка и Производство, чтобы они более тесно соответствовали тому, как наша развивающаяся клиентская база использует наши предложения. Мы вводим Базовый уровень, ориентированный на пользователей, которые тестируют новые идеи и проекты, и Масштабируемый уровень, соответствующий пользователям, работающим с производственными нагрузками и данными на большом масштабе.

Вы можете прочитать об этих и других функциональных изменениях в этом блоге. Существующим клиентам необходимо принять меры, чтобы выбрать новый план. Коммуникация с клиентами была отправлена по электронной почте администраторам организаций, и следующий Часто задаваемые вопросы охватывает основные изменения и сроки.

Склады: Разделение вычислений (GA)

Разделение вычислений (также известное как "Склады") теперь доступно; пожалуйста, смотрите блог для получения дополнительной информации и документации.

Услуги с одной репликой

Мы вводим концепцию "услуги с одной репликой", как в качестве отдельного предложения, так и в рамках складов. В качестве отдельного предложения услуги с одной репликой имеют ограничения по размерам и предназначены для использования с небольшими тестовыми нагрузками. В рамках складов услуги с одной репликой могут быть развернуты большими размерами и использоваться для нагрузок, не требующих высокой доступности на масштабе, таких как перезапускаемые задания ETL.

Улучшения вертикального авто-масштабирования

Мы вводим новый механизм вертикального масштабирования для вычислительных реплик, который мы называем "Сделать прежде, чем сломать" (MBB). Этот подход добавляет одну или несколько новых реплик перед удалением старых, предотвращая потерю мощности во время операций масштабирования. Устраняя разрыв между удалением существующих реплик и добавлением новых, MBB создает более безшовный и менее разрушительный процесс масштабирования. Это особенно полезно в сценариях масштабирования, когда высокая загрузка ресурсов вызывает необходимость в дополнительной мощности, поскольку преждевременное удаление реплик только усугубит ограничение ресурсов.

Горизонтальное масштабирование (GA)

Горизонтальное масштабирование теперь доступно. Пользователи могут добавлять дополнительные реплики для масштабирования своего сервиса через API и облачную консоль. Пожалуйста, смотрите документацию для получения информации.

Настраиваемые резервные копии

Теперь мы поддерживаем возможность для клиентов экспортировать резервные копии в свой собственный облачный аккаунт; для получения дополнительной информации, пожалуйста, смотрите документацию.

Улучшения управляемых обновлений

Безопасные управляемые обновления предоставляют значительную ценность нашим пользователям, позволяя им оставаться в курсе состояния базы данных, постепенно добавляя новые функции. В этом обновлении мы применили подход "сделать прежде, чем сломать" (или MBB) к обновлениям, далее уменьшая влияние на работающие нагрузки.

Поддержка HIPAA

Теперь мы поддерживаем HIPAA в соответствующих регионах, включая AWS us-east-1, us-west-2 и GCP us-central1, us-east1. Клиенты, желающие начать работу, должны подписать Соглашение делового партнера (BAA) и развернуть в соответствующей версии региона. Для получения дополнительной информации о HIPAA, пожалуйста, смотрите документацию.

Запланированные обновления

Пользователи могут запланировать обновления для своих сервисов. Эта функция поддерживается только для услуг уровня Enterprise. Для получения дополнительной информации о Запланированных обновлениях, пожалуйста, смотрите документацию.

Поддержка клиентов для сложных типов

Клиенты Golang, Python и NodeJS добавили поддержку типов Dynamic, Variant и JSON.

Поддержка DBT для обновляемых материализованных представлений

DBT теперь поддерживает обновляемые материализованные представления в версии 1.8.7.

Поддержка токенов JWT

Добавлена поддержка аутентификации, основанной на JWT, в JDBC-драйвере v2, clickhouse-java, Python и NodeJS клиентах.

JDBC / Java будет в 0.8.0 при выпуске - ETA в ожидании.

Улучшения интеграции Prometheus

Мы добавили несколько улучшений для интеграции Prometheus:

• Эндпоинт уровня организации. Мы внедрили улучшение в нашу интеграцию Prometheus для ClickHouse Cloud. В дополнение к метрикам на уровне сервиса, API теперь включает эндпоинт для метрик уровня организации. Этот новый эндпоинт автоматически собирает метрики для всех сервисов в вашей организации, упрощая процесс экспорта метрик в ваш сборщик Prometheus. Эти метрики могут быть интегрированы с инструментами визуализации, такими как Grafana и Datadog, для более полного представления о производительности вашей организации.

  Эта функция теперь доступна для всех пользователей. Вы можете найти дополнительные детали здесь.

• Отфильтрованные метрики. Мы добавили поддержку для возврата отфильтрованного списка метрик в нашей интеграции Prometheus для ClickHouse Cloud. Эта функция помогает уменьшить размер полезной нагрузки ответа, позволяя вам сосредоточиться на метриках, критически важных для мониторинга состояния вашего сервиса.

  Эта функциональность доступна через необязательный параметр запроса в API, что упрощает оптимизацию сбора данных и интеграцию с такими инструментами, как Grafana и Datadog.

  Функция отфильтрованных метрик теперь доступна для всех пользователей. Вы можете найти дополнительные детали здесь.

20 декабря 2024 г.

Привязка организации к подписке на Marketplace

Теперь вы можете привязать вашу новую подписку на marketplace к существующей организации ClickHouse Cloud. После завершения подписки на marketplace и перенаправления на ClickHouse Cloud, вы можете соединить существующую организацию, созданную ранее, с новой подпиской на marketplace. С этого момента ваши ресурсы в организации будут выставляться по счету через marketplace.

Принудительное истечение срока действия ключа OpenAPI

Теперь возможно ограничить параметры истечения срока действия ключей API, чтобы вы не создавали неистекшие ключи OpenAPI. Пожалуйста, свяжитесь с командой поддержки ClickHouse Cloud, чтобы включить эти ограничения для вашей организации.

Пользовательские адреса электронной почты для уведомлений

Администраторы организаций теперь могут добавлять больше адресов электронной почты к конкретному уведомлению в качестве дополнительных получателей. Это полезно, если вы хотите отправлять уведомления на псевдоним или другим пользователям в вашей организации, которые могут не быть пользователями ClickHouse Cloud. Чтобы настроить это, перейдите в настройки уведомлений в облачной консоли и отредактируйте адреса электронной почты, которые вы хотите получить уведомления по электронной почте.

6 декабря 2024 г.

BYOC (Бета)

Bring Your Own Cloud для AWS теперь доступен в бета-версии. Эта модель развертывания позволяет вам развертывать и запускать ClickHouse Cloud в вашем собственном аккаунте AWS. Мы поддерживаем развертывания более чем в 11 регионах AWS, и в ближайшее время будут добавлены новые. Пожалуйста, свяжитесь с поддержкой для получения доступа. Обратите внимание, что это развертывание предназначено для развертывания в большом масштабе.

Коннектор Postgres Change-Data-Capture (CDC) в ClickPipes (общественный бета-тест)

Эта готовая к интеграции возможность позволяет клиентам реплицировать свои базы данных Postgres в ClickHouse Cloud всего за несколько кликов и использовать ClickHouse для молниеносной аналитики. Вы можете использовать этот коннектор как для непрерывной репликации, так и для однократных миграций из Postgres.

Дашборды (Бета)

На этой неделе мы рады сообщить о запуске бета-версии Дашбордов в ClickHouse Cloud. С помощью Дашбордов пользователи могут превращать сохраненные запросы в визуализации, организовывать визуализации на дашбордах и взаимодействовать с дашбордами, используя параметры запросов. Чтобы начать, обратитесь к документации по дашбордам.

Эндпоинты API запросов (GA)

Мы рады сообщить о выходе в GA эндпоинтов API запросов в ClickHouse Cloud. Эндпоинты API запросов позволяют вам создать RESTful API эндпоинты для сохраненных запросов всего за несколько кликов и начать получать данные в вашем приложении без необходимости использовать языковые клиенты или сложность аутентификации. С момента первоначального запуска мы выпустили множество улучшений, включая:

• Уменьшение задержки эндпоинта, особенно для холодных стартов
• Увеличение контроля RBAC для эндпоинта
• Настраиваемые разрешенные домены CORS
• Потоковая передача результатов
• Поддержка всех форматов вывода, совместимых с ClickHouse

В дополнение к этим улучшениям мы рады сообщить о общем API эндпоинтах запросов, которые, используя нашу существующую инфраструктуру, позволяют вам выполнять произвольные SQL запросы к вашему ClickHouse Cloud сервису(ам). Общие эндпоинты могут быть включены и сконфигурированы на странице настроек сервиса.

Чтобы начать, ознакомьтесь с документацией по эндпоинтам API запросов.

Поддержка JSON (Бета)

Мы запускаем бета-версию нашей поддержки JSON в ClickHouse Cloud. Чтобы начать, пожалуйста, свяжитесь с поддержкой для активации вашего облачного сервиса.

Векторный поиск с использованием индексов векторного сходства (Ранний доступ)

Мы объявляем о доступности индексов векторного сходства для приближенного векторного поиска в режиме раннего доступа!

ClickHouse уже предлагает надежную поддержку векторных случаев использования с широким спектром функций расстояния и возможностью выполнять линейные сканирования. Кроме того, совсем недавно мы добавили экспериментальный приближенный векторный поиск, работающий на базе библиотеки usearch и алгоритма поиска ближайших соседей (HNSW).

Чтобы начать, пожалуйста, запишитесь в лист ожидания раннего доступа.

Пользователи ClickHouse-Connect (Python) и ClickHouse-Kafka-Connect

Уведомления по электронной почте были отправлены клиентам, которые испытывали проблемы, когда клиенты могли столкнуться с исключением MEMORY_LIMIT_EXCEEDED.

Пожалуйста, обновитесь до:

• Kafka-Connect: > 1.2.5
• ClickHouse-Connect (Java): > 0.8.6

ClickPipes теперь поддерживает кросс-VPC доступ к ресурсам в AWS

Теперь вы можете предоставить однонаправленный доступ к конкретному источнику данных, такому как AWS MSK. С кросс-VPC доступом к ресурсам с использованием AWS PrivateLink и VPC Lattice вы можете делиться отдельными ресурсами между VPC и аккаунтами или даже из локальных сетей, не нарушая конфиденциальность и безопасность при передаче данных по общедоступной сети. Чтобы начать и настроить общий доступ к ресурсам, вы можете ознакомиться с постом-объявлением.

ClickPipes теперь поддерживает IAM для AWS MSK

Теперь вы можете использовать аутентификацию IAM для подключения к брокеру MSK с помощью ClickPipes AWS MSK. Чтобы начать, ознакомьтесь с нашей документацией.

Максимальный размер реплики для новых сервисов на AWS

С этого момента любые новые сервисы, создаваемые на AWS, будут иметь максимальный доступный размер реплики 236 GiB.

22 ноября 2024 г.

Встроенный расширенный дашборд мониторинга для ClickHouse Cloud

Ранее расширенный дашборд мониторинга, который позволяет вам отслеживать метрики сервера ClickHouse и использование аппаратных ресурсов, был доступен только в открытом исходном коде ClickHouse. Мы рады сообщить, что эта функция теперь доступна в консоли ClickHouse Cloud!

Этот дашборд позволяет вам просматривать запросы на основе таблицы system.dashboards в одном интерфейсе. Посетите страницу Мониторинг > Состояние сервиса, чтобы начать использовать расширенный дашборд мониторинга уже сегодня.

AI-автозаполнение SQL

Мы значительно улучшили автозаполнение, позволяя вам получать встроенные дополнения SQL по мере написания запросов с новым AI Copilot! Эта функция может быть включена, переключив параметр "Включить встроенное дополнение к коду" для любого сервиса ClickHouse Cloud.

Роль "Биллинг"

Теперь вы можете назначать пользователям в вашей организации новую роль Биллинг, которая позволяет им просматривать и управлять информацией о биллинге без предоставления им возможности настраивать или управлять сервисами. Просто пригласите нового пользователя или отредактируйте роль существующего пользователя, чтобы назначить роль Биллинг.

8 ноября 2024 г.

Уведомления для клиентов в ClickHouse Cloud

ClickHouse Cloud теперь предоставляет уведомления в консоли и по электронной почте для нескольких событий, связанных с биллингом и масштабированием. Клиенты могут настраивать эти уведомления через центр уведомлений консоли, чтобы они отображались только в UI, получали email-уведомления или и то, и другое. Вы можете настроить категорию и степень серьезности уведомлений на уровне сервиса.

В будущем мы добавим уведомления для других событий, а также дополнительные способы получения уведомлений.

Пожалуйста, смотрите документацию ClickHouse, чтобы узнать больше о том, как включить уведомления для вашего сервиса.

4 октября 2024 г.

ClickHouse Cloud теперь предлагает услуги, готовые к HIPAA, в бета-версии для GCP

Клиенты, ищущие повышенную безопасность для защищенной информации о здоровье (PHI), теперь могут начать работу с ClickHouse Cloud на Google Cloud Platform (GCP). ClickHouse внедрил административные, физические и технические меры предосторожности, предписанные Правилом безопасности HIPAA и теперь имеет настраиваемые параметры безопасности, которые могут быть реализованы в зависимости от вашего конкретного случая использования и рабочей нагрузки. Для получения дополнительной информации о доступных настройках безопасности, пожалуйста, просмотрите нашу Модель совместной ответственности по безопасности.

Услуги доступны в GCP us-central-1 для клиентов с типом услуги Dedicated и требуют Соглашения делового партнера (BAA). Свяжитесь с отделом продаж или поддержкой, чтобы запросить доступ к этой функции или присоединиться к списку ожидания для дополнительных регионов GCP, AWS и Azure.

Разделение вычислений теперь доступно в частном предварительном просмотре для GCP и Azure

Мы недавно объявили о частном предварительном просмотре для разделения вычислений для AWS. Мы рады сообщить, что это теперь доступно для GCP и Azure.

Разделение вычислений позволяет вам обозначать определенные службы как службы с чтением-записью или только для чтения, позволяя вам создавать оптимальную конфигурацию вычислений для вашего приложения для оптимизации затрат и производительности. Пожалуйста, прочитайте документацию для получения дополнительной информации.

Коды восстановления MFA для самостоятельного получения

Клиенты, использующие многофакторную аутентификацию, теперь могут получать коды восстановления, которые могут быть использованы в случае потери телефона или случайного удаления токена. Клиенты, присоединяющиеся к MFA в первый раз, получат код при настройке. Клиенты с существующей MFA могут получить код восстановления, удалив свой существующий токен MFA и добавив новый.

Обновление ClickPipes: Пользовательские сертификаты, сведения о задержке и многое другое!

Мы рады поделиться последними обновлениями для ClickPipes, самого простого способа загрузки данных в ваш сервис ClickHouse! Эти новые функции предназначены для улучшения вашего контроля над приемом данных и предоставления большей видимости в метрики производительности.

Пользовательские сертификаты аутентификации для Kafka

ClickPipes для Kafka теперь поддерживает пользовательские сертификаты аутентификации для Kafka брокеров с использованием SASL и публичного SSL/TLS. Вы можете легко загрузить ваш собственный сертификат в разделе SSL Certificate во время настройки ClickPipe, обеспечивая более безопасное соединение с Kafka.

Введение в метрики задержки для Kafka и Kinesis

Видимость производительности имеет решающее значение. ClickPipes теперь включает график задержки, который дает вам представление о времени между производством сообщения (будь то из Kafka Topic или Kinesis Stream) и его приемом в ClickHouse Cloud. С этой новой метрикой вы можете более внимательно следить за производительностью ваших конвейеров данных и оптимизировать их соответствующим образом.

Управление масштабированием для Kafka и Kinesis (Private Beta)

Высокая пропускная способность может требовать дополнительных ресурсов, чтобы соответствовать вашим требованиям к объему данных и задержке. Мы вводим горизонтальное масштабирование для ClickPipes, доступное напрямую через нашу облачную консоль. Эта функция в настоящее время находится в закрытом бета-тестировании, позволяя вам более эффективно масштабировать ресурсы в зависимости от ваших требований. Пожалуйста, свяжитесь с поддержкой, чтобы присоединиться к бета-тестированию.

Прием сырых сообщений для Kafka и Kinesis

Теперь возможно загружать целое сообщение Kafka или Kinesis без его разбора. ClickPipes теперь предлагает поддержку виртуальной колонки _raw_message виртуальная колонка, позволяя пользователям сопоставлять полное сообщение в одной колонке String. Это дает вам гибкость работать с сырыми данными по мере необходимости.

29 августа 2024

Новая версия Terraform провайдера - v1.0.0

Terraform позволяет вам программно управлять вашими сервисами ClickHouse Cloud, а затем хранить вашу конфигурацию как код. Наш Terraform провайдер имеет почти 200,000 загрузок и теперь официально v1.0.0! Эта новая версия включает в себя улучшения, такие как лучшая логика повторных попыток и новый ресурс для присоединения частных конечных точек к вашему сервису ClickHouse Cloud. Вы можете скачать Terraform провайдер здесь и просмотреть полный журнал изменений здесь.

Отчет SOC 2 Type II за 2024 год и обновленный сертификат ISO 27001

Мы гордимся тем, что можем объявить о доступности нашего отчета SOC 2 Type II за 2024 год и обновленного сертификата ISO 27001, оба из которых включают наши недавно запущенные услуги на Azure, а также продолжающееся покрытие услуг в AWS и GCP.

Наш SOC 2 Type II демонстрирует нашу постоянную приверженность достижению безопасности, доступности, целостности обработки и конфиденциальности услуг, которые мы предоставляем пользователям ClickHouse. Для получения дополнительной информации вы можете ознакомиться с SOC 2 - SOC для сервисных организаций: Критерии доверительных услуг, выданным Американским институтом зарегистрированных аудиторов (AICPA), и Что такое ISO/IEC 27001 от Международной организации по стандартизации (ISO).

Пожалуйста, ознакомьтесь также с нашим Центром доверия для документов и отчетов по безопасности и соблюдению норм.

15 августа 2024

Разделение вычислений теперь в закрытом предварительном просмотре для AWS

Для существующих сервисов ClickHouse Cloud реплики обрабатывают как чтения, так и записи, и нет возможности настроить конкретную реплику для обработки только одного типа операций. Мы представляем новую функцию под названием Разделение вычислений, которая позволяет вам обозначать конкретные сервисы как сервисы с чтением и записью или только для чтения, позволяя вам проектировать оптимальную конфигурацию вычислений для вашего приложения, чтобы оптимизировать затраты и производительность.

Наша новая функция разделения вычислений позволяет вам создавать несколько групп вычислительных узлов, каждая из которых имеет свою собственную конечную точку, использующие одну и ту же папку объектного хранилища и, следовательно, одни и те же таблицы, представления и т.д. Узнайте больше о Разделении вычислений здесь. Пожалуйста, свяжитесь с поддержкой, если вы хотите получить доступ к этой функции в закрытом предварительном просмотре.

ClickPipes для S3 и GCS теперь в GA, поддержка непрерывного режима

ClickPipes - это самый простой способ загрузки данных в ClickHouse Cloud. Мы рады сообщить, что ClickPipes для S3 и GCS теперь в общем доступе. ClickPipes поддерживает как разовую пакетную загрузку, так и "непрерывный режим". Задача загрузки будет загружать все файлы, соответствующие шаблону, из определенного удаленного ведра в таблицу назначения ClickHouse. В "непрерывном режиме" задача ClickPipes будет работать постоянно, загружая соответствующие файлы, которые добавляются в ведро удаленного объектного хранения по мере их поступления. Это позволит пользователям превратить любое ведро объектного хранилища в полноценную промежуточную зону для загрузки данных в ClickHouse Cloud. Узнайте больше о ClickPipes в нашей документации.

18 июля 2024

Конечная точка Prometheus для метрик теперь в общем доступе

В нашем последнем облачном журнале изменений мы анонсировали закрытый предварительный просмотр для экспорта Prometheus метрик из ClickHouse Cloud. Эта функция позволяет вам использовать ClickHouse Cloud API, чтобы получить ваши метрики в таких инструментах, как Grafana и Datadog для визуализации. Мы рады сообщить, что эта функция теперь в общем доступе. Пожалуйста, ознакомьтесь с нашей документацией, чтобы узнать больше об этой функции.

Инспектор таблиц в облачной консоли

ClickHouse имеет команды, такие как DESCRIBE, которые позволяют вам исследовать вашу таблицу для изучения схемы. Эти команды выводят данные в консоль, но часто их неудобно использовать, так как вам нужно объединить несколько запросов, чтобы получить все соответствующие данные о ваших таблицах и колонках.

Мы недавно запустили Инспектор таблиц в облачной консоли, который позволяет вам получать важную информацию о таблицах и колонках в пользовательском интерфейсе, без необходимости писать SQL. Вы можете протестировать Инспектор таблиц для ваших сервисов, проверив облачную консоль. Он предоставляет информацию о вашей схеме, хранении, сжатии и многом другом в одном едином интерфейсе.

Новый Java клиент API

Наш Java клиент является одним из самых популярных клиентов, который пользователи используют для подключения к ClickHouse. Мы хотели сделать его еще проще и интуитивно понятнее в использовании, включая переработанный API и различные оптимизации производительности. Эти изменения значительно упростят подключение к ClickHouse из ваших Java приложений. Вы можете прочитать больше о том, как использовать обновленный Java клиент в этом блог посте.

Новый анализатор активирован по умолчанию

В последние пару лет мы работали над новым анализатором для анализа и оптимизации запросов. Этот анализатор улучшает производительность запросов и позволит нам произвести дальнейшие оптимизации, включая более быстрые и эффективные JOINы. Ранее требовалось, чтобы новые пользователи активировали эту функцию с помощью настройки allow_experimental_analyzer. Этот улучшенный анализатор теперь доступен по умолчанию на новых сервисах ClickHouse Cloud.

Оставайтесь на связи для получения дополнительных улучшений анализатора, так как у нас запланировано еще много оптимизаций!

28 июня 2024

ClickHouse Cloud для Microsoft Azure теперь в общем доступе!

Мы впервые объявили о поддержке Microsoft Azure в бета-версии в прошлый май. В этом последнем облачном релизе мы рады сообщить, что наша поддержка Azure переходит из бета-версии в общий доступ. ClickHouse Cloud теперь доступен на всех трех основных облачных платформах: AWS, Google Cloud Platform и теперь Microsoft Azure.

Этот релиз также включает поддержку подписок через Microsoft Azure Marketplace. Услуга будет изначально поддерживаться в следующих регионах:

• Соединенные Штаты: Запад США 3 (Аризона)
• Соединенные Штаты: Восток США 2 (Виргиния)
• Европа: Германия Западный Центр (Франкфурт)

Если вы хотите, чтобы какой-либо конкретный регион был поддержан, пожалуйста, свяжитесь с нами.

Сведения о журнале запросов

Наш новый интерфейс Query Insights в облачной консоли делает встроенный журнал запросов ClickHouse гораздо удобнее для использования. Таблица system.query_log ClickHouse является ключевым источником информации для оптимизации запросов, отладки и мониторинга общего состояния и производительности кластера. Единственное замечание: с более чем 70 полями и несколькими записями на запрос интерпретация журнала запросов представляет собой серьезную кривую обучения. Эта начальная версия аналитики запросов предоставляет основу для будущей работы по упрощению отладки запросов и паттернов оптимизации. Мы будем рады услышать ваши отзывы, так как мы продолжаем итерации над этой функцией, так что, пожалуйста, дайте нам знать — ваше мнение будет очень ценным!

Конечная точка Prometheus для метрик (закрытый предварительный просмотр)

Возможно, одна из наших самых запрашиваемых функций: теперь вы можете экспортировать Prometheus метрики из ClickHouse Cloud в Grafana и Datadog для визуализации. Prometheus предоставляет решение с открытым исходным кодом для мониторинга ClickHouse и настройки пользовательских уведомлений. Доступ к метрикам Prometheus для вашего ClickHouse Cloud сервиса доступен через ClickHouse Cloud API. Эта функция в настоящее время находится в закрытом предварительном просмотре. Пожалуйста, свяжитесь с командой поддержки, чтобы включить эту функцию для вашей организации.

Другие функции:

• Настраиваемые резервные копии для настройки пользовательских политик резервного копирования, таких как частота, сохранение и расписание, теперь в общем доступе.

13 июня 2024

Настраиваемые офсеты для Kafka ClickPipes Connector (Бета)

До недавнего времени, каждый раз, когда вы настраивали новый Kafka Connector для ClickPipes, он всегда начинал потреблять данные с самого начала темы Kafka. В этой ситуации это может быть недостаточно гибким для специфических случаев использования, когда вам нужно переработать исторические данные, отслеживать новые входящие данные или возобновить с конкретной точки.

ClickPipes для Kafka добавил новую функцию, которая повышает гибкость и контроль над потреблением данных из тем Kafka. Теперь вы можете настроить офсет, с которого данные будут потребляться.

Доступные опции:

• С начала: Начать потребление данных с самого начала темы Kafka. Этот вариант идеален для пользователей, которым нужно переработать все исторические данные.
• С последнего: Начать потребление данных с самого последнего офсета. Это полезно для пользователей, которым интересны только новые сообщения.
• С временной меткой: Начать потребление данных с сообщений, которые были проданы в или после определенной временной метки. Эта функция позволяет получить более точный контроль, позволяя пользователям возобновить обработку с точной точки во времени.

Записать услуги в канал быстрого выпуска

Канал быстрого выпуска позволяет вашим услугам получать обновления раньше графика выпуска. Ранее этой функции требовалась помощь команды поддержки для включения. Теперь вы можете использовать консоль ClickHouse Cloud, чтобы включить эту функцию для ваших услуг напрямую. Просто перейдите в Настройки и нажмите Записаться в быстрые выпуски. Ваша служба теперь будет получать обновления, как только они станут доступны!

Поддержка Terraform для горизонтального масштабирования

ClickHouse Cloud поддерживает горизонтальное масштабирование, или возможность добавлять дополнительные реплики того же размера к вашим услугам. Горизонтальное масштабирование улучшает производительность и параллелизм, чтобы поддерживать параллельные запросы. Ранее добавление больше реплик требовало либо использования консоли ClickHouse Cloud, либо API. Теперь вы можете использовать Terraform, чтобы добавлять или удалять реплики из вашей службы, позволяя вам программно масштабировать ваши сервисы ClickHouse по мере необходимости.

Пожалуйста, ознакомьтесь с ClickHouse Terraform провайдером для получения дополнительной информации.

30 мая 2024

Делитесь запросами с вашими коллегами

Когда вы пишете SQL-запрос, есть большая вероятность, что и другим членам команды этот запрос будет полезен. Ранее вам приходилось отправлять запрос по Slack или электронной почте, и у коллеги не было возможности автоматически получать обновления для этого запроса, если вы его измените.

Мы рады сообщить, что теперь вы можете легко делиться запросами через консоль ClickHouse Cloud. В редакторе запросов вы можете поделиться запросом напрямую со всей командой или с конкретным членом команды. Вы также можете указать, имеют ли они только доступ для чтения или запись. Нажмите кнопку Поделиться в редакторе запросов, чтобы протестировать новую функцию совместных запросов.

ClickHouse Cloud для Microsoft Azure теперь в бета-версии

Мы наконец запустили возможность создания услуг ClickHouse Cloud на Microsoft Azure! У нас уже много клиентов, использующих ClickHouse Cloud на Azure в производстве как часть нашей программы закрытого предварительного просмотра. Теперь любой может создать свою собственную службу на Azure. Все ваши любимые функции ClickHouse, поддерживаемые в AWS и GCP, также будут работать на Azure.

Мы ожидаем, что ClickHouse Cloud для Azure будет готов к общему доступу в ближайшие несколько недель. Прочитайте этот блог пост, чтобы узнать больше, или создайте свою новую услугу на Azure через консоль ClickHouse Cloud.

Примечание: Разработческие услуги для Azure в настоящее время не поддерживаются.

Настроить частную связь через облачную консоль

Наша функция частной связи позволяет вам подключать ваши услуги ClickHouse Cloud к внутренним службам в вашем аккаунте облачного провайдера без необходимости направлять трафик в открытый интернет, что помогает сэкономить средства и повысить безопасность. Ранее было трудно настроить это и требовалось использовать ClickHouse Cloud API.

Теперь вы можете настроить частные конечные точки всего за несколько щелчков прямо из консоли ClickHouse Cloud. Просто перейдите в Настройки вашей службы, перейдите в раздел Безопасность и нажмите Настроить частную конечную точку.

17 мая 2024

Загружать данные из Amazon Kinesis, используя ClickPipes (Бета)

ClickPipes - это эксклюзивная услуга, предоставляемая ClickHouse Cloud для загрузки данных без кода. Amazon Kinesis – это полностью управляемая сервисом потоковой передачи AWS для загрузки и хранения потоков данных для обработки. Мы рады анонсировать бета-версию ClickPipes для Amazon Kinesis, одну из самых запрашиваемых интеграций. Мы стремимся добавить больше интеграций в ClickPipes, так что дайте нам знать, какой источник данных вы бы хотели поддержать! Узнайте больше об этой функции здесь.

Вы можете попробовать новую интеграцию Amazon Kinesis для ClickPipes в облачной консоли:

Настраиваемые резервные копии (закрытый предварительный просмотр)

Резервные копии важны для каждой базы данных (независимо от ее надежности), и мы очень серьезно относимся к резервным копиям с первого дня ClickHouse Cloud. На этой неделе мы запустили Настраиваемые резервные копии, которые обеспечивают гораздо большую гибкость для резервных копий вашей службы. Теперь вы можете контролировать время начала, сохранение и частоту. Эта функция доступна для Производственных и Выделенных служб и не доступна для Разработческих служб. Поскольку эта функция находится в закрытом предварительном просмотре, пожалуйста, свяжитесь с [email protected], чтобы включить это для вашей службы. Узнайте больше о настраиваемых резервных копиях здесь.

Создавайте API из ваших SQL-запросов (Бета)

Когда вы пишете SQL-запрос для ClickHouse, вам все еще нужно подключаться к ClickHouse через драйвер, чтобы предоставить ваш запрос вашему приложению. Теперь с нашей новой функцией Query Endpoints вы можете выполнять SQL-запросы непосредственно из API без какой-либо настройки. Вы можете указать конечные точки запросов для возвращения JSON, CSV или TSV. Нажмите кнопку «Поделиться» в облачной консоли, чтобы попробовать эту новую функцию с вашими запросами. Узнайте больше о конечных точках запросов здесь.

Официальная сертификация ClickHouse теперь доступна

В курсе обучения ClickHouse Develop есть 12 бесплатных учебных модулей. Ранее на этой неделе не было официального способа подтвердить ваше мастерство в ClickHouse. Мы недавно запустили официальный экзамен, чтобы стать сертифицированным разработчиком ClickHouse. Завершение этого экзамена позволит вам поделиться с текущими и потенциальными работодателями вашей экспертизой в ClickHouse по таким темам, как прием данных, моделирование, анализ, оптимизация производительности и многое другое. Вы можете пройти экзамен здесь или узнать больше о сертификации ClickHouse в этом блог посте.

25 апреля 2024

Загружать данные из S3 и GCS, используя ClickPipes

Вы могли заметить в нашей недавно выпущенной облачной консоли, что есть новый раздел под названием "Источники данных". Страница "Источники данных" работает на базе ClickPipes, нативной функции ClickHouse Cloud, которая позволяет вам легко вставлять данные из различных источников в ClickHouse Cloud.

Наше последнее обновление ClickPipes включает возможность напрямую загружать данные из Amazon S3 и Google Cloud Storage. Хотя вы все еще можете использовать наши встроенные табличные функции, ClickPipes - это полностью управляемая служба через наш пользовательский интерфейс, которая позволит вам загружать данные из S3 и GCS всего за несколько щелчков. Эта функция все еще находится в закрытом предварительном просмотре, но вы можете попробовать ее сегодня через облачную консоль.

Используйте Fivetran для загрузки данных из более чем 500 источников в ClickHouse Cloud

ClickHouse может быстро выполнять запросы ко всем вашим большим наборам данных, но, конечно, ваши данные сначала должны быть вставлены в ClickHouse. Благодаря обширному спектру коннекторов Fivetran пользователи теперь могут быстро загружать данные из более чем 500 источников. Независимо от того, нужно ли вам загрузить данные из Zendesk, Slack или любого другого вашего любимого приложения, новое направление ClickHouse для Fivetran теперь позволяет вам использовать ClickHouse в качестве целевой базы данных для ваших данных приложений.

Это интеграция с открытым исходным кодом, созданная в течение многих месяцев усердной работы нашей команды интеграций. Вы можете ознакомиться с нашим блогом о выпуске здесь и с репозиторием GitHub.

Другие изменения

Изменения консоли

• Поддержка форматов вывода в SQL консоли

Изменения интеграции

• Kafka коннектор ClickPipes поддерживает многоброкерную настройку
• Коннектор PowerBI поддерживает предоставление параметров конфигурации драйвера ODBC.

18 апреля 2024

Регион AWS Токио теперь доступен для ClickHouse Cloud

Этот релиз вводит новый регион AWS Токио (ap-northeast-1) для ClickHouse Cloud. Поскольку мы хотим, чтобы ClickHouse была самой быстрой базой данных, мы постоянно добавляем новые регионы для каждого облака, чтобы уменьшить задержку как можно больше. Вы можете создать свою новую службу в Токио в обновленной облачной консоли.

Другие изменения:

Изменения консоли

• Поддержка формата Avro для ClickPipes для Kafka теперь доступна в общем доступе.
• Полная поддержка импорта ресурсов (услуги и частные конечные точки) для Terraform провайдера внедрена.

Изменения интеграции

• Основной стабильный релиз NodeJS клиента: Расширенная поддержка TypeScript для запроса + ResultSet, конфигурация URL.
• Коннектор Kafka: Исправлена ошибка с игнорированием исключений при записи в DLQ, добавлена поддержка типа Avro Enum, опубликованы руководства по использованию коннектора на MSK и Confluent Cloud.
• Grafana: Исправлена поддержка Nullable типа в пользовательском интерфейсе, исправлена поддержка динамического OTEL-трассировки имени таблицы.
• DBT: Исправлены настройки моделей для пользовательской материализации.
• Java клиент: Исправлена ошибка с неправильным разбором кода ошибки.
• Python клиент: Исправлено связывание параметров для числовых типов, исправлены ошибки со списком чисел в связывании запросов, добавлена поддержка SQLAlchemy Point.

4 апреля 2024

Введение в новую облачную консоль ClickHouse

Этот релиз вводит закрытый предварительный просмотр для новой облачной консоли.

В ClickHouse мы постоянно думаем о том, как улучшить опыт разработчика. Мы осознаем, что недостаточно предоставить самую быструю облачную базу данных в реальном времени, также необходимо, чтобы ее было легко использовать и управлять ею.

Тысячи пользователей ClickHouse Cloud выполняют миллиарды запросов на нашей SQL консоли каждый месяц, и именно поэтому мы решили инвестировать больше в консоль мирового класса, чтобы сделать взаимодействие с вашими службами ClickHouse Cloud проще, чем когда-либо. Наш новый опыт работы с облачной консолью комбинирует наш отдельный SQL редактор с нашей консолью управления в одном интуитивно понятном пользовательском интерфейсе.

Выборочные клиенты получат предварительный просмотр нашего нового интерфейса облачной консоли – единого и погружающего способа изучения и управления вашими данными в ClickHouse. Пожалуйста, свяжитесь с нами по адресу [email protected], если вы хотите получить приоритетный доступ.

February 29, 2024

This release improves SQL console application load time, adds support for SCRAM-SHA-256 authentication in ClickPipes, and extends nested structure support to Kafka Connect.

Console changes

• Оптимизировано время первоначальной загрузки приложения консоли SQL
• Исправлено состояние гонки в консоли SQL, в результате которого возникала ошибка 'аутентификация не удалась'
• Исправлено поведение на странице мониторинга, где значение последнего распределения памяти иногда было неверным
• Исправлено поведение, при котором консоль SQL иногда выдавала дублирующие KILL QUERY команды
• Добавлена поддержка в ClickPipes для метода аутентификации SCRAM-SHA-256 для источников данных на основе Kafka

Integrations changes

• Kafka Connector: Расширена поддержка сложных вложенных структур (Array, Map); добавлена поддержка типа FixedString; добавлена поддержка приема данных в нескольких базах данных
• Metabase: Исправлена несовместимость с ClickHouse ниже версии 23.8
• DBT: Добавлена возможность передачи настроек при создании модели
• Node.js client: Добавлена поддержка долгосрочных запросов (>1ч) и обработка пустых значений

February 15, 2024

This release upgrades the core database version, adds ability to set up private links via Terraform, and adds support for exactly once semantics for asynchronous inserts through Kafka Connect.

ClickHouse version upgrade

• Движок таблицы S3Queue для непрерывной, запланированной загрузки данных из S3 готов к эксплуатации - смотрите блог о релизе 23.11 для подробностей.
• Существенные улучшения производительности для FINAL и векторизации, улучшающих производительность SIMD инструкций, что приводит к более быстрым запросам - смотрите блог о релизе 23.12 для подробностей.
• Эта версия ClickHouse в облаке основана на 23.12, вы можете увидеть десятки новых функций, улучшений производительности и исправлений ошибок. Смотрите журналы изменений ядра базы данных для подробностей.

Console changes

• Добавлена возможность настройки AWS Private Link и GCP Private Service Connect через провайдер Terraform
• Улучшена надежность для удаленного импорта данных из файлов
• Добавлены детали статуса импорта всплывающего окна для всех импортов данных
• Добавлена поддержка учетных данных ключа/секретного ключа для импортов данных S3

Integrations changes

• Kafka Connect
  • Поддержка async_insert для exactly once (по умолчанию отключена)
• Golang client
  • Исправлено связывание DateTime
  • Улучшена производительность пакетной вставки
• Java client
  • Исправлена проблема с сжатием запросов

February 2, 2024

This release brings availability of ClickPipes for Azure Event Hub, dramatically improves workflow for logs and traces navigation using v4 ClickHouse Grafana connector, and debuts support for Flyway and Atlas database schema management tools.

Console changes

• Добавлена поддержка ClickPipes для Azure Event Hub
• Новые сервисы запускаются с обычным временем простоя 15 минут

Integrations changes

• ClickHouse data source for Grafana v4 release
  • Полностью перестроенный конструктор запросов с специализированными редакторами для Таблиц, Логов, Данных временных рядов и Трасс
  • Полностью перестроенный генератор SQL для поддержки более сложных и динамических запросов
  • Добавлена поддержка OpenTelemetry в представлениях Логов и Трасс
  • Расширена Конфигурация для возможности указания таблиц и колонок по умолчанию для Логов и Трасс
  • Добавлена возможность указания пользовательских HTTP-заголовков
  • И многие другие улучшения - смотрите полный журнал изменений
• Инструменты управления схемами базы данных
  • Flyway добавила поддержку ClickHouse
  • Ariga Atlas добавила поддержку ClickHouse
• Kafka Connector Sink
  • Оптимизирована загрузка в таблицы с значениями по умолчанию
  • Добавлена поддержка строковых дат в DateTime64
• Metabase
  • Добавлена поддержка подключения к нескольким базам данных

January 18, 2024

This release brings a new region in AWS (London / eu-west-2), adds ClickPipes support for Redpanda, Upstash, and Warpstream, and improves reliability of the is_deleted core database capability.

General changes

• Новый регион AWS: Лондон (eu-west-2)

Console changes

• Добавлена поддержка ClickPipes для Redpanda, Upstash и Warpstream
• Сделан механизм аутентификации ClickPipes настраиваемым в интерфейсе

Integrations changes

• Java client:
  • Разрушающие изменения: Убрана возможность указывать случайные URL-обработчики в вызове. Эта функциональность убрана из ClickHouse
  • Устаревшие функции: Java CLI клиент и пакеты GRPC
  • Добавлена поддержка формата RowBinaryWithDefaults для уменьшения размера партии и нагрузки на экземпляр ClickHouse (запрос от Exabeam)
  • Сделаны границы диапазона Date32 и DateTime64 совместимыми с ClickHouse, совместимость с типом строки массива Spark, механизм выбора узлов
• Kafka Connector: Добавлена панель мониторинга JMX для Grafana
• PowerBI: Сделаны настраиваемыми параметры драйвера ODBC в интерфейсе
• JavaScript client: Предоставлена информация о резюме запросов, возможность предоставить подмножество конкретных колонок для вставки, возможность настроить keep_alive для веб-клиента
• Python client: Добавлена поддержка типа Nothing для SQLAlchemy

Reliability changes

• Изменение, несовместимое с предыдущими версиями: Ранее две функции (is_deleted и OPTIMIZE CLEANUP) при определенных условиях могли привести к повреждению данных в ClickHouse. Чтобы защитить целостность данных пользователей, при сохранении основных функций мы изменили работу этой функции. В частности, настройка MergeTree clean_deleted_rows теперь устарела и больше не имеет эффекта. Ключевое слово CLEANUP по умолчанию не разрешено (для его использования вам нужно будет включить allow_experimental_replacing_merge_with_cleanup). Если вы решите использовать CLEANUP, вам необходимо убедиться, что оно всегда используется вместе с FINAL, и вы должны гарантировать, что после выполнения OPTIMIZE FINAL CLEANUP не будут вставлены строки с более старыми версиями.

December 18, 2023

This release brings a new region in GCP (us-east1), ability to self-service secure endpoint connections, support for additional integrations including DBT 1.7, and numerous bug fixes and security enhancements.

General changes

• ClickHouse Cloud теперь доступен в регионе GCP us-east1 (Южная Каролина)
• Включена возможность настройки AWS Private Link и GCP Private Service Connect через OpenAPI

Console changes

• Включен бесшовный вход в SQL консоль для пользователей с ролью Разработчик
• Оптимизирован поток настройки контроля простоя во время введения в эксплуатацию

Integrations changes

• DBT connector: Добавлена поддержка DBT до v1.7
• Metabase: Добавлена поддержка Metabase v0.48
• PowerBI Connector: Добавлена возможность запуска в PowerBI Cloud
• Настроить разрешения для внутреннего пользователя ClickPipes
• Kafka Connect
  • Улучшена логика дедупликации и загрузка.Nullable типов.
  • Добавлена поддержка текстовых форматов (CSV, TSV)
• Apache Beam: добавлена поддержка типов Boolean и LowCardinality
• Nodejs client: добавлена поддержка формата Parquet

Security announcements

• Исправлены 3 уязвимости в безопасности - смотрите журнал изменений по безопасности для подробностей:
  • CVE 2023-47118 (CVSS 7.0) - уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, работающий по умолчанию на порту 9000/tcp
  • CVE-2023-48704 (CVSS 7.0) - уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, работающий по умолчанию на порту 9000/tcp
  • CVE 2023-48298 (CVSS 5.9) - уязвимость недостатка целого числа в кодеке сжатия FPC

November 22, 2023

This release upgrades the core database version, improves login and authentication flow, and adds proxy support to Kafka Connect Sink.

ClickHouse version upgrade

• Существенно улучшена производительность при чтении файлов Parquet. Смотрите блог о релизе 23.8 для подробностей.
• Добавлена поддержка вывода типов для JSON. Смотрите блог о релизе 23.9 для подробностей.
• Введены мощные функции, ориентированные на аналитиков, такие как ArrayFold. Смотрите блог о релизе 23.10 для подробностей.
• Изменение, несовместимое с предыдущими версиями: По умолчанию отключена настройка input_format_json_try_infer_numbers_from_strings, чтобы избежать вывода чисел из строк в формате JSON. Это может создать возможные ошибки при парсинге, когда тестовые данные содержат строки, похожие на числа.
• Десятки новых функций, улучшений производительности и исправлений ошибок. Смотрите журналы изменений ядра базы данных для подробностей.

Console changes

• Улучшен поток входа и аутентификации.
• Улучшены предложения по запросам на основе ИИ для лучшей поддержки больших схем.

Integrations changes

• Kafka Connect Sink: Добавлена поддержка прокси, сопоставление topic-tablename и настраиваемость для свойств доставки Keeper exactly-once.
• Node.js client: Добавлена поддержка формата Parquet.
• Metabase: Добавлена поддержка функции datetimeDiff.
• Python client: Добавлена поддержка специальных символов в именах колонок. Исправлено связывание параметра часового пояса.

November 2, 2023

This release adds more regional support for development services in Asia, introduces key rotation functionality to customer-managed encryption keys, improved granularity of tax settings in the billing console and a number of bug fixes across supported language clients.

General updates

• Сервисы разработки теперь доступны в AWS для ap-south-1 (Мумбаи) и ap-southeast-1 (Сингапур)
• Добавлена поддержка ротации ключей для управляемых клиентом ключей шифрования (CMEK)

Console changes

• Добавлена возможность настройки детализированных налоговых настроек при добавлении кредитной карты

Integrations changes

• MySQL
  • Улучшена поддержка Tableau Online и QuickSight через MySQL
• Kafka Connector
  • Введен новый StringConverter для поддержки текстовых форматов (CSV, TSV)
  • Добавлена поддержка типов данных Bytes и Decimal
  • Настроены Retryable Exceptions для повторных попыток (даже когда errors.tolerance=all)
• Node.js client
  • Исправлена проблема с потоковой передачей больших наборов данных, приводящих к поврежденным результатам
• Python client
  • Исправлены тайм-ауты при больших вставках
  • Исправлена проблема с NumPy/Pandas Date32
• Golang client
  • Исправлено вставление пустой карты в JSON колонку, очистка буфера сжатия, экранирование запросов, паника при нуле/нуле для IPv4 и IPv6
  • Добавлен контроль за отмененными вставками
• DBT
  • Улучшена поддержка распределенных таблиц с тестами

October 19, 2023

This release brings usability and performance improvements in the SQL console, better IP data type handling in the Metabase connector, and new functionality in the Java and Node.js clients.

Console changes

• Улучшена удобству использования консоли SQL (например, сохранение ширины колонок между выполнениями запросов)
• Улучшена производительность консоли SQL

Integrations changes

• Java client:
  • Переключена базовая библиотека сети для улучшения производительности и повторного использования открытых соединений
  • Добавлена поддержка прокси
  • Добавлена поддержка безопасных соединений с использованием Trust Store
• Node.js client: Исправлено поведение keep-alive для вставочных запросов
• Metabase: Исправлена сериализация колонок IPv4/IPv6

September 28, 2023

This release brings general availability of ClickPipes for Kafka, Confluent Cloud, and Amazon MSK and the Kafka Connect ClickHouse Sink, self-service workflow to secure access to Amazon S3 via IAM roles, and AI-assisted query suggestions ( private preview).

Console changes

• Добавлена возможность бесшовного доступа к Amazon S3 через IAM роли
• Введены предложения по запросам с помощью ИИ в закрытом превью (пожалуйста, свяжитесь с поддержкой ClickHouse Cloud, чтобы попробовать это!)

Integrations changes

• Объявлено об общей доступности ClickPipes - готового к использованию сервиса приема данных - для Kafka, Confluent Cloud и Amazon MSK (смотрите блог о релизе)
• Достигнута общая доступность Kafka Connect ClickHouse Sink
  • Расширена поддержка настроек ClickHouse с использованием свойства clickhouse.settings
  • Улучшено поведение дедупликации с учетом динамических полей
  • Добавлена поддержка tableRefreshInterval для повторного получения изменений таблицы из ClickHouse
• Исправлена проблема с SSL-соединением и сопоставление типов между PowerBI и типами данных ClickHouse

September 7, 2023

This release brings the beta release of the PowerBI Desktop official connector, improved credit card payment handling for India, and multiple improvements across supported language clients.

Console changes

• Добавлены оставшиеся кредиты и повторные попытки платежей для поддержки сборов из Индии

Integrations changes

• Kafka Connector: добавлена поддержка настройки параметров ClickHouse, добавлена конфигурация error.tolerance
• PowerBI Desktop: выпущена бета-версия официального соединителя
• Grafana: добавлена поддержка типа гео-точки, исправлены панели на панели управления аналитики данных, исправлен макрос timeInterval
• Python client: Совместимость с Pandas 2.1.0, убрана поддержка Python 3.7, добавлена поддержка типа JSON с нулевыми значениями
• Node.js client: добавлена поддержка настройки default_format
• Golang client: исправлена обработка типа bool, убраны ограничения на строку

Aug 24, 2023

This release adds support for the MySQL interface to the ClickHouse database, introduces a new official PowerBI connector, adds a new "Running Queries" view in the cloud console, and updates the ClickHouse version to 23.7.

General updates

• Добавлена поддержка для MySQL wire protocol, который (среди прочих случаев) обеспечивает совместимость с многими существующими инструментами BI. Пожалуйста, свяжитесь со службами поддержки, чтобы активировать эту функцию для вашей организации.
• Введен новый официальный соединитель PowerBI

Console changes

• Добавлена поддержка "Running Queries" в SQL консоли

ClickHouse 23.7 version upgrade

• Добавлена поддержка табличной функции Azure, приведены гео-типов к готовности к эксплуатации и улучшена производительность соединений - см. блог о релизе 23.5 информация для подробностей
• Расширена поддержка интеграции MongoDB до версии 6.0 - см. блог о релизе 23.6 информация для подробностей
• Улучшена производительность записи в формат Parquet в 6 раз, добавлена поддержка PRQL языка запросов и улучшена совместимость SQL - смотрите первый доклад о релизе 23.7 для подробностей
• Десятки новых функций, улучшений производительности и исправлений ошибок - подробнее смотрите журналы изменений для 23.5, 23.6, 23.7

Integrations changes

• Kafka Connector: Добавлена поддержка типов Avro Date и Time
• JavaScript client: Выпущена стабильная версия для веб-окружения
• Grafana: Улучшена логика фильтрации, обработка названий баз данных и добавлена поддержка TimeInteval с субсекундной точностью
• Golang Client: Исправлено несколько проблем с загрузкой данных пакетами и асинхронно
• Metabase: Поддержка v0.47, добавлено использование олицетворения подключения, исправлены сопоставления типов данных

July 27, 2023

This release brings the private preview of ClickPipes for Kafka, a new data loading experience, and the ability to load a file from a URL using the cloud console.

Integrations changes

• Введен закрытый предварительный показ ClickPipes для Kafka, облачного родного интеграционного движка, который делает прием огромных объемов данных из Kafka и Confluent Cloud таким же простым, как щелчок нескольких кнопок. Пожалуйста, запишитесь в лист ожидания здесь.
• JavaScript client: выпущена поддержка веб-окружения (браузер, работники Cloudflare). Код реорганизован, чтобы позволить сообществу создавать соединители для пользовательских окружений.
• Kafka Connector: Добавлена поддержка встроенной схемы с типами Kafka Timestamp и Time
• Python client: Исправлены проблемы со сжатием вставок и чтением LowCardinality

Console changes

• Добавлен новый опыт загрузки данных с большим количеством параметров конфигурации создания таблицы
• Введена возможность загрузки файла из URL с помощью облачной консоли
• Улучшен поток приглашений с дополнительными вариантами для присоединения к другой организации и просмотра всех ожидающих приглашений

July 14, 2023

This release brings the ability to spin up Dedicated Services, a new AWS region in Australia, and the ability to bring your own key for encrypting data on disk.

General updates

• Новый регион AWS в Австралии: Сидней (ap-southeast-2)
• Сервисы выделенного уровня для требовательных к задержке рабочих нагрузок (пожалуйста, свяжитесь с поддержкой для настройки)
• Принесите свой ключ (BYOK) для шифрования данных на диске (пожалуйста, свяжитесь с поддержкой для настройки)

Console changes

• Улучшения на панели мониторинга метрик наблюдаемости для асинхронных вставок
• Улучшено поведение чат-бота для интеграции с поддержкой

Integrations changes

• NodeJS client: исправлена ошибка с отказом в соединении из-за тайм-аута сокета
• Python client: добавлено QuerySummary для вставочных запросов, поддержка специальных символов в имени базы данных
• Metabase: обновлена версия драйвера JDBC, добавлена поддержка DateTime64, улучшения производительности.

Core database changes

• Кэш запросов может быть включен в ClickHouse Cloud. Когда он включен, успешные запросы кэшируются на минуту по умолчанию, и последующие запросы будут использовать кэшированный результат.

June 20, 2023

This release makes ClickHouse Cloud on GCP generally available, brings a Terraform provider for the Cloud API, and updates the ClickHouse version to 23.4.

General updates

• ClickHouse Cloud на GCP теперь доступен, предлагает интеграцию с GCP Marketplace, поддержку Private Service Connect и автоматические резервные копии (смотрите блог и пресс-релиз для подробностей)
• Провайдер Terraform для Cloud API теперь доступен

Console changes

• Добавлена новая объединенная страница настроек для сервисов
• Отрегулирована точность измерений для хранения и вычислений

Integrations changes

• Python client: улучшена производительность вставок, переработаны внутренние зависимости для поддержки многопоточности
• Kafka Connector: его можно загрузить и установить на Confluent Cloud, добавлены повторные попытки для промежуточных проблем с соединением, автоматически сбрасывает некорректное состояние соединителя

ClickHouse 23.4 version upgrade

• Добавлена поддержка JOIN для параллельных реплик (пожалуйста, свяжитесь с поддержкой для настройки)
• Улучшена производительность легковесных удалений
• Улучшено кэширование при обработке больших вставок

Administration changes

• Расширена возможность создания локальных словарей для пользователей, не являющихся "по умолчанию"

May 30, 2023

This release brings the public release of the ClickHouse Cloud Programmatic API for Control Plane operations (see blog for details), S3 access using IAM roles, and additional scaling options.

General changes

• API Support for ClickHouse Cloud. With the new Cloud API, you can seamlessly integrate managing services in your existing CI/CD pipeline and manage your services programmatically
• Доступ к S3 с использованием IAM ролей. Теперь вы можете использовать IAM роли для безопасного доступа к вашим частным корзинам Amazon Simple Storage Service (S3) (пожалуйста, свяжитесь со службой поддержки, чтобы настроить это)

Scaling changes

• Горизонтальное масштабирование. Нагрузки, которые требуют большей параллелизации, теперь могут быть настроены на до 10 реплик (пожалуйста, свяжитесь с поддержкой, чтобы настроить это)
• Автосcaling на основе CPU. Нагрузки, зависящие от CPU, теперь могут получать дополнительные триггеры для политик автосcaling

Console changes

• Миграция сервиса Dev в Production (пожалуйста, свяжитесь с поддержкой, чтобы включить)
• Добавлены элементы управления конфигурацией масштабирования во время процесса создания экземпляра
• Исправлено соединение, когда пароль по умолчанию отсутствует в памяти

Integrations changes

• Golang client: исправлена проблема, приводящая к несбалансированным соединениям в нативном протоколе, добавлена поддержка пользовательских настроек в нативном протоколе
• Nodejs client: убрана поддержка nodejs v14, добавлена поддержка v20
• Kafka Connector: добавлена поддержка типа LowCardinality
• Metabase: исправлены группировка по временным интервалам, исправлена поддержка целочисленных значений в встроенных вопросах Metabase

Performance and reliability

• Улучшена эффективность и производительность при рабочих нагрузках, нагруженных записью
• Разработана стратегия инкрементного резервного копирования для увеличения скорости и эффективности резервного копирования

May 11, 2023

This release brings the public beta (now GA, see June 20th entry above) of ClickHouse Cloud on GCP (see blog for details), extends administrators rights to grant terminate query permissions, and adds more visibility into the status of MFA users in the Cloud console.

ClickHouse Cloud on GCP (Public Beta) (now GA, see June 20th entry above)

• Запускает полностью управляемое предложение ClickHouse с отдельным хранилищем и вычислениями, работающее на Google Compute и Google Cloud Storage
• Доступно в регионах Айова (us-central1), Нидерланды (europe-west4) и Сингапур (asia-southeast1)
• Поддерживает как услуги разработки, так и услуги в производственной среде во всех трех первоначальных регионах
• Обеспечивает надежную безопасность по умолчанию: сквозное шифрование в пути, шифрование данных на диске, списки разрешенных IP

Integrations changes

• Golang client: Добавлена поддержка переменных окружения прокси
• Grafana: Добавлена возможность указать настраиваемые параметры ClickHouse и переменные окружения прокси в настройках источника данных Grafana
• Kafka Connector: Улучшено обработка пустых записей

Console changes

• Добавлен индикатор использования многофакторной аутентификации (MFA) в списке пользователей

Performance and reliability

• Добавлен более детализированный контроль разрешений на завершение запросов для администраторов

May 4, 2023

This release brings a new heatmap chart type, improves billing usage page, and improves service startup time.

Console changes

• Добавлен тип тепловой карты в SQL консоль
• Улучшена страница использования выставления счетов для отображения потребленных кредитов в каждом измерении выставления счетов

Integrations changes

• Kafka connector: Добавлен механизм повторной попытки для временных ошибок соединения
• Python client: Добавлен параметр max_connection_age для обеспечения того, чтобы HTTP-соединения не использовались вечно. Это может помочь с определенными проблемами распределения нагрузки
• Node.js client: Добавлена поддержка Node.js v20
• Java client: Улучшена поддержка клиентской сертификатной аутентификации и добавлена поддержка вложенных типов Tuple/Map/Nested

Performance and reliability

• Улучшено время запуска сервиса при наличии большого количества частей
• Оптимизирована логика отмены долгосрочных запросов в SQL консоли

Bug fixes

• Исправлена ошибка, из-за которой импорт выборки данных 'Cell Towers' завершался неудачей

April 20, 2023

This release updates the ClickHouse version to 23.3, significantly improves the speed of cold reads, and brings real-time chat with support.

Console changes

• Добавлена возможность чата в реальном времени с поддержкой

Integrations changes

• Kafka connector: Добавлена поддержка Nullable типов
• Golang client: Добавлена поддержка внешних таблиц, поддержка связывания параметров типа boolean и pointer

Configuration changes

• Добавлена возможность удалять большие таблицы, переопределив параметры max_table_size_to_drop и max_partition_size_to_drop

Performance and reliability

• Увеличена скорость холодного чтения с использованием предварительной выборки S3 через параметр allow_prefetched_read_pool_for_remote_filesystem

ClickHouse 23.3 version upgrade

• Легковесные удаления готовы к эксплуатации - смотрите блог о релизе 23.3 информация для подробностей
• Добавлена поддержка многоступенчатого PREWHERE - смотрите блог о релизе 23.2 информация для подробностей
• Десятки новых функций, улучшений производительности и исправлений ошибок - смотрите подробные журналы изменений для 23.3 и 23.2

April 6, 2023

This release brings an API for retrieving cloud endpoints, an advanced scaling control for minimum idle timeout, and support for external data in Python client query methods.

API changes

• Добавлена возможность программно запрашивать конечные точки ClickHouse Cloud через API конечных точек Cloud

Console changes

• Добавлена настройка 'минимального времени бездействия' в расширенные настройки масштабирования
• Добавлено определение даты с наилучшей точностью в вывод схемы в модальном окне загрузки данных

Integrations changes

• Metabase: добавлена поддержка нескольких схем
• Go client: Исправлена проверка живучести неактивного соединения для TLS соединений
• Python client
  • Добавлена поддержка для внешних данных в методах запросов
  • Добавлена поддержка часового пояса для результатов запросов
  • Добавлена поддержка переменной окружения no_proxy/NO_PROXY
  • Исправлено связывание параметров на стороне сервера для значения NULL для Nullable типов

Bug fixes

• Исправлено поведение, при котором выполнение INSERT INTO ... SELECT ... из SQL консоли неправильно применило тот же лимит строк, что и выборочные запросы

March 23, 2023

This release brings database password complexity rules, significant speedup in restoring large backups, and support for displaying traces in Grafana Trace View.

Security and reliability

• Конечные точки ядра базы данных теперь обеспечивают соблюдение правил сложности пароля
• Улучшено время восстановления больших резервных копий

Console changes

• Оптимизирован поток ввода, введены новые настройки и более компактные представления
• Уменьшены задержки при подписке и входе

Integrations changes

• Grafana:
  • Добавлена поддержка отображения данных трассировки, хранящихся в ClickHouse, в представлении Trace View
  • Улучшена логика фильтров временного диапазона и добавлена поддержка специальных символов в названиях таблиц
• Superset: добавлена нативная поддержка ClickHouse
• Kafka Connect Sink: Добавлено автоматическое преобразование дат и обработка столбцов Null
• Metabase: реализована совместимость с v0.46
• Python client: Исправлены вставки во временных таблицах и добавлена поддержка Pandas Null
• Golang client: нормализованы типы Date с учетом часового пояса
• Java client
  • Добавлена поддержка обработки сжатия, infile и outfile в SQL парсер
  • Добавлено дублирование учетных данных
  • Исправлена поддержка пакетов с ON CLUSTER
• Node.js client
  • Добавлена поддержка JSONStrings, JSONCompact, JSONCompactStrings, JSONColumnsWithMetadata форматов
  • query_id теперь можно указать для всех основных методов клиента

Bug fixes

• Исправлена ошибка, которая приводила к медленной первичной настройке и времени запуска для новых услуг
• Исправлена ошибка, которая приводила к снижению производительности запросов из-за неправильной конфигурации кеша

March 9, 2023

This release improves observability dashboards, optimizes time to create large backups, and adds the configuration necessary to drop large tables and partitions.

Console changes

• Добавлены новые дашборды наблюдаемости (предварительный просмотр)
• Введена диаграмма распределения памяти на дашборды наблюдаемости
• Улучшено соблюдение пробелов и переноса строк в представлении электронной таблицы в SQL консоли

Надежность и производительность

• Оптимизированное расписание резервного копирования для выполнения резервных копий только при изменении данных
• Ускорено время завершения больших резервных копий

Изменения конфигурации

• Добавлена возможность увеличения лимита на удаление таблиц и партиций путем переопределения параметров max_table_size_to_drop и max_partition_size_to_drop на уровне запроса или подключения
• Добавлен IP-адрес источника в журнал запросов, чтобы обеспечить соблюдение квот и контроль доступа на основе IP-адреса источника

Интеграции

• Python client: Улучшена поддержка Pandas и исправлены проблемы, связанные с часовыми поясами
• Metabase: Совместимость с Metabase 0.46.x и поддержка SimpleAggregateFunction
• Kafka-Connect: Неявное преобразование даты и лучшее обработка нулевых колонок
• Java Client: Вложенное преобразование в Java maps

23 февраля 2023 г.

Этот релиз включает подмножество функций в основном релизе ClickHouse 23.1, обеспечивает совместимость с Amazon Managed Streaming for Apache Kafka (MSK) и предоставляет расширенные настройки масштабирования и простаивания в журнале активности.

Обновление версии ClickHouse 23.1

Добавляет поддержку подмножества функций в ClickHouse 23.1, например:

• ARRAY JOIN с типом Map
• Шестнадцатеричные и двоичные литералы стандарт SQL
• Новые функции, включая age(), quantileInterpolatedWeighted(), quantilesInterpolatedWeighted()
• Возможность использовать структуру из таблицы вставки в generateRandom без аргументов
• Улучшена логика создания и переименования базы данных, что позволяет повторно использовать предыдущие имена
• Смотрите слайды вебинара о релизе 23.1 и журнал изменений релиза 23.1 для получения дополнительной информации

Изменения в интеграциях

• Kafka-Connect: Добавлена поддержка Amazon MSK
• Metabase: Первый стабильный релиз 1.0.0
  • Коннектор теперь доступен на Metabase Cloud
  • Добавлена функция для изучения всех доступных баз данных
  • Исправлена синхронизация базы данных с типом AggregationFunction
• DBT-clickhouse: Добавлена поддержка последней версии DBT v1.4.1
• Python client: Улучшена поддержка прокси и SSH-туннелирования; добавлено множество исправлений и оптимизаций производительности для Pandas DataFrames
• Nodejs client: Выпущена возможность прикрепить query_id к результату запроса, который можно использовать для извлечения метрик запроса из system.query_log
• Golang client: Оптимизировано сетевое соединение с ClickHouse Cloud

Изменения консоли

• Добавлены расширенные настройки масштабирования и простаивания в журнале активности
• Добавлены информацию об агенте пользователя и IP в электронные письма для сброса пароля
• Улучшена механика регистрации для Google OAuth

Надежность и производительность

• Ускорено время возобновления работы из режима простоя для больших сервисов
• Улучшена задержка чтения для сервисов с большим количеством таблиц и партиций

Исправления ошибок

• Исправлено поведение, при котором сброс пароля службы не соответствовал политике пароля
• Сделана валидация электронной почты для приглашения в организацию нечувствительной к регистру

2 февраля 2023 г.

Этот релиз включает официально поддерживаемую интеграцию Metabase, крупный релиз клиента Java / JDBC драйвера и поддержку представлений и материализованных представлений в SQL консоли.

Изменения в интеграциях

• Плагин Metabase: стал официальным решением, поддерживаемым ClickHouse
• Плагин dbt: добавлена поддержка нескольких потоков
• Плагин Grafana: лучшее управление ошибками соединения
• Клиент Python: добавлена поддержка стриминга для операции вставки
• Клиент Go: исправления ошибок: закрытие отмененных соединений, лучшее управление ошибками соединения
• Клиент JS: Существенные изменения в exec/insert; exposed query_id в возвращаемых типах
• Клиент Java / JDBC драйвер крупный релиз
  • Существенные изменения: устаревшие методы, классы и пакеты были удалены
  • Добавлен драйвер R2DBC и поддержка вставки файлов

Изменения в консоли

• Добавлена поддержка представлений и материализованных представлений в SQL консоли

Производительность и надежность

• Быстрее сброс пароля для остановленных/простоящих экземпляров
• Улучшено поведение масштабирования вниз благодаря более точному учету активности
• Исправлена ошибка, из-за которой экспорт SQL консоли в CSV был обрезан
• Исправлена ошибка, приводящая к периодическим сбоям загрузки выборочных данных

12 января 2023 г.

Этот релиз обновляет версию ClickHouse до 22.12, включает словари для многих новых источников и улучшает производительность запросов.

Общие изменения

• Включены словари для дополнительных источников, включая внешние ClickHouse, Cassandra, MongoDB, MySQL, PostgreSQL и Redis

Обновление версии ClickHouse 22.12

• Расширена поддержка JOIN, включая Grace Hash Join
• Добавлена поддержка бинарного JSON (BSON) для чтения файлов
• Добавлена поддержка стандартного SQL синтаксиса GROUP BY ALL
• Новые математические функции для операций с десятичными числами с фиксированной точностью
• Смотрите блог релиза 22.12 и подробный журнал изменений 22.12 для полного списка изменений

Изменения в консоли

• Улучшены возможности автозаполнения в SQL Консоли
• Теперь по умолчанию рассматривается локальность континента
• Улучшена страница учета использования для отображения как выставления счетов, так и единиц веб-сайта

Изменения в интеграциях

• Релиз DBT v1.3.2
  • Добавлена экспериментальная поддержка стратегии инкрементального удаления+вставки
  • Новый макрос s3source
• Python client v0.4.8
  • Поддержка вставки файлов
  • Привязка параметров запросов на стороне сервера
• Go client v2.5.0
  • Сниженное использование памяти для сжатия
  • Привязка параметров запросов на стороне сервера

Надежность и производительность

• Улучшена производительность чтения для запросов, которые извлекают большое количество небольших файлов из объектного хранилища
• Установите значение настройки совместимости на версию, с которой служба изначально запускается, для вновь запущенных служб

Исправления ошибок

Использование ползунка Advanced Scaling для резервирования ресурсов теперь сразу вступает в силу.

20 декабря 2022 г.

Этот релиз вводит бесшовный вход для администраторов в SQL консоль, улучшает производительность чтения для холодных чтений и улучшает коннектор Metabase для ClickHouse Cloud.

Изменения в консоли

• Включен бесшовный доступ к SQL консоли для администраторов
• Изменена роль по умолчанию для новых приглашенных на "Администратор"
• Добавлено обследование для новых пользователей

Надежность и производительность

• Добавлена логика повторных попыток для длительных вставок, чтобы восстановить соединение в случае сетевых сбоев
• Улучшена производительность чтения холодных выборок

Изменения в интеграциях

• Плагин Metabase получил долгожданное обновление v0.9.1. Теперь он совместим с последней версией Metabase и был тщательно протестирован с ClickHouse Cloud.

6 декабря 2022 г. - Общая доступность

ClickHouse Cloud теперь готов к производству с соответствием SOC2 Type II, SLA времени безотказной работы для производственных нагрузок и публичной страницей состояния. Этот релиз включает основные новые возможности, такие как интеграция с AWS Marketplace, SQL консоль - рабочее место для исследования данных для пользователей ClickHouse, и ClickHouse Academy - обучение в ClickHouse Cloud в удобном формате. Узнайте больше в этом блоге.

Готовность к производству

• Соответствие SOC2 Type II (подробности в блоге и Trust Center)
• Публичная страница состояния для ClickHouse Cloud
• SLA времени безотказной работы доступны для производственных случаев использования
• Доступность на AWS Marketplace

Основные новые возможности

• Введена SQL консоль, рабочее место для исследования данных для пользователей ClickHouse
• Запущена ClickHouse Academy, обучение в ClickHouse Cloud в удобном формате

Изменения в тарифах и учете

• Продлен испытательный срок до 30 дней
• Введены услуги разработки с фиксированной емкостью и низкими ежемесячными расходами, хорошо подходящие для начальных проектов и сред разработки/представления
• Введено новое сниженное ценообразование на Производственные услуги, по мере того как мы продолжаем улучшать, как работает и масштабируется ClickHouse Cloud
• Улучшена детализация и точность при измерении вычислений

Изменения в интеграциях

• Включена поддержка движков интеграции ClickHouse Postgres / MySQL
• Добавлена поддержка пользовательских функций SQL (UDF)
• Расширенный Kafka Connect sink до статуса бета
• Улучшен интерфейс интеграций, введя богатую метаинформацию о версиях, статусах обновлений и многом другом

Изменения в консоли

• Поддержка многофакторной аутентификации в облачной консоли
• Улучшена навигация по облачной консоли для мобильных устройств

Изменения в документации

• Введен специальный раздел документации для ClickHouse Cloud

Исправления ошибок

• Устранена известная проблема, при которой восстановление из резервной копии не всегда срабатывало из-за разрешения зависимостей

29 ноября 2022 г.

Этот релиз включает соответствие SOC2 Type II, обновляет версию ClickHouse до 22.11 и улучшает ряд клиентов и интеграций ClickHouse.

Общие изменения

• Достигнуто соответствие SOC2 Type II (подробности в блоге и Trust Center)

Изменения в консоли

• Добавлен индикатор статуса "Простой", чтобы показать, что служба была автоматически приостановлена

Обновление версии ClickHouse 22.11

• Добавлена поддержка движков таблиц Hudi и DeltaLake, а также табличных функций
• Улучшена рекурсивная навигация по каталогам для S3
• Добавлена поддержка составного синтаксиса временных интервалов
• Улучшена надежность вставок с повторами при вставке
• Смотрите подробный журнал изменений 22.11 для полного списка изменений

Интеграции

• Клиент Python: поддержка v3.11, улучшенная производительность вставки
• Клиент Go: исправление поддержки DateTime и Int64
• Клиент JS: поддержка взаимной аутентификации SSL
• dbt-clickhouse: поддержка DBT v1.3

Исправления ошибок

• Исправлена ошибка, показывающая устаревшую версию ClickHouse после обновления
• Изменения прав для учетной записи "по умолчанию" больше не прерывают сеансы
• Новосозданные учетные записи без прав администратора больше не имеют доступа к системным таблицам по умолчанию

Известные проблемы в этом релизе

• Восстановление из резервной копии может не сработать из-за разрешения зависимостей

17 ноября 2022 г.

Этот релиз включает словари из местных таблиц ClickHouse и HTTP-источников, вводит поддержку региона Мумбаи и улучшает пользовательский опыт облачной консоли.

Общие изменения

• Добавлена поддержка словарей из местных таблиц ClickHouse и HTTP-источников
• Введена поддержка региона Мумбаи

Изменения в консоли

• Улучшено форматирование счетов
• Оптимизирован интерфейс пользователя для захвата метода оплаты
• Добавлено более детализированное логирование активности для резервных копий
• Улучшено обработка ошибок при загрузке файлов

Исправления ошибок

• Исправлена ошибка, которая могла привести к сбоям резервного копирования, если в некоторых частях были одиночные большие файлы
• Исправлена ошибка, из-за которой восстановления из резервной копии не проходили успешно, если одновременно применялись изменения в списке доступа

Известные проблемы

• Восстановление из резервной копии может не сработать из-за разрешения зависимостей

3 ноября 2022 г.

Этот релиз убирает единицы чтения и записи из ценообразования (подробности см. на странице цен), обновляет версию ClickHouse до 22.10, добавляет поддержку более высокого вертикального масштабирования для пользователей с самообслуживанием и улучшает надежность за счет лучших значений по умолчанию.

Общие изменения

• Убраны единицы чтения/записи из ценовой модели

Изменения конфигурации

• Параметры allow_suspicious_low_cardinality_types, allow_suspicious_fixed_string_types и allow_suspicious_codecs (по умолчанию false) больше не могут изменяться пользователями по причинам стабильности.

Изменения в консоли

• Максимальный объем памяти для обслуживания самообслуживания увеличен до 720 ГБ для платежеспособных клиентов
• Улучшен процесс восстановления из резервной копии для установки правил IP Access List и пароля
• Введены очереди ожидания для GCP и Azure в диалоговом окне создания службы
• Улучшена обработка ошибок при загрузке файлов
• Улучшены рабочие процессы для управления выставлением счетов

Обновление версии ClickHouse 22.10

• Улучшены слияния на основе объектных хранилищ, ослабив порог "слишком много частей" при наличии большого числа больших частей (не менее 10 ГБ). Это позволяет хранить до петабайта данных в одной партиции одной таблицы.
• Улучшен контроль над слиянием с помощью параметра min_age_to_force_merge_seconds, чтобы сливать после определенного порога времени.
• Добавлен синтаксис, совместимый с MySQL, для сброса параметров SET setting_name = DEFAULT.
• Добавлены функции для кодирования кривой Мортон, хеширования целых чисел Java и генерации случайных чисел.
• Смотрите подробный журнал изменений 22.10 для полного списка изменений.

25 октября 2022 г.

Этот релиз значительно снижает потребление вычислений для небольших нагрузок, снижает ценовое предложение на вычисления (подробности см. на странице цен), улучшает стабильность за счет лучших значений по умолчанию и улучшает представления по выставлению счетов и использованию в консоли ClickHouse Cloud.

Общие изменения

• Снижено минимальное выделение памяти для службы до 24 ГБ
• Снижено время простоя службы с 30 минут до 5 минут

Изменения конфигурации

• Максимальное количество частей в сумме уменьшено с 100 тыс. до 10 тыс. Значение по умолчанию параметра max_parts_in_total для таблиц MergeTree было снижено с 100 000 до 10 000. Причина этого изменения заключается в том, что мы наблюдали, что большое количество частей данных может вызвать медленное время запуска служб в облаке. Большое количество частей, как правило, указывает на выбор слишком гранулированного ключа партиционирования, что обычно происходит случайно и должно быть избегнуто. Изменение значения по умолчанию позволит ранее обнаружить эти случаи.

Изменения в консоли

• Улучшены детали использования кредитов на странице выставления счета для пользователей с пробным сроком
• Улучшены подсказки и текст помощи, добавлена ссылка на страницу цен в представлении использования
• Улучшен рабочий процесс при переключении параметров фильтрации IP
• Добавлена кнопка повторной отправки подтверждения электронной почты в облачной консоли

4 октября 2022 г. - Бета

ClickHouse Cloud начал свою публичную бета-версию 4 октября 2022 года. Узнайте больше в этом блоге.

Версия ClickHouse Cloud основана на ядре ClickHouse v22.10. Для получения списка совместимых функций обратитесь к руководству по Совместимости с облаком.