Skip to main content
Бета: только Управляемый ClickStackОповещения на основе обнаружения аномалий находятся в стадии бета-тестирования и доступны в Управляемом ClickStack. В ClickStack с открытым исходным кодом они недоступны. Пока возможность находится в бета-версии, её поведение и значения по умолчанию могут меняться.
Оповещения на основе обнаружения аномалий срабатывают, когда значение выходит за пределы ожидаемого диапазона, а не когда оно превышает фиксированное число. ClickStack определяет ожидаемый диапазон по недавней истории серии, поэтому вам не нужно заранее знать, что считать «слишком большим числом ошибок» или «слишком медленной работой» для каждого сервиса. Используйте обнаружение аномалий, если:
  • Подходящий порог различается для каждого сервиса, конечной точки или клиента, и вы группируете оповещение по этому измерению.
  • Нормальные значения меняются в течение дня, из-за чего любой фиксированный порог либо создаёт шум в часы пик, либо ничего не замечает в остальное время.
  • Резкие изменения — всплески ошибок, скачки задержки или падение трафика до нуля — интересуют вас больше, чем абсолютные уровни.
Используйте оповещение со статическим порогом, если существует жёсткий лимит, который должен соблюдаться всегда, например «задержка p99 выше 2 секунд» или «любой сбой платежа».

Поддерживаемые оповещения

Обнаружение аномалий — это не отдельный тип оповещения, а режим обнаружения, который включается для существующего оповещения. Он доступен для: Обнаружение аномалий недоступно для оповещений по чартам на основе SQL. Если переключить чарт с оповещением об аномалиях в режим SQL, ClickStack преобразует это оповещение в оповещение со статическим порогом. Чтобы сохранить обнаружение аномалий, верните чарт в конструктор.

Создание оповещения об аномалиях

1

Откройте редактор оповещений

Откройте редактор оповещений для сохранённого поиска или чарта на дашборде, как описано в разделе Оповещения.
2

Выберите обнаружение аномалий

В разделе Alert type выберите Anomaly detection. По умолчанию выбран вариант Static threshold.
3

Настройте условие

Условие читается как предложение: Alert when z-score is at least 3 when value is outside expected range compared to the past 2 hours checked every 5 minute.
  • z-score is at least (по умолчанию 3): на сколько стандартных отклонений значение должно отличаться от ожидаемого, чтобы считаться аномальным. Минимум — 0,5; стрелки изменяют значение с шагом 0,5. Чем ниже значение, тем выше чувствительность и тем чаще срабатывает оповещение.
  • When value is (по умолчанию outside expected range): направление отклонения, при котором срабатывает оповещение: above expected, below expected или outside expected range. Используйте above expected для числа ошибок и задержки, а below expected — для пропускной способности или числа регистраций.
  • Compared to the past (по умолчанию 2 часа): глубина истории, по которой ClickStack оценивает обычный разброс значений: 30 минут либо 1, 2, 4, 6, 12 или 24 часа. Чем длиннее базовый период, тем стабильнее диапазон, но тем медленнее он подстраивается под новую норму.
  • Checked every (по умолчанию 5 минут): частота проверки оповещения: 5, 15 или 30 минут либо 1 час. Другие интервалы для оповещений об аномалиях недоступны.
Под условием ClickStack кратко описывает, что будет делать оповещение, например: «Every 5 minutes, values are compared to their typical range from the past 2 hours. Notifies when values rise above the expected range, once per incident.»
Для серий с резкими всплесками лучше использовать above expected или below expected, а не outside expected range. После короткого всплеска ожидаемое значение подстраивается с запаздыванием и ещё несколько минут остаётся завышенным, поэтому возврат к норме тоже может быть расценён как аномалия. В режиме outside expected range один всплеск может вызвать два уведомления.
4

Проверьте бэктест и предварительный просмотр

Строка под сводкой — это бэктест: он прогоняет текущие настройки по недавней истории и показывает, как часто оповещение отправляло бы уведомления, например «Would have notified 6 times in the past 24 hours, firing on 12 of 288 checks.» Для оповещений по поиску бэктест охватывает последние 24 часа, для оповещений по чартам на дашборде — выбранный для чарта временной диапазон, но не более 24 часов. Число подсвечивается жёлтым, если оповещение отправляло бы уведомления чаще 10 раз в сутки.Anomaly detection chart под формой отображает тот же диапазон:
  • Сплошная линия — это серия.
  • Пунктирная линия — ожидаемое базовое значение.
  • Заштрихованная область — зона срабатывания оповещения. Значение, которое выходит за пределы ожидаемого диапазона и попадает в эту зону, вызывает срабатывание.
  • Маркеры Notify показывают, где оповещение отправило бы уведомление.
Если оповещение сгруппировано, бэктест суммирует данные по всем сериям. Нажмите Show breakdown by series, чтобы увидеть, какие серии дали бы больше всего уведомлений. В примере ниже на одну разреженную серию приходится более 40% уведомлений — стоит исключить её или настроить для неё отдельное оповещение.Подбирайте z-оценку, направление и базовый период, пока результаты бэктеста не совпадут с тем, о чём вы хотите получать уведомления. Если оповещение срабатывало бы много раз в сутки, увеличьте z-оценку или выберите более узкое направление.
5

Выберите канал уведомлений и сохраните

Выберите вебхук или другой канал, как и для любого оповещения. См. раздел Добавление вебхука. Сохраните оповещение — после этого начнётся его проверка.

Предупреждения о пригодности

Некоторые серии плохо подходят для обнаружения аномалий. В этом случае перед сохранением под чартом предварительного просмотра появляется предупреждение, однако сохранить оповещение оно не мешает:

Как работает обнаружение аномалий

При каждой оценке ClickStack анализирует окно оценки последовательно, бакет за бакетом. Длительность бакета — 60 секунд. Для каждого бакета:
  1. Ожидаемое значение. ClickStack вычисляет скользящее среднее по 7 бакетам, завершившимся на одно окно оценки раньше. Ожидаемые значения никогда не бывают отрицательными.
  2. Разброс. ClickStack вычисляет в ClickHouse стандартное отклонение серии на базовом интервале, выбранном в поле Compared to the past. Базовый интервал никогда не бывает короче одного окна оценки.
  3. z-оценка. z-оценка вычисляется как (value − expected) / standard deviation.
  4. Решение. Бакет срабатывает, если z-оценка превышает настроенный порог в заданном направлении, а значение отличается от ожидаемого не менее чем на 5% от ожидаемого значения (или на 0,01, если ожидаемое значение равно 0). Порог в 5% не позволяет почти постоянным сериям срабатывать на незначительных колебаниях.
Ожидаемый диапазон равен expected ± z-score × standard deviation и дополнительно расширяется с учётом порога в 5%. В предварительном просмотре всё, что выходит за его пределы, закрашивается как зона срабатывания оповещения. Окно оценки срабатывает, если срабатывает хотя бы один из его бакетов.

Пустые бакеты

То, как ClickStack обрабатывает минуту без данных, зависит от типа агрегации:
  • Количества и суммы (включая оповещения по поиску): пустой бакет оценивается как ноль. Поэтому оповещение с направлением below expected или outside expected range срабатывает, когда трафик полностью прекращается.
  • Средние значения, процентили, минимум, максимум, доли и источники метрик: пустой бакет означает, что измерять было нечего, поэтому он пропускается, а не оценивается как ноль.
Бакет, для которого накоплено недостаточно истории, не оценивается, поэтому по совершенно новой серии оповещение не срабатывает, пока для неё не сформируется базовое значение.

Сгруппированные оповещения

Если оповещение сгруппировано по полю, например ServiceName, каждая группа становится отдельной серией с собственным ожидаемым диапазоном и собственным состоянием оповещения. ClickStack оценивает до 100 серий на одно оповещение, отдавая предпочтение сериям с наибольшим объёмом данных. Серия, по которой уже сработало оповещение, продолжает оцениваться до тех пор, пока оповещение не будет разрешено, даже если она выпадет из первой сотни.

Уведомления и разрешение

Оповещения об аномалиях отправляют одно уведомление на инцидент для каждой серии:
  • Когда серия начинает срабатывать, ClickStack отправляет одно уведомление и переводит серию в состояние оповещения.
  • Пока серия продолжает срабатывать при последующих оценках, повторные уведомления не отправляются.
  • Если в окне оценки нет сработавших бакетов, серия считается разрешённой, и ClickStack отправляет уведомление о разрешении.
Если несколько оценок были пропущены (например, во время сбоя), следующая оценка обрабатывает пропущенные окна, но всё равно отправляет не более одного уведомления о срабатывании на серию. ClickStack выжидает 30 секунд после закрытия окна и только затем оценивает его, чтобы учесть данные, поступившие с опозданием. Уведомления описывают аномалию, а не превышение порога. Например:
  • Заголовок: Alert for "Checkout errors" - value 142 is above the expected range (z-score 4.4)
  • Тело: Value 142 is above the expected range — z-score 4.4 vs sensitivity 3; expected 120 ± 5 (expected range 105 to 135).
В пользовательских названиях и сообщениях оповещений можно ссылаться на бакет, вызвавший уведомление, с помощью {{anomaly.value}}, {{anomaly.expectedValue}}, {{anomaly.expectedStddev}}, {{anomaly.lowerBound}}, {{anomaly.upperBound}} и {{anomaly.zScore}}. Эти значения задаются только в уведомлениях о срабатывании. В уведомлениях о разрешении их нет, поэтому, если одно и то же название или сообщение используется в обоих случаях, оборачивайте их в {{#if anomaly}}...{{/if}}.

Мониторинг оповещений об аномалиях

На странице Alerts выберите в Filter by type значение Anomaly, чтобы отображались только оповещения об аномалиях. В каждой строке описано условие, например «If value is above expected with z-score at least 3». Выберите оповещение, чтобы открыть страницу сведений о нём. Под сводкой условия, в которую входят интервал и базовое значение, ClickStack показывает, сколько раз оповещение срабатывало за весь хранимый период истории, например «Fired 2 times in the past 2 days.» Выберите этот диапазон, чтобы отобразить его на чарте и в истории проверок. В таблице Evaluation History перечислены все проверки с указанием состояния, последнего значения и количества серий в состоянии оповещения. Строки, для которых указана длительность уведомления, означают, что уведомление было отправлено — как при срабатывании оповещения, так и при его разрешении. Если оповещение остаётся в сработавшем состоянии на протяжении 20 или более окон подряд, на странице сведений появляется подсказка о том, что для серии, скорее всего, установилась новая норма, а не возникла аномалия. В этом случае увеличьте порог z-оценки или измените оповещение так, чтобы сравнение выполнялось с более подходящим базовым значением.

Бэктестинг с помощью MCP

С помощью MCP-сервера ClickStack ИИ-ассистент может проверить настройки обнаружения аномалий на исторических данных до того, как вы их сохраните. Инструмент clickstack_backtest_anomaly_alert повторно применяет конфигурацию к истории за период до 24 часов и для каждой серии сообщает, какие уведомления были бы отправлены, а также выдаёт предупреждения о качестве данных. Инструмент работает в режиме только для чтения.

Советы по настройке

  • Оповещение срабатывает слишком часто: повышайте z-оценку с шагом 0,5 или измените направление с outside expected range на ту сторону, которая для вас важна.
  • Оповещение пропустило реальный инцидент: понизьте z-оценку или сократите период базового значения, чтобы диапазон отражал недавнее поведение.
  • Оповещение срабатывает весь день после развертывания: у серии сформировался новый нормальный уровень, а при длинных периодах базового значения адаптация занимает больше времени, чем при коротких.
  • Серии с малым объемом данных: группируйте по меньшему числу измерений или настройте оповещение на более широкий поиск, чтобы в каждой серии было не менее одного события в минуту.