Пакетные вставки
Ввод данных в больших объемах
По умолчанию каждая вставка, отправленная в ClickHouse, вызывает немедленное создание части в хранилище, содержащей данные из вставки вместе с другой метаданными, которые необходимо сохранить. Поэтому отправка меньшего количества вставок, каждая из которых содержит больше данных, по сравнению с отправкой большего количества вставок, каждая из которых содержит меньше данных, уменьшит количество необходимых записей. Обычно мы рекомендуем вставлять данные довольно большими партиями, как минимум по 1,000 строк за раз, а в идеале от 10,000 до 100,000 строк. Для достижения этого рекомендуется реализовать механизм буфера, например, используя Buffer table Engine для включения пакетных вставок, или использовать асинхронные вставки (см. асинхронные вставки).
Независимо от размера ваших вставок, мы рекомендуем держать количество запросов на вставку около одного запроса на вставку в секунду. Причина этой рекомендации заключается в том, что созданные части объединяются в более крупные части в фоновом режиме (для оптимизации ваших данных для запросов на чтение), и отправка слишком большого количества запросов на вставку в секунду может привести к ситуациям, когда фоновое слияние не успевает за количеством новых частей. Тем не менее, вы можете использовать более высокую скорость запросов на вставку в секунду, когда используете асинхронные вставки (см. асинхронные вставки).