跳到主要内容
跳到主要内容

批量插入

上述机制说明无论插入大小如何,总是存在恒定的开销,使得批量大小成为提升摄取吞吐量的最重要优化因素。批量插入减少了作为总插入时间比例的开销,提高了处理效率。

我们建议以至少1,000行的批量插入数据,理想情况下为10,000到100,000行之间。较少的、大规模的插入减少了写入的分区片段数量,最小化了合并负载,并降低了整体系统资源使用。

要使同步插入策略有效,需要在客户端进行批量处理。

如果您无法在客户端进行数据批量处理,ClickHouse支持异步插入,将批量处理转移到服务器(请参见)。

提示

无论插入的大小如何,我们建议将插入查询的数量保持在每秒大约一个插入查询。推荐的原因是创建的分区片段在后台合并为更大的分区片段(以优化您的数据以便于读取查询),每秒发送过多的插入查询可能会导致后台合并无法跟上新分区片段的数量。然而,当您使用异步插入时(见异步插入),可以使用更高的每秒插入查询速率。