跳转到主内容
跳转到主内容

数据摄取

ClickHouse 集成了多种用于数据集成和转换的解决方案。 如需更多信息,请参阅以下页面:

数据摄取工具描述
Airbyte一个开源的数据集成平台。支持创建 ELT 数据管道,并内置 140 多个开箱即用的连接器。
Apache Spark一个多语言引擎,可在单机或集群上执行数据工程、数据科学和机器学习任务。
Apache Flink通过 Flink 的 DataStream API 实现向 ClickHouse 的实时数据摄取和处理,并支持批量写入。
Amazon Glue由 Amazon Web Services (AWS) 提供的全托管、无服务器数据集成服务,可简化为分析、机器学习和应用程序开发进行数据发现、准备和转换的过程。
Artie一款全托管的实时数据流平台,可将生产环境数据复制到 ClickHouse,从而在生产环境中解锁客户分析、业务运营工作流以及 Agentic AI 能力。
Azure Synapse由 Microsoft Azure 提供的全托管云端分析服务,将大数据与数据仓库相结合,通过 SQL、Apache Spark 和数据管道,简化大规模的数据集成、转换和分析。
Azure Data Factory一项基于云的数据集成服务,使您能够在大规模环境中创建、调度和编排数据工作流。
Apache Beam一个开源的统一编程模型,使开发者可以定义并执行批处理和流式(持续)数据处理管道。
BladePipe一款端到端实时数据集成工具,具备亚秒级延迟,可在各个平台之间实现无缝数据流转。
dbt使分析工程师能够仅通过编写 select 语句来对数据仓库中的数据进行转换。
dlt一个开源库,您可以将其添加到 Python 脚本中,将来自各种、且往往较为杂乱的数据源的数据加载为结构良好、实时更新的数据集。
Estuary一款实时数据平台,可实现毫秒级延迟的 ETL 管道,并提供灵活的部署选项。
Fivetran一个自动化数据移动平台,用于在云数据平台之间以及进出云数据平台移动数据。
NiFi一款开源工作流管理软件,用于自动化软件系统之间的数据流。
Vector一条高性能的可观测性数据管道,使组织能够掌控其可观测性数据。