数据摄取
ClickHouse 集成了多种数据集成和转换解决方案。 有关更多信息,请查看以下页面:
数据摄取工具 | 描述 |
---|---|
Airbyte | 一个开源的数据集成平台。它允许创建 ELT 数据管道,并配备了140多个即插即用连接器。 |
Apache Spark | 一个多语言引擎,旨在执行数据工程、数据科学和机器学习,适用于单节点机器或集群 |
Amazon Glue | 由亚马逊网络服务(AWS)提供的完全托管的无服务器数据集成服务,简化了数据发现、准备和转换的过程,适用于分析、机器学习和应用程序开发。 |
Azure Synapse | 由微软 Azure 提供的完全托管的基于云的分析服务,结合大数据和数据仓库,通过 SQL、Apache Spark 和数据管道简化大规模的数据集成、转换和分析。 |
Azure Data Factory | 一项基于云的数据集成服务,允许您创建、调度和编排大规模的数据工作流。 |
Apache Beam | 一个开源的统一编程模型,使开发者能够定义和执行批处理和流(连续)数据处理管道。 |
dbt | 使分析工程师能够通过简单地编写选择语句,在他们的数据仓库中转换数据。 |
dlt | 一个开源库,您可以将其添加到 Python 脚本中,以从各种通常较为混乱的数据源加载数据到结构良好的、实时的数据集中。 |
Fivetran | 一个自动化的数据移动平台,将数据在您的云数据平台之间、之内和之外移动。 |
NiFi | 一个开源的工作流管理软件,旨在自动化软件系统之间的数据流。 |
Vector | 一个高性能的可观察性数据管道,使组织能够控制其可观察性数据。 |