数据摄取
ClickHouse 与多个数据集成和转换解决方案集成。 有关更多信息,请查看以下页面:
数据摄取工具 | 描述 |
---|---|
Airbyte | 一个开源的数据集成平台。它允许创建 ELT 数据管道,并带有超过 140 个现成的连接器。 |
Apache Spark | 一个多语言引擎,用于在单节点机器或集群上执行数据工程、数据科学和机器学习 |
Amazon Glue | 由亚马逊网络服务 (AWS) 提供的完全托管、无服务器数据集成服务,简化了发现、准备和转换数据以进行分析、机器学习和应用开发的过程。 |
Azure Synapse | 由 Microsoft Azure 提供的完全托管的基于云的分析服务,结合大数据和数据仓库,通过使用 SQL、Apache Spark 和数据管道,简化了大规模的数据集成、转换和分析。 |
Azure Data Factory | 一种基于云的数据集成服务,允许您创建、调度和编排大规模的数据工作流。 |
Apache Beam | 一个开源的统一编程模型,使开发人员能够定义和执行批处理和流(连续)数据处理管道。 |
BladePipe | 一个实时端到端数据集成工具,具有亚秒级延迟,促进跨平台的无缝数据流动。 |
dbt | 使分析工程师能够通过简单地编写选择语句在其数据仓库中转换数据。 |
dlt | 一个开源库,您可以将其添加到 Python 脚本中,以将数据从各种通常杂乱的数据源加载到结构良好、实时的数据集中。 |
Fivetran | 一个自动化数据移动平台,可以在您的云数据平台之间移动数据。 |
NiFi | 一个开源工作流管理软件,旨在自动化软件系统之间的数据流。 |
Vector | 一个高性能的可观察性数据管道,使组织能够掌控其可观察性数据。 |