데이터 수집
ClickHouse는 데이터 통합 및 변환을 위한 다양한 솔루션과 통합됩니다. 자세한 내용은 아래 페이지를 확인하십시오.
| Data Ingestion Tool | Description |
|---|---|
| Airbyte | 오픈소스 데이터 통합 플랫폼입니다. ELT 데이터 파이프라인을 생성할 수 있으며, 기본 제공 커넥터를 140개 이상 포함합니다. |
| Apache Spark | 단일 노드 머신 또는 클러스터에서 데이터 엔지니어링, 데이터 과학, 머신 러닝 작업을 실행하기 위한 다중 언어 엔진입니다. |
| Apache Flink | Flink의 DataStream API를 통해 ClickHouse로 데이터를 실시간 수집 및 처리할 수 있으며, 배치 쓰기도 지원합니다. |
| Amazon Glue | Amazon Web Services(AWS)에서 제공하는 완전관리형 서버리스 데이터 통합 서비스로, 분석, 머신 러닝, 애플리케이션 개발을 위해 데이터를 탐색, 준비, 변환하는 과정을 간소화합니다. |
| Artie | 프로덕션 데이터를 ClickHouse로 복제하여 고객 대상 분석, 운영 워크플로, 프로덕션 환경의 Agentic AI를 구현할 수 있도록 지원하는 완전관리형 실시간 데이터 스트리밍 플랫폼입니다. |
| Azure Synapse | Microsoft Azure에서 제공하는 완전관리형 클라우드 기반 분석 서비스로, SQL, Apache Spark, 데이터 파이프라인을 사용해 대규모 데이터 통합, 변환, 분석을 간소화할 수 있도록 빅데이터와 데이터 웨어하우징을 결합합니다. |
| Azure Data Factory | 대규모 데이터 워크플로를 생성, 예약, 오케스트레이션할 수 있도록 지원하는 클라우드 기반 데이터 통합 서비스입니다. |
| Apache Beam | 개발자가 배치 및 스트림(연속) 데이터 처리 파이프라인을 모두 정의하고 실행할 수 있도록 지원하는 오픈소스 통합 프로그래밍 모델입니다. |
| BladePipe | 1초 미만의 지연 시간으로 플랫폼 전반에서 원활한 데이터 흐름을 지원하는 실시간 엔드 투 엔드 데이터 통합 도구입니다. |
| dbt | 분석 엔지니어가 select 문만 작성하여 데이터 웨어하우스의 데이터를 변환할 수 있도록 지원합니다. |
| dlt | 다양한 소스, 그리고 정제되지 않은 경우가 많은 데이터 소스의 데이터를 구조화된 실시간 데이터세트로 로드할 수 있도록 Python 스크립트에 추가할 수 있는 오픈소스 라이브러리입니다. |
| Estuary | 유연한 배포 옵션과 함께 밀리초 수준의 지연 시간을 제공하는 ETL 파이프라인을 지원하는 right-time 데이터 플랫폼입니다. |
| Fivetran | 클라우드 데이터 플랫폼 전반에서 데이터를 내보내고, 가져오고, 서로 이동시키는 자동화된 데이터 이동 플랫폼입니다. |
| NiFi | 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 오픈소스 워크플로 관리 소프트웨어입니다. |
| Vector | 조직이 관측성 데이터를 직접 제어할 수 있도록 지원하는 고성능 관측성 데이터 파이프라인입니다. |
