词典序
GCS ClickPipe 假定文件会按词典序添加到存储桶中,并依赖这种隐含顺序依次摄取文件。这意味着,任何新文件的名称都必须在词典序上大于最后一个已摄取的文件。例如,名为file1、file2 和 file3 的文件会依次被摄取;但如果向存储桶中新增一个 file 0,它将被忽略,因为该文件名在词典序上并不大于最后一个已摄取的文件。
在这种模式下,GCS ClickPipe 会先对指定路径中的所有文件执行初始加载,然后按可配置的时间间隔轮询新文件 (默认每 30 秒一次) 。若要在某个特定文件之后开始持续摄取,请配置 Start after。ClickPipes 将跳过在词典序上小于或等于配置值的文件,并从该点继续摄取较新的文件。
任意顺序
可以通过设置一个接收桶通知的 Google Cloud Pub/Sub 订阅,将 GCS ClickPipe 配置为摄取不具有隐式顺序的文件。这样一来,ClickPipes 就可以监听对象创建事件,并摄取任何新文件,而无需依赖文件命名约定。公共桶不支持无序模式。该模式要求使用服务账号身份验证 (可使用上传的私钥或 GCP Workload Identity) ,并且需要一个连接到该桶的 Google Cloud Pub/Sub 订阅。
OBJECT_FINALIZE 通知。对于先前已处理过的文件、不匹配该路径的文件,或其他类型事件的任何消息,都会被忽略。若要仅摄取通过订阅传递的文件,请启用跳过初始加载。启用后,ClickPipes 会跳过对所选路径中现有文件的初始扫描,只处理通过 Pub/Sub 订阅传递的文件。
对象存储 ClickPipes 遵循 POSIX 文件模式匹配标准。所有模式均区分大小写,匹配的是存储桶 名称之后的完整路径。为获得更好的性能,请尽可能使用最具体的模式 (例如使用 data-2024-*.csv,而不是 *.csv) 。
示例:
https://bucket.s3.amazonaws.com/folder/*.csvhttps://bucket.s3.amazonaws.com/logs/**/data.jsonhttps://bucket.s3.amazonaws.com/file-?.parquethttps://bucket.s3.amazonaws.com/data-2024-*.csv.gz
示例:
https://bucket.s3.amazonaws.com/{documents-01,documents-02}.jsonhttps://bucket.s3.amazonaws.com/file-{1..100}.csvhttps://bucket.s3.amazonaws.com/{logs,metrics}/data.parquet
_file 虚拟列加入列映射列表。_file 虚拟列包含源对象的文件名,可用于查询哪些文件已处理。
GCS ClickPipe 支持公有和私有存储桶。不支持请求者付费存储桶。
ClickPipes 使用的服务账号必须在存储桶级别具备以下权限:
此角色包含 storage.objects.list 和 `storage.objects.get IAM 权限,允许 ClickPipes 列出并拉取指定存储桶中的对象。
使用无序模式时,服务账号必须对该 Pub/Sub 订阅具有以下角色:
roles/pubsub.subscriber— 用于接收并确认消息。roles/pubsub.viewer— 用于获取订阅元数据。
GCP Workload Identity (Beta)
按照 GCP Workload Identity 指南,从 ClickPipes 服务上下文中获取托管服务账号。在源桶上为该账号授予roles/storage.objectViewer 角色,然后使用 SERVICE_ACCOUNT_WORKLOAD_IDENTITY 身份验证方式创建管道。如需以 unordered 模式摄取,还需在现有的通知订阅上为该账号授予 roles/pubsub.subscriber 和 roles/pubsub.viewer 角色,并使用该订阅的完全限定名称:projects/<project-id>/subscriptions/<subscription-id>。
HMAC 凭据
要使用 HMAC 密钥进行身份验证,请在设置 ClickPipe 连接时,在 身份验证方法 中选择Credentials。然后,分别在 Access key 和 Secret key 中填写访问密钥 (例如 GOOGTS7C7FUP3AIRVJTE2BCDKINBTES3HC2GY5CBFJDCQ2SYHV6A6XXVTJFSA) 和秘密密钥 (例如 bGoa+V7g/yqDXvKRqq+JTFn4uQZbPiQJo4pf9RzJ)。

网络访问
GCS ClickPipes 分别通过两条不同的网络路径执行元数据发现和数据摄取:对应为 ClickPipes 服务和 ClickHouse Cloud 服务。如果你想额外配置一层网络安全措施 (例如出于合规原因) ,则必须为这两条路径都配置网络访问。-
对于基于 IP 的访问控制,你的 GCS 存储桶的 IP 过滤规则 必须允许 此处 列出的 ClickPipes 服务区域静态 IP,以及 ClickHouse Cloud 服务的静态 IP。要获取你的 ClickHouse Cloud 区域的静态 IP,请打开终端并运行:
高级设置
ClickPipes 提供了合理的默认设置,能够满足大多数使用场景的需求。如果您的场景需要进一步微调,可以调整以下设置:
https://storage.googleapis.com/ 存储桶前缀 (而非 gs://) ,并使用 HMAC 密钥 进行身份验证。
也支持目标表上的 materialized views。ClickPipes 不仅会为目标表创建暂存表,也会为任何依赖的 materialized view 创建暂存表。
我们不会为非物化视图创建暂存表。这意味着,如果你的目标表有一个或多个下游 materialized views,这些 materialized views 应避免通过基于目标表的视图来查询数据。否则,你可能会发现 materialized view 中会缺失数据。