ベストプラクティス

​

メッセージ圧縮

​

制限事項

• DEFAULT はサポートされていません。
• 個々のメッセージのサイズは、最小の (XS) レプリカサイズで実行する場合、デフォルトで 16MB (非圧縮) まで、より大きいレプリカでは 32MB (非圧縮) までに制限されます。この上限を超えるメッセージは、エラーとなり拒否されます。より大きなメッセージが必要な場合は、サポートにお問い合わせください。

​

配信セマンティクス

• High-water mark — パーティション内のすべてのレコードが ClickHouse に挿入されたことが確認されているオフセットです。再起動時、ClickPipes はこのマーク以下のレコードをすべて破棄するため、すでに到達済みのデータが再送されることはありません。
• Pending ranges — ClickHouse に送信済みだが、まだ確認されていない insert block のオフセット範囲です。障害発生後、ClickPipes はこれらの範囲のみを再生します。

​

トゥームストーンの処理

• Delete matching rows は、論理削除を使用して、一致する行を宛先テーブルから削除します。このオプションは、exactly-once セマンティクスが有効な場合にのみ利用できます。論理削除はコストの高い処理であるため、大規模なワークロードには適していません。
• Mark rows as deleted は、各トゥームストーンを 1 行として書き込みます。大規模なワークロードには、こちらのオプションを推奨します。ReplacingMergeTree の宛先テーブルを作成し、_is_deleted 仮想カラムを選択してください。ClickPipes は、この仮想カラムをエンジンの is_deleted カラムとして設定します。

​

認証

​

Warpstream フェッチサイズ

​

IAM

• SASL/SCRAM-SHA-512 認証
• IAM 認証情報またはロールベースのアクセス 認証

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect"
            ],
            "Resource": [
                "arn:aws:kafka:us-west-2:12345678912:cluster/clickpipes-testing-brokers/b194d5ae-5013-4b5b-ad27-3ca9f56299c9-10"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:ReadData"
            ],
            "Resource": [
                "arn:aws:kafka:us-west-2:12345678912:topic/clickpipes-testing-brokers/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:us-east-1:12345678912:group/clickpipes-testing-brokers/*"
            ]
        }
    ]
}

​

信頼関係の設定

{
    "Version": "2012-10-17",
    "Statement": [
        ...
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::12345678912:role/CH-S3-your-clickhouse-cloud-role"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

​

カスタム証明書

​

パフォーマンス

​

バッチ処理

• バッチサイズが上限に達した場合 (100,000行、またはポッドメモリ 1GB あたり 28MB)
• バッチの保持時間が上限に達した場合 (5秒)

​

レイテンシー

​

スケーリング

​

ベンチマーク

• ClickHouse 側の insert 処理がスループットのボトルネックにならないよう、十分なリソースを備えた本番用の ClickHouse Cloud サービスを使用しました。
• ClickHouse Cloud サービス、Kafka クラスター (Confluent Cloud) 、ClickPipe は、いずれも同じリージョン (us-east-2) で稼働していました。
• ClickPipe は、L サイズの単一レプリカ (4 GiB の RAM と 1 vCPU) で構成しました。
• サンプルデータには、UUID、String、Int のデータ型が混在するネストされたデータが含まれていました。Float、Decimal、DateTime などの他のデータ型では、パフォーマンスが低下する可能性があります。
• 圧縮データと非圧縮データで、顕著な性能差は見られませんでした。