iceberg_delete_data_on_drop
执行 drop 时,是否删除所有 Iceberg 文件。iceberg_file_entries_queue_size
Iceberg data manifest 解码任务与查询之间队列的容量,以数据文件条目数计。 队列已满且查询未消费数据时,解码任务会暂停,因此该设置也限定了预读量。 必须大于零。iceberg_list_only_v_prefixed_metadata_files
在 S3 或 Azure 上查找按路径读取的 Iceberg 表的最新元数据文件时,仅列出键前缀metadata/v,从而避免列出同样存储在 metadata 目录中的清单文件。如果该前缀下存在 .metadata.json 文件,则仅将这些文件作为候选结果;否则会列出整个目录。使用 iceberg_use_version_hint、iceberg_metadata_file_path、iceberg_metadata_table_uuid 或 iceberg_recent_metadata_file_by_last_updated_ms_field 时,该设置不生效;该设置也不适用于数据湖目录数据库中的表。
仅当表的所有元数据文件均以 v<N>... 命名时 (ClickHouse 和 Hadoop 目录均采用此命名方式) 才应启用此设置:如果目录中还存在 <N>-<uuid>.metadata.json 文件,这些文件永远不会成为候选结果,因此其写入器提交的变更将无法被识别。
iceberg_manifest_decode_concurrency
别名:iceberg_delete_manifest_decode_concurrency
读取表时并发解码的 Iceberg manifest 文件的最大数量。
所有 delete manifest 都会在读取任何数据文件之前解码完成;data manifest 则在生成查询所需的数据文件列表的过程中解码,且只有当查询消费掉已解码的条目后,才会继续解码新的 manifest。同时解码多个 manifest,可以让对象存储的往返请求与逐条目的裁剪工作重叠进行。
当 Iceberg 元数据文件缓存被禁用或已满时,取值越高峰值内存占用越大,因为此时每个处理中的 manifest 都会各自持有自己解码后的内容。
该值必须大于零;取 1 表示逐个解码 manifest。
iceberg_manifest_min_count_to_compact
通过 OPTIMIZE TABLE … MANIFEST 触发仅针对 manifest 的合并整理所需的最少 manifest 文件数量。 如果当前 manifest 文件数量小于或等于该阈值,则会跳过合并整理。 需要启用 allow_experimental_iceberg_compaction。 该默认值与 Iceberg 表属性commit.manifest.min-count-to-merge 的文档默认值 (100) 保持一致,
参见 https://iceberg.apache.org/docs/1.5.2/configuration/。
iceberg_max_number_datafiles_to_compact
Iceberg 中参与合并整理的数据文件数量阈值。iceberg_orphan_files_min_retention_seconds
ALTER TABLE ... EXECUTE remove_orphan_files 可从 Iceberg 表中删除的文件的最小存留时间 (以秒为单位) 。如果 older_than (显式指定或由 iceberg_orphan_files_older_than_seconds 推导得出) 与当前时间的间隔小于该值,则会被拒绝:尚未提交的写入所产生的文件尚未被表元数据引用,因而会被删除,待该写入提交时就会导致表损坏。请将该值设置为大于对该表的单次写入完成提交可能耗费的最长时间。设置为 0 时禁用此检查。
iceberg_orphan_files_older_than_seconds
Iceberg 表中删除孤立文件时使用的默认文件期限阈值 (以秒为单位) 。新于该阈值的文件不会被视为孤立文件。当在remove_orphan_files() 过程调用中省略 older_than 参数时,将使用此设置。默认值为 259200 (3 天) 。
iceberg_snapshot_id
使用指定的快照 ID 查询 Iceberg 表。iceberg_timestamp_ms
使用特定时间戳对应的快照查询 Iceberg 表。iceberg_tolerate_conflicting_manifest_schemas
启用时,如果 Iceberg manifest 文件的 schema-id 已在 metadata.json 中注册,则使用 metadata.json 中的 schema,并直接忽略 manifest 文件头schema 键中的副本,不做任何比较。禁用时,会将 manifest 头中的副本与 metadata.json 中的 schema 进行比较,一旦存在冲突,查询将以 ICEBERG_SPECIFICATION_VIOLATION 错误失败。
manifest 头中的 schema 只是 manifest 写入时表 schema 的一份副本,而据观察,某些写入器 (例如 AWS S3 Tables 维护作业) 会在其中存储质量降级的副本。其他查询引擎均从 metadata.json 解析 schema 并忽略存在差异的头部副本,因此这里的默认行为与之保持一致。但两个 metadata.json schema 定义之间的冲突始终仍会导致查询失败。