xgboost (XGBOOST) 字典会在加载时基于由训练行组成的源表训练一个 XGBoost 梯度提升模型,然后针对传入的任意特征向量预测数值型目标。特征列即字典键,唯一的属性则是模型要学习的目标。
它适用于特征为数值型的表格回归和二元分类场景,例如根据多项测量值预测某个值,或依据学习到的目标为行打分。不支持多分类目标 (参见布局参数) 。
XGBoost 集成目前为实验性功能。在创建 仅支持
XGBOOST 字典或调用 predictXGBoost 之前,请先通过 enable_xgboost 设置启用该功能:CREATE DICTIONARY:在服务器配置文件中定义的 XGBOOST 字典将无法加载。predictXGBoost 是查询该字典的唯一方式:它以单独参数的形式接收各个特征,返回预测结果,并支持额外的预测参数。该字典保存的是训练好的模型而非行数据,因此不支持通用的字典接口 (dictGet、dictHas 和 SELECT * FROM dict) ,调用时会报错。
快速入门
下面我们以线性目标y = 2*x1 + 3*x2 为例训练一个回归模型。
1. 创建一个存放训练行的源表,依次包含各特征列和目标列:
XGBOOST 布局——以特征列作为键,y 作为目标属性:
PRIMARY KEY (x1, x2) 将 x1 和 x2 指定为特征。模型要学习的目标是 y,它被推断为唯一不属于键的那一列;LAYOUT 中的参数为 XGBoost 超参数 (参见布局参数) 。
4. 预测 — predictXGBoost 按位置接收各特征,并返回预测结果:
2*1 + 3*2 = 8,因此模型的预测值接近 8。
工作原理
训练 (在加载时) 。 每个源行都是一条(features..., target) 观测数据。字典加载时,会逐块读取数据源,然后在整个数据集上对模型进行一次训练。特征值和目标值均以浮点数形式读取,因此键列必须为数值类型,目标属性必须为浮点类型 (参见字典结构) 。
预测 (在查询时) 。 进行预测时,模型接收特征向量 (顺序与键列的声明顺序一致) ,将其输入训练好的 booster,并返回一个 Float64 值。值为 NULL 的特征会作为缺失值传给模型,XGBoost 会按训练期间学到的方式处理缺失值,因此预测结果永远不会是 NULL。当所有特征均为常量时,模型每个块只计算一次,而不是每行计算一次。
模型不会被持久化。 模型仅存在于内存中,生命周期与字典的加载周期相同,每次加载时 (包括服务器重启后) 都会基于数据源重新训练。
重新训练模型。 由于每次加载都会从零开始训练,执行 SYSTEM RELOAD DICTIONARY 即可基于源表的当前内容重新训练模型:
LIFETIME 同样会触发重新训练,因为由生命周期触发的重新加载本身就是一次普通加载。随着训练数据不断增长,可借助它定期刷新模型。
字典结构
XGBOOST 字典具有固定的形态:
PRIMARY KEY由一个或多个原生数值类型 (整数和浮点数) 的列组成,这些列即为特征。在查询时,这个“键”是您传入用于预测的特征向量,而不是已存储的查找键。特征顺序与键列的声明顺序一致,predictXGBoost会按此顺序绑定其位置参数。- 此外,还需声明有且仅有一个类型为
Float32或Float64的属性,作为模型学习的目标。该属性始终被推断为不属于特征键的那一列——没有用于指定它的参数,且声明多个属性会报错。
布局参数
仅接受下列参数;使用任何其他名称都会导致加载失败,因此拼写错误会在模型训练时暴露出来,而不会被静默忽略。num_iterations 由 ClickHouse 处理 (参见其描述) ;其余所有参数都会以字符串形式原样转发给 XGBoost booster,并沿用 XGBoost 自身的默认值和取值范围——参见 XGBoost 参数参考文档。
参数名称不区分大小写,且每个参数只能指定一次。取值必须是正整数、浮点数或带引号的字符串:负数字面量在到达布局之前就会被字典 DDL 本身拒绝,因此无法将
seed 设为负数。
例如,下面的字典还额外设置了步长 eta:
预测参数
predictXGBoost 可在特征之后接受一个可选的尾随常量 Map,用于传入 XGBoost 预测参数,该 Map 通过 map 构建:
XGBoosterPredictFromDMatrix 的预测参数。仅接受下列键,使用其他任何键都会导致查询失败。所有参数均为整数或布尔类型,因此 Map 的值必须为整数类型。
说明
-
计算型字典语义。 这是一个计算型字典:它保存的是训练好的模型,而不是行,且只能通过
predictXGBoost进行查询。通用字典接口均不支持,调用时会报错,包括:dictGet(没有可供查找的已存储属性——此处的“键”是用于预测的特征向量) 、dictHas(不存储任何键) 、SELECT * FROM dict,以及将该字典作为表进行连接。由于predictXGBoost是唯一的入口点,每次预测都必须启用enable_xgboost设置。 -
仅支持数值列。 每个特征 (键) 列都必须是原生数值类型,目标属性则必须为
Float32或Float64。训练和预测时,所有值均按浮点数读取。predictXGBoost的特征参数也可以是Nullable,参见工作原理。 -
system.dictionaries不会报告已存储的条目。 该字典训练的是模型,而不存储行,因此element_count为0(与direct字典相同) ,bytes_allocated同样为0:训练好的模型由 XGBoost 持有,而 XGBoost 不会报告其占用的内存量。query_count和found_rate统计的是predictXGBoost传给模型的行数;若某次调用的所有特征均为常量,则每个块只计算一次,因此每个块只计为一行,而非每行各计一次。 -
重新加载失败时会保留之前的模型。 如果重新训练失败 (例如源表已被删除、其 schema 已更改,或某个超参数不再被接受) ,字典并不会因此开始返回预测失败,而是继续使用最后一次训练成功的模型提供服务,同时记录该错误。比较
system.dictionaries中的last_successful_update_time与last_exception,即可判断模型是否仍反映当前的源数据: -
XGBoost 的消息会写入服务器日志。 这些消息通过
XGBoost日志记录器、按 XGBoost 自身指定的级别写入,并关联到执行训练或预测的查询,因此也会出现在system.text_log中。调高verbosity即可查看更多消息。 -
特征顺序很重要。
predictXGBoost会按声明顺序将按位置传入的特征参数依次绑定到各键列,且特征参数的数量必须与键列数量一致。