xgboost (XGBOOST) entrena un modelo de gradient boosting de XGBoost en el momento de carga, a partir de una tabla de origen con filas de entrenamiento, y después predice un destino numérico para cualquier vector de características que se le pase. Las columnas de características forman la clave del diccionario, y el único atributo es el destino que aprende el modelo.
Resulta adecuado para tareas de regresión tabular y de clasificación binaria con características numéricas; por ejemplo, para pronosticar un valor a partir de varias mediciones o para puntuar filas con respecto a un destino aprendido. Los objetivos multiclase no son compatibles (consulte Parámetros de disposición).
La integración de XGBoost es experimental. Actívela con el parámetro de configuración Solo se admite
enable_xgboost antes de crear un diccionario XGBOOST o de llamar a predictXGBoost:CREATE DICTIONARY: un diccionario XGBOOST definido en un archivo de configuración del servidor no se carga.predictXGBoost es la única forma de consultar el diccionario: recibe las características como argumentos individuales, devuelve la predicción y acepta parámetros de predicción adicionales. Como el diccionario contiene un modelo entrenado en lugar de filas, la interfaz genérica de diccionarios (dictGet, dictHas y SELECT * FROM dict) no es compatible y devuelve un error.
Guía de inicio rápido
En este ejemplo entrenamos un regresor con el destino linealy = 2*x1 + 3*x2.
1. Cree una tabla de origen con filas de entrenamiento: primero las columnas de características y, a continuación, el destino:
XGBOOST: las columnas de características forman la clave e y es el atributo destino:
PRIMARY KEY (x1, x2) convierte x1 y x2 en las características. El destino que aprende el modelo es y, que se infiere como la única columna que no forma parte de la clave; los parámetros de LAYOUT son hiperparámetros de XGBoost (consulte Parámetros de disposición).
4. Predecir — predictXGBoost recibe las características por posición y devuelve la predicción:
2*1 + 3*2 = 8, por lo que la predicción del modelo se aproxima a 8.
Cómo funciona
Entrenamiento (en el momento de carga). Cada fila de la fuente es una observación(features..., target). Cuando se carga el diccionario, la fuente se lee bloque a bloque y, después, el modelo se entrena una sola vez sobre el conjunto completo. Los valores de las características y del destino se leen como números de coma flotante, por lo que las columnas de clave deben ser numéricas y el atributo destino debe ser de coma flotante (consulte Estructura del diccionario).
Predicción (en el momento de la consulta). Para predecir, el modelo toma el vector de características (en el mismo orden en que se declararon las columnas de clave) y lo pasa por el booster entrenado, que devuelve un Float64. Una característica NULL se pasa al modelo como valor ausente, que XGBoost trata según lo aprendido durante el entrenamiento, por lo que la predicción nunca es NULL. Cuando todas las características son constantes, el modelo se evalúa una vez por bloque en lugar de una vez por fila.
El modelo no se persiste. Solo existe en memoria mientras el diccionario permanece cargado y se vuelve a entrenar a partir de la fuente en cada carga, incluso tras reiniciar el servidor.
Reentrenamiento del modelo. Como cada carga entrena el modelo desde cero, SYSTEM RELOAD DICTIONARY lo vuelve a entrenar con el contenido actual de la tabla de origen:
LIFETIME distinto de cero también provoca un reentrenamiento, ya que una recarga activada por la duración es una carga normal. Úselo para actualizar el modelo periódicamente a medida que aumentan los datos de entrenamiento.
Estructura del diccionario
Un diccionarioXGBOOST tiene una forma fija:
- La
PRIMARY KEYestá formada por una o más columnas de un tipo numérico nativo (enteros y números de coma flotante): las características. En el momento de la consulta, esta “clave” es el vector de características que se pasa para obtener la predicción, no una clave de búsqueda almacenada. El orden de las características corresponde al orden en que se declaran las columnas clave, ypredictXGBoostasocia sus argumentos posicionales siguiendo ese orden. - Además, declare exactamente un atributo de tipo
Float32oFloat64: el destino que aprende el modelo. Siempre se infiere como la única columna que no forma parte de la clave de características; no existe ningún parámetro para indicarlo, y declarar más de un atributo produce un error.
Parámetros de disposición
Solo se aceptan los parámetros que se enumeran a continuación; cualquier otro nombre provoca un error en la carga, de modo que los errores tipográficos se detectan al entrenar el modelo en lugar de ignorarse silenciosamente.num_iterations lo gestiona ClickHouse (consulte su descripción); todos los demás parámetros se redirigen sin cambios al booster de XGBoost, como cadena, y adoptan el valor predeterminado y el rango de valores propios de XGBoost. Consulte la referencia de parámetros de XGBoost.
Los nombres de los parámetros no distinguen entre mayúsculas y minúsculas, y cada uno solo puede indicarse una vez. Los valores deben ser un entero positivo, un número de coma flotante o una cadena entre comillas: el propio DDL del diccionario rechaza los literales negativos antes de que lleguen a la disposición, por lo que no es posible indicar un
seed negativo.
Por ejemplo, un diccionario que además establece el tamaño del paso eta:
Parámetros de predicción
predictXGBoost acepta, como argumento final opcional después de las características, un Map constante con parámetros de predicción de XGBoost, construido con map:
XGBoosterPredictFromDMatrix de XGBoost. Solo se aceptan las claves que se indican a continuación; cualquier otra clave hace que la consulta falle. Todos los parámetros son de tipo integer o boolean, por lo que los valores del Map deben ser de un tipo entero.
Notas
-
Semántica de diccionario computacional. Este es un diccionario computacional: contiene un modelo entrenado, no filas, y
predictXGBoostes la única forma de consultarlo. La interfaz genérica de diccionarios no es compatible y devuelve un error:dictGet(no hay ningún atributo almacenado que buscar; la “clave” es un vector de características a partir del cual se predice),dictHas(no se almacenan claves),SELECT * FROM dicty hacer join con el diccionario como si fuera una tabla. Dado quepredictXGBoostes el único punto de entrada, el parámetro de configuraciónenable_xgboostdebe estar habilitado en cada predicción. -
Solo columnas numéricas. Todas las columnas de características (clave) deben ser de un tipo numérico nativo, y el atributo de destino debe ser
Float32oFloat64. Los valores se leen como números de coma flotante durante el entrenamiento y la predicción. Los argumentos de características depredictXGBoosttambién pueden serNullable; consulte Cómo funciona. -
system.dictionariesno muestra elementos almacenados. El diccionario entrena un modelo en lugar de almacenar filas, por lo queelement_countes0, igual que en un diccionariodirect, ybytes_allocatedtambién es0: el modelo entrenado pertenece a XGBoost, que no informa de cuánta memoria ocupa.query_countyfound_ratecuentan las filas quepredictXGBoostpasa al modelo; una llamada cuyas características son todas constantes se evalúa una vez por bloque, por lo que cuenta una fila por bloque y no una por cada fila. -
Si una recarga falla, se conserva el modelo anterior. Si el reentrenamiento falla (la tabla de origen ya no existe, su esquema ha cambiado o un hiperparámetro ya no se acepta), las predicciones del diccionario no empiezan a fallar. Sigue sirviendo el último modelo entrenado correctamente y se limita a registrar el error. Compare
last_successful_update_timeconlast_exceptionensystem.dictionariespara saber si el modelo sigue reflejando los datos de origen actuales: -
Los mensajes de XGBoost se envían al registro del servidor. Se escriben con el logger
XGBoost, con el nivel que les asigna XGBoost, y se asocian a la consulta que entrena o predice, por lo que también aparecen ensystem.text_log. Aumenteverbositypara ver más mensajes. -
El orden de las características es importante.
predictXGBoostasocia sus argumentos posicionales de características a las columnas de clave según el orden de declaración, y el número de argumentos de características debe coincidir con el número de columnas de clave.