Skip to main content
El diccionario xgboost (XGBOOST) entrena un modelo de gradient boosting de XGBoost en el momento de carga, a partir de una tabla de origen con filas de entrenamiento, y después predice un destino numérico para cualquier vector de características que se le pase. Las columnas de características forman la clave del diccionario, y el único atributo es el destino que aprende el modelo. Resulta adecuado para tareas de regresión tabular y de clasificación binaria con características numéricas; por ejemplo, para pronosticar un valor a partir de varias mediciones o para puntuar filas con respecto a un destino aprendido. Los objetivos multiclase no son compatibles (consulte Parámetros de disposición).
La integración de XGBoost es experimental. Actívela con el parámetro de configuración enable_xgboost antes de crear un diccionario XGBOOST o de llamar a predictXGBoost:
Solo se admite CREATE DICTIONARY: un diccionario XGBOOST definido en un archivo de configuración del servidor no se carga.
predictXGBoost es la única forma de consultar el diccionario: recibe las características como argumentos individuales, devuelve la predicción y acepta parámetros de predicción adicionales. Como el diccionario contiene un modelo entrenado en lugar de filas, la interfaz genérica de diccionarios (dictGet, dictHas y SELECT * FROM dict) no es compatible y devuelve un error.

Guía de inicio rápido

En este ejemplo entrenamos un regresor con el destino lineal y = 2*x1 + 3*x2. 1. Cree una tabla de origen con filas de entrenamiento: primero las columnas de características y, a continuación, el destino:
2. Inserte los datos de entrenamiento:
3. Cree el diccionario con la disposición XGBOOST: las columnas de características forman la clave e y es el atributo destino:
PRIMARY KEY (x1, x2) convierte x1 y x2 en las características. El destino que aprende el modelo es y, que se infiere como la única columna que no forma parte de la clave; los parámetros de LAYOUT son hiperparámetros de XGBoost (consulte Parámetros de disposición). 4. Predecir — predictXGBoost recibe las características por posición y devuelve la predicción:
El valor real es 2*1 + 3*2 = 8, por lo que la predicción del modelo se aproxima a 8.

Cómo funciona

Entrenamiento (en el momento de carga). Cada fila de la fuente es una observación (features..., target). Cuando se carga el diccionario, la fuente se lee bloque a bloque y, después, el modelo se entrena una sola vez sobre el conjunto completo. Los valores de las características y del destino se leen como números de coma flotante, por lo que las columnas de clave deben ser numéricas y el atributo destino debe ser de coma flotante (consulte Estructura del diccionario).
El entrenamiento mantiene todo el conjunto de entrenamiento en memoria. Leer la fuente en bloques no equivale a un entrenamiento fuera de memoria (out-of-core): cada bloque se acumula en lugar de consumirse, de modo que todo el conjunto de entrenamiento ya reside en memoria antes de la primera ronda de boosting y permanece en ella hasta la última.
Predicción (en el momento de la consulta). Para predecir, el modelo toma el vector de características (en el mismo orden en que se declararon las columnas de clave) y lo pasa por el booster entrenado, que devuelve un Float64. Una característica NULL se pasa al modelo como valor ausente, que XGBoost trata según lo aprendido durante el entrenamiento, por lo que la predicción nunca es NULL. Cuando todas las características son constantes, el modelo se evalúa una vez por bloque en lugar de una vez por fila. El modelo no se persiste. Solo existe en memoria mientras el diccionario permanece cargado y se vuelve a entrenar a partir de la fuente en cada carga, incluso tras reiniciar el servidor. Reentrenamiento del modelo. Como cada carga entrena el modelo desde cero, SYSTEM RELOAD DICTIONARY lo vuelve a entrenar con el contenido actual de la tabla de origen:
Un valor de LIFETIME distinto de cero también provoca un reentrenamiento, ya que una recarga activada por la duración es una carga normal. Úselo para actualizar el modelo periódicamente a medida que aumentan los datos de entrenamiento.

Estructura del diccionario

Un diccionario XGBOOST tiene una forma fija:
  • La PRIMARY KEY está formada por una o más columnas de un tipo numérico nativo (enteros y números de coma flotante): las características. En el momento de la consulta, esta “clave” es el vector de características que se pasa para obtener la predicción, no una clave de búsqueda almacenada. El orden de las características corresponde al orden en que se declaran las columnas clave, y predictXGBoost asocia sus argumentos posicionales siguiendo ese orden.
  • Además, declare exactamente un atributo de tipo Float32 o Float64: el destino que aprende el modelo. Siempre se infiere como la única columna que no forma parte de la clave de características; no existe ningún parámetro para indicarlo, y declarar más de un atributo produce un error.
Una columna que no cumpla estos requisitos se rechaza al cargar el diccionario, no al crearlo.

Parámetros de disposición

Solo se aceptan los parámetros que se enumeran a continuación; cualquier otro nombre provoca un error en la carga, de modo que los errores tipográficos se detectan al entrenar el modelo en lugar de ignorarse silenciosamente. num_iterations lo gestiona ClickHouse (consulte su descripción); todos los demás parámetros se redirigen sin cambios al booster de XGBoost, como cadena, y adoptan el valor predeterminado y el rango de valores propios de XGBoost. Consulte la referencia de parámetros de XGBoost. Los nombres de los parámetros no distinguen entre mayúsculas y minúsculas, y cada uno solo puede indicarse una vez. Los valores deben ser un entero positivo, un número de coma flotante o una cadena entre comillas: el propio DDL del diccionario rechaza los literales negativos antes de que lleguen a la disposición, por lo que no es posible indicar un seed negativo. Por ejemplo, un diccionario que además establece el tamaño del paso eta:

Parámetros de predicción

predictXGBoost acepta, como argumento final opcional después de las características, un Map constante con parámetros de predicción de XGBoost, construido con map:
Los nombres de los parámetros se corresponden con los parámetros de predicción de XGBoosterPredictFromDMatrix de XGBoost. Solo se aceptan las claves que se indican a continuación; cualquier otra clave hace que la consulta falle. Todos los parámetros son de tipo integer o boolean, por lo que los valores del Map deben ser de un tipo entero.

Notas

  • Semántica de diccionario computacional. Este es un diccionario computacional: contiene un modelo entrenado, no filas, y predictXGBoost es la única forma de consultarlo. La interfaz genérica de diccionarios no es compatible y devuelve un error: dictGet (no hay ningún atributo almacenado que buscar; la “clave” es un vector de características a partir del cual se predice), dictHas (no se almacenan claves), SELECT * FROM dict y hacer join con el diccionario como si fuera una tabla. Dado que predictXGBoost es el único punto de entrada, el parámetro de configuración enable_xgboost debe estar habilitado en cada predicción.
  • Solo columnas numéricas. Todas las columnas de características (clave) deben ser de un tipo numérico nativo, y el atributo de destino debe ser Float32 o Float64. Los valores se leen como números de coma flotante durante el entrenamiento y la predicción. Los argumentos de características de predictXGBoost también pueden ser Nullable; consulte Cómo funciona.
  • system.dictionaries no muestra elementos almacenados. El diccionario entrena un modelo en lugar de almacenar filas, por lo que element_count es 0, igual que en un diccionario direct, y bytes_allocated también es 0: el modelo entrenado pertenece a XGBoost, que no informa de cuánta memoria ocupa. query_count y found_rate cuentan las filas que predictXGBoost pasa al modelo; una llamada cuyas características son todas constantes se evalúa una vez por bloque, por lo que cuenta una fila por bloque y no una por cada fila.
  • Si una recarga falla, se conserva el modelo anterior. Si el reentrenamiento falla (la tabla de origen ya no existe, su esquema ha cambiado o un hiperparámetro ya no se acepta), las predicciones del diccionario no empiezan a fallar. Sigue sirviendo el último modelo entrenado correctamente y se limita a registrar el error. Compare last_successful_update_time con last_exception en system.dictionaries para saber si el modelo sigue reflejando los datos de origen actuales:
  • Los mensajes de XGBoost se envían al registro del servidor. Se escriben con el logger XGBoost, con el nivel que les asigna XGBoost, y se asocian a la consulta que entrena o predice, por lo que también aparecen en system.text_log. Aumente verbosity para ver más mensajes.
  • El orden de las características es importante. predictXGBoost asocia sus argumentos posicionales de características a las columnas de clave según el orden de declaración, y el número de argumentos de características debe coincidir con el número de columnas de clave.