url - ClickHouse Documentation

La función url crea una tabla a partir de una URL con el format y la structure especificados. La función url puede utilizarse en consultas SELECT e INSERT sobre datos de tablas URL.

Sintaxis

url(URL [,format] [,structure] [,headers])

Parámetros

Parámetro	Descripción
`URL`	Una URL entre comillas simples cuyo esquema selecciona el backend. Una URL `http`/`https` (o no reconocida) es una dirección del servidor que acepta peticiones `GET` o `POST` (para consultas `SELECT` o `INSERT`, respectivamente); un esquema no HTTP reconocido (`file://`, `s3://`, `az://`, `hdfs://`, …) se delega a la función de tabla correspondiente; consulte enrutamiento según el esquema de URL. Tipo: String.
`format`	Format de los datos. Tipo: String.
`structure`	Estructura de la tabla en el formato `'UserID UInt64, Name String'`. Determina los nombres de las columnas y sus tipos. Tipo: String.
`headers`	Encabezados en el formato `'headers('key1'='value1', 'key2'='value2')'`. Puede configurar encabezados para la llamada HTTP.

Valor devuelto

Una tabla con el formato y la estructura especificados, y con datos de la URL indicada.

Ejemplos

Obtener las primeras 3 líneas de una tabla que contiene columnas de tipo String y UInt32 desde un servidor HTTP que responde en formato CSV.

SELECT * FROM url('http://127.0.0.1:12345/', CSV, 'column1 String, column2 UInt32', headers('Accept'='text/csv; charset=utf-8')) LIMIT 3;

Insertar datos de una URL en una tabla:

CREATE TABLE test_table (column1 String, column2 UInt32) ENGINE=Memory;
INSERT INTO FUNCTION url('http://127.0.0.1:8123/?query=INSERT+INTO+test_table+FORMAT+CSV', 'CSV', 'column1 String, column2 UInt32') VALUES ('http interface', 42);
SELECT * FROM test_table;

Enrutamiento según el esquema de URL

La función url actúa como un envoltorio unificado sobre las demás funciones de tabla para archivos y almacenamiento de objetos: enruta al backend adecuado según el esquema de la URL. Esto permite leer desde cualquier ubicación admitida con una única sintaxis uniforme.

Esquema	Se enruta a
`http`, `https` (y cualquier esquema no reconocido)	al propio motor `URL` (HTTP `GET`/`POST`)
`file`	a la función `file`
`s3`, `gs`, `gcs`, `oss`	a la función `s3`
`az`, `azure`, `abfss`, `abfs`	a la función `azureBlobStorage`
`hdfs`	a la función `hdfs`

Solo se enrutan los esquemas de S3 que el mapeador de URI de S3 resuelve a un endpoint concreto sin necesidad de configuración adicional (s3, además de gs/gcs/oss). Otros esquemas de proveedores compatibles con S3 (cos, obs, eos, …) son específicos de la región y no tienen una asignación de endpoint predeterminada, por lo que una URL cos://… se trata como un esquema no reconocido y se informa como un error; use directamente la función s3 (con url_scheme_mappers configurado) para esos backends. Para file://, una ruta relativa (file://data.csv) se resuelve dentro del directorio user_files, y una ruta absoluta (file:///home/user/data.csv) debe apuntar dentro de él, como es habitual. Los argumentos format, structure y compression_method, así como la opción url_base, funcionan igual independientemente del destino del enrutamiento.

SELECT * FROM url('file://data.csv', CSV, 'a UInt32, b String');
SELECT * FROM url('s3://clickhouse-public-datasets/hits_compatible/hits.csv');

La selección por esquema aún no está implementada en urlCluster: si se pasa a urlCluster un esquema distinto de http(s), se rechaza con un error. En su lugar, use la función de clúster correspondiente (s3Cluster, azureBlobStorageCluster, hdfsCluster, …) para esos backends.

Globs en URL

Los patrones entre { } se utilizan para generar un conjunto de segmentos o para especificar direcciones de conmutación por error. Para ver los tipos de patrones admitidos y ejemplos, consulte la descripción de la función remote. El carácter | dentro de los patrones se utiliza para especificar direcciones de conmutación por error. Se recorren en el mismo orden en que aparecen en el patrón. El número de direcciones generadas está limitado por la configuración glob_expansion_max_elements. Para la sintaxis de globs en la ruta de la URL (como *, {a,b}, {N..M} y **), consulte Globs en la ruta. Tenga en cuenta que ? inicia la cadena de consulta en una URL y no puede usarse como comodín en el componente de ruta.

Comodines con páginas de índice HTTP

Para url y el motor de tabla URL, ClickHouse puede expandir comodines recuperando páginas de índice HTTP (HTML o texto sin formato) y extrayendo las URL del cuerpo de la respuesta. Esto permite patrones como /**/ cuando el servidor expone listados de directorios. Notas:

Las URL relativas se resuelven con respecto a la URL de la página de índice.
Las plantillas de URL se expanden antes de recuperar las páginas de índice, incluida la expansión de segmentos mediante comas y rangos numéricos, y las opciones de conmutación por error | fuera del componente de ruta.
Los patrones de conmutación por error | dentro del componente de ruta no son compatibles con la expansión de páginas de índice HTTP.
La coincidencia de comodines se aplica al componente de ruta de la URL.
Si una URL listada ya contiene una cadena de consulta o un fragmento, estos tienen prioridad sobre los de la URL de origen. En caso contrario, se usan la cadena de consulta y el fragmento de la URL de origen.
Se permite un listado vacío; los errores HTTP (p. ej., 404) en las páginas de índice generan excepciones.
El tamaño máximo de la página de índice está limitado por max_http_index_page_size.
El número máximo de directorios leídos durante la expansión recursiva está limitado por url_wildcard_max_directories_to_read.

Ejemplo:

SELECT count()
FROM url('https://ftp.gnu.org/gnu/wget/wget-1.21*.tar.gz', 'RawBLOB')
SETTINGS max_threads = 1, allow_experimental_url_wildcard_from_index_pages = 1;

Columnas virtuales

_path — Ruta de la URL. Tipo: LowCardinality(String).
_file — Nombre del recurso de la URL. Tipo: LowCardinality(String).
_size — Tamaño del recurso en bytes. Tipo: Nullable(UInt64). Si se desconoce el tamaño, el valor es NULL.
_time — Fecha y hora de la última modificación del archivo. Tipo: Nullable(DateTime). Si se desconoce la hora, el valor es NULL.
_headers - Encabezados de la respuesta HTTP. Tipo: Map(LowCardinality(String), LowCardinality(String)).

configuración use_hive_partitioning

Cuando la configuración use_hive_partitioning se establece en 1, ClickHouse detecta el particionamiento al estilo Hive en la ruta (/name=value/) y permite usar las columnas de partición como columnas virtuales en la consulta. Estas columnas virtuales tendrán los mismos nombres que en la ruta particionada. Ejemplo Uso de una columna virtual creada con particionamiento al estilo Hive

SELECT * FROM url('http://data/path/date=*/country=*/code=*/*.parquet') WHERE date > '2020-01-01' AND country = 'Netherlands' AND code = 42;

Resolución de URL relativas

La configuración url_base permite pasar una URL relativa a la función url. Cuando se establece url_base y el argumento de la función es una referencia relativa, esta se resuelve con respecto a la URL base según RFC 3986. Las reglas de resolución son:

Relativa a la ruta (p. ej., data.csv): se combina con la ruta de la URL base; todo lo que aparece después de la última / de la ruta base se reemplaza. La barra diagonal final importa: https://example.com/dir/ + data.csv da https://example.com/dir/data.csv, pero https://example.com/dir + data.csv da https://example.com/data.csv. Los segmentos de punto (./ y ../) se normalizan.
Relativa al host (p. ej., /test/data.csv): se resuelve usando el esquema y el host de la URL base.
Relativa al esquema (p. ej., //other.com/test/data.csv): se resuelve usando el esquema de la URL base.
Solo cadena de consulta (p. ej., ?x=1): se añade a la ruta base completa y reemplaza cualquier cadena de consulta o fragmento existente.
Solo fragmento (p. ej., #frag): se añade a la URL base, conserva la cadena de consulta y reemplaza cualquier fragmento existente.
Vacía: devuelve la URL base sin fragmento.
URL absoluta: se pasa sin cambios; url_base se ignora.

Ejemplo

SET url_base = 'https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/';
SELECT * FROM url('tests/queries/0_stateless/data_csv/data.csv', CSV) LIMIT 3;

Configuración de almacenamiento

engine_url_skip_empty_files - permite omitir archivos vacíos durante la lectura. Desactivado de forma predeterminada.
enable_url_encoding - permite activar/desactivar la codificación y decodificación de la ruta en el URI. Activado de forma predeterminada.
url_base - URL base para resolver las URL relativas que se pasan a la función url.

Permisos

La función url requiere el permiso CREATE TEMPORARY TABLE. Por lo tanto, no funcionará para los usuarios con la opción readonly = 1. Se requiere como mínimo readonly = 2.

Columnas virtuales

​Sintaxis

​Parámetros

​Valor devuelto

​Ejemplos

​Enrutamiento según el esquema de URL

​Globs en URL

​Comodines con páginas de índice HTTP

​Columnas virtuales

​configuración use_hive_partitioning

​Resolución de URL relativas

​Configuración de almacenamiento

​Permisos

​Relacionado