urlCluster

지정된 클러스터의 여러 노드에서 URL의 파일을 병렬로 처리할 수 있습니다. 이니시에이터에서는 클러스터의 모든 노드에 연결을 생성하고, URL 파일 경로의 별표(*)를 해석해 각 파일을 동적으로 분배합니다. 워커 노드에서는 처리할 다음 작업을 이니시에이터에 요청한 뒤 이를 처리합니다. 이 과정은 모든 작업이 완료될 때까지 반복됩니다.

구문

urlCluster(cluster_name, URL, format, structure)

인수

인수	설명
`cluster_name`	원격 및 로컬 서버의 주소 집합과 연결 매개변수를 구성하는 데 사용하는 클러스터 이름입니다.
`URL`	`GET` 요청을 받을 수 있는 HTTP 또는 HTTPS 서버 주소입니다. 유형: String.
`format`	데이터의 포맷입니다. 유형: String.
`structure`	`'UserID UInt64, Name String'` 포맷의 테이블 구조입니다. 컬럼 이름과 타입을 결정합니다. 유형: String.

반환 값

지정된 포맷과 구조를 가지며, 지정한 URL의 데이터를 포함하는 테이블입니다.

예시

CSV 포맷으로 응답하는 HTTP 서버에서 String 및 UInt32 타입의 컬럼이 있는 테이블의 처음 3줄을 가져오는 예시입니다.

표준 Python 3 도구를 사용해 기본 HTTP 서버를 만들고 시작합니다:

from http.server import BaseHTTPRequestHandler, HTTPServer

class CSVHTTPServer(BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/csv')
        self.end_headers()

        self.wfile.write(bytes('Hello,1\nWorld,2\n', "utf-8"))

if __name__ == "__main__":
    server_address = ('127.0.0.1', 12345)
    HTTPServer(server_address, CSVHTTPServer).serve_forever()

SELECT * FROM urlCluster('cluster_simple','http://127.0.0.1:12345', CSV, 'column1 String, column2 UInt32')

URL의 글롭 패턴

{ } 안의 패턴은 세그먼트 집합을 생성하거나 장애 조치 주소를 지정하는 데 사용됩니다. 지원되는 패턴 유형과 예시는 remote 함수 설명을 참조하십시오. 패턴 내부의 문자 |는 장애 조치 주소를 지정하는 데 사용됩니다. 이 주소들은 패턴에 나열된 순서대로 순회됩니다. 생성되는 주소 수는 glob_expansion_max_elements 설정으로 제한됩니다. 주소는 클러스터(cluster)의 노드에 작업이 할당될 때 하나씩 생성됩니다. 따라서 url 함수 설명에 나와 있듯이, glob_expansion_max_elements는 패턴의 크기가 아니라 단일 쿼리(query)가 읽을 수 있는 주소 수를 제한합니다. 각 주소가 생성될 때 _path 또는 _file 프레디케이트(predicate)가 적용되므로, 조건에 맞지 않는 주소도 생성되어 제한 수에 포함됩니다. 조건에 맞는 주소만 전달됩니다.

SQL 참고

데이터 타입

엔진

함수

포맷

설정

시스템 테이블

데이터 레이크

구문

인수

반환 값

예시

URL의 글롭 패턴

​구문

​인수

​반환 값

​예시

​URL의 글롭 패턴

​관련 문서

구문

인수

반환 값

예시

URL의 글롭 패턴

관련 문서