- 실행형 UDFs는 외부 프로그램이나 스크립트(Python, Bash 등)를 시작한 뒤, STDIN / STDOUT을 통해 데이터 블록을 해당 프로그램으로 스트리밍합니다. ClickHouse를 다시 컴파일하지 않고도 기존 코드나 도구를 통합할 때 사용할 수 있습니다. 프로세스 내부 옵션보다 호출당 오버헤드가 크므로, 더 무거운 로직을 처리하거나 다른 런타임이 필요한 경우에 가장 적합합니다.
- SQL UDFs는
CREATE FUNCTION을 사용해 SQL만으로 정의합니다. 쿼리 계획에 인라인되어 확장되므로(프로세스 경계 없음) 가볍고, 표현식 로직을 재사용하거나 복잡한 계산 컬럼을 단순화하는 데 적합합니다. - Experimental WebAssembly UDFs는 서버 프로세스 내 샌드박스에서 WebAssembly로 컴파일된 코드를 실행합니다. 외부 실행형보다 호출당 오버헤드가 낮고 네이티브 확장 기능보다 격리 수준이 높아, WASM을 대상으로 할 수 있는 언어(예: C/C++/Rust)로 작성한 사용자 정의 알고리즘에 적합합니다.
- Experimental driver-based executable UDFs는 연산자가 제공하는 “드라이버”가
CREATE FUNCTION ... ENGINE = DriverName(...) AS '...'에 제공된 코드 스니펫을 함수 생성 시점에 실행형 UDF로 변환하도록 합니다(예를 들어 컴파일을 통해). 이는 실행형 UDFs를 기반으로 하며, 서버 측 드라이버 구성이 필요합니다.
실행형 사용자 정의 함수
ClickHouse Cloud에서 실행형 UDF는 퍼블릭 베타로 제공되며 Cloud Console UI를 통해 생성됩니다. Cloud 전용 절차는 User-defined functions in Cloud를 참조하십시오.
user_defined_executable_functions_config 매개변수로 지정합니다.
함수 구성에는 다음 설정이 포함됩니다:
명령은
STDIN에서 인수를 읽고 결과를 STDOUT으로 출력해야 합니다. 또한 인수를 반복적으로 처리해야 합니다. 즉, 인수 청크 하나를 처리한 뒤 다음 청크를 기다려야 합니다.
실행형 사용자 정의 함수
예시
인라인 스크립트로 만든 UDF
execute_direct를 0으로 지정하고 test_function_sum을 수동으로 생성합니다.
- XML
- YAML
파일
test_function.xml(기본 경로 설정 기준 /etc/clickhouse-server/test_function.xml)./etc/clickhouse-server/test_function.xml
Query
Result
Python 스크립트로 만든 UDF
STDIN에서 값을 읽어 문자열로 반환하는 UDF를 생성합니다.
XML 또는 YAML 구성으로 test_function을 생성합니다.
- XML
- YAML
파일
test_function.xml(기본 경로 설정 기준: /etc/clickhouse-server/test_function.xml)./etc/clickhouse-server/test_function.xml
user_scripts 폴더에 스크립트 파일 test_function.py를 생성합니다(기본 경로 설정 기준: /var/lib/clickhouse/user_scripts/test_function.py).
Query
Result
STDIN에서 두 값을 읽어 그 합을 JSON 객체로 반환하기
test_function_sum_json을 생성합니다.
- XML
- YAML
파일
test_function.xml(기본 경로 설정 기준: /etc/clickhouse-server/test_function.xml)./etc/clickhouse-server/test_function.xml
user_scripts 폴더에 스크립트 파일 test_function_sum_json.py를 생성합니다(기본 경로 설정 기준: /var/lib/clickhouse/user_scripts/test_function_sum_json.py).
Query
Result
command 설정에서 매개변수 사용
command 설정에 지정된 상수 매개변수를 받을 수 있습니다(이 기능은 executable 유형의 사용자 정의 함수에서만 작동합니다).
또한 셸 인수 확장 취약점을 방지하려면 execute_direct 옵션도 필요합니다.
- XML
- YAML
파일
test_function_parameter_python.xml (기본 경로 설정 기준: /etc/clickhouse-server/test_function_parameter_python.xml)./etc/clickhouse-server/test_function_parameter_python.xml
user_scripts 폴더에 스크립트 파일 test_function_parameter_python.py를 생성하십시오(기본 경로 설정 기준: /var/lib/clickhouse/user_scripts/test_function_parameter_python.py).
Query
Result
셸 스크립트로 UDF 만들기
- XML
- YAML
파일
test_function_shell.xml (/etc/clickhouse-server/test_function_shell.xml, 기본 경로 설정 기준)./etc/clickhouse-server/test_function_shell.xml
user_scripts 폴더 안에 스크립트 파일 test_shell.sh를 만듭니다 (/var/lib/clickhouse/user_scripts/test_shell.sh, 기본 경로 설정 기준).
/var/lib/clickhouse/user_scripts/test_shell.sh
Query
Result
오류 처리
인수 표현식의 평가
&&, ||, ?: 같은 연산자가 여기에 해당합니다.
ClickHouse에서는 함수(연산자)의 인수가 항상 평가됩니다.
이는 각 행을 개별적으로 계산하지 않고 컬럼의 전체 파트를 한 번에 평가하기 때문입니다.
분산 쿼리 처리에서 함수 실행
SELECT f(sum(g(x))) FROM distributed_table GROUP BY h(y), 에서
distributed_table에 세그먼트가 2개 이상 있으면 함수 ‘g’와 ‘h’는 원격 서버에서 수행되고, 함수 ‘f’는 요청자 서버에서 수행됩니다.distributed_table에 세그먼트가 1개만 있으면 ‘f’, ‘g’, ‘h’ 함수가 모두 이 세그먼트가 있는 서버에서 수행됩니다.
hostName 함수가 있습니다. 이 함수는 SELECT 쿼리에서 서버별로 GROUP BY를 수행할 수 있도록, 자신이 실행 중인 서버의 이름을 반환합니다.
쿼리의 함수가 요청자 서버에서 수행되지만 이를 원격 서버에서 수행해야 한다면, 해당 함수를 ‘any’ 집계 함수로 감싸거나 GROUP BY의 키에 추가할 수 있습니다.
SQL 사용자 정의 함수
WebAssembly 사용자 정의 함수
빠른 시작
추가 정보
드라이버 기반 실행형 사용자 정의 함수
이 기능은 실험적 기능이며, 향후 릴리스에서 하위 호환되지 않는 방식으로 변경될 수 있습니다.
allow_experimental_executable_udf_drivers 서버 설정으로 활성화하십시오.ENGINE = DriverName(...)으로 생성하면 ClickHouse는 드라이버의 create_command를 실행하면서 함수 시그니처와 코드 본문을 전달합니다. 그러면 드라이버는 본문을 컴파일하거나 다른 방식으로 처리한 뒤 실행형 UDF 구성 정보를 출력하고, ClickHouse는 이를 저장한 후 로드합니다.
이를 통해 관리자는 사용자에게 서버의 설정 파일이나 파일 시스템에 대한 접근 권한을 부여하지 않고도, 임의의 언어(예: 샌드박스된 컨테이너 내부에서 컴파일한 C)로 함수를 정의할 수 있는 안전하고 제한된 방식을 제공할 수 있습니다. 사용 가능한 드라이버는 전적으로 운영자가 제어합니다.
드라이버 활성화
-
서버 구성에서 experimental gate를 설정합니다.
-
user_defined_executable_function_drivers_config이 하나 이상의 드라이버 설정 파일(glob 지원)을 가리키도록 설정하고, 필요에 따라 생성된 실행형 UDF 구성이 저장되는 디렉터리인dynamic_user_defined_executable_functions_path도 설정합니다.
SYSTEM RELOAD CONFIG 시 갱신되므로, 서버를 재시작하지 않고도 드라이버를 추가, 변경 또는 제거할 수 있습니다.
드라이버 구성
<driver> 요소를 포함하는 XML(또는 YAML) 파일로 정의됩니다. 지원되는 필드는 다음과 같습니다.
예시 드라이버 구성:
Driver 호출 규약
CREATE FUNCTION이 실행되면, 구성된 env 변수가 설정된 상태에서 create_command가 다음 인수와 함께 호출됩니다.
--name <function_name>--return <return_type>(RETURNS절이 있는 경우)--args <signature>(ARGUMENTS절이 있는 경우). 여기서 시그니처는 선언된 인수 목록이며, 예를 들면x UInt8, y DateTime입니다.ENGINE = DriverName(key = value)에 제공된 선언된 각 엔진 인수마다--<key> <value>
AS 뒤의 텍스트)은 명령의 표준 입력으로 전달됩니다. 명령은 실행형 UDF의 구성을 표준 출력에 출력해야 합니다. 포맷은 자동으로 감지됩니다. 출력이 <로 시작하면 XML로 처리되고, 그렇지 않으면 YAML로 처리됩니다. 생성된 구성에 정의된 함수 이름은 생성 중인 이름과 일치해야 합니다. create_command가 0이 아닌 종료 상태로 끝나면 종료 코드와 드라이버의 표준 오류를 포함한 예외와 함께 구문이 실패합니다.
drop_command가 있으면 함수가 삭제될 때도 동일한 방식으로 호출됩니다(stdin에는 코드 본문이 없음).
함수 생성
create_command를 실행하고, 생성된 구성을 dynamic_user_defined_executable_functions_path에 기록한 뒤 기존 실행형 UDF 로더가 이를 읽어들입니다. 이후 이 함수는 다른 함수와 동일하게 호출할 수 있습니다.
함수 삭제
DROP FUNCTION은 드라이버의 drop_command(있는 경우)를 호출한 다음, 생성된 동적 구성과 함수별 작업 디렉터리를 제거하고, 실행형 UDF 로더를 다시 로드하며, 영구 저장된 쿼리를 삭제합니다.
영속성 및 재시작
ATTACH FUNCTION ... 구문으로 저장되므로, 서버를 재시작해도 함수가 유지됩니다. 시작 시에는 dynamic_user_defined_executable_functions_path에 생성된 구성이 드라이버를 다시 실행하지 않고 직접 로드됩니다. 저장된 ATTACH FUNCTION에 해당하는 생성된 구성이 없으면(예: 동적 디렉터리가 손실된 경우) 이를 다시 만들기 위해 드라이버를 다시 실행합니다.
제한 사항
- 이 기능은 실험 단계 기능이며,
allow_experimental_executable_udf_drivers를 활성화해야 사용할 수 있습니다. - 드라이버 기반 함수는 복제된 사용자 정의 함수 저장소(
ON CLUSTER및<user_defined_zookeeper_path>)와 함께 사용할 수 없습니다. 생성된 artifact는 복제되지 않고, 원래 쿼리만 복제되기 때문입니다. - 백업된 드라이버 기반 함수를
RESTORE하면 쿼리는 유지되지만 드라이버는 다시 실행되지 않습니다. 생성된 구성은 이후 재시작 복구 과정에서 구체화됩니다.
예시 C 드라이버
programs/server/user_defined_executable_function_drivers_config.d/ 아래에 제공됩니다. 이들은 예시이며 패키지로는 설치되지 않습니다:
DockerC- 격리된 Docker 컨테이너 내부에서 코드를 컴파일하고 실행하며 (--network=none --read-only --cap-drop=ALL --security-opt=no-new-privileges와 메모리/CPU/PID 제한 사용),executable_poolUDF를 생성합니다.GVisorC- 컴파일된 바이너리를 gVisorrunsc런타임에서 실행하는 변형입니다.UnsafeC- 샌드박스 없이 호스트에서 직접 코드를 컴파일하고 실행합니다. 이름에서 알 수 있듯이 격리를 전혀 제공하지 않으며, 신뢰할 수 있는 환경과 테스트 용도로만 사용하도록 설계되었습니다.