> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
# Каталог Nessie
> В этом руководстве мы покажем, как выполнять запросы к вашим данным с помощью ClickHouse и каталога Nessie.
export const ExperimentalBadge = () => {
return ;
};
Интеграция с каталогом Nessie работает только с таблицами Iceberg.
Эта интеграция поддерживает как AWS S3, так и других провайдеров облачных хранилищ.
ClickHouse поддерживает интеграцию с несколькими каталогами (Unity, Glue, REST, Polaris и т. д.). В этом руководстве показано, как выполнять запросы к данным с помощью ClickHouse и каталога [Nessie](https://projectnessie.org/).
Nessie — это транзакционный каталог с открытым исходным кодом для озер данных, который предоставляет:
* **Управление версиями данных в стиле Git** с помощью веток и коммитов
* **Межтабличные транзакции** и гарантии видимости
* **Соответствие REST API** спецификации Iceberg REST-каталога
* **Открытый подход к озерам данных** с поддержкой Hive, Spark, Dremio, Trino и других систем
* **Готовность к промышленной эксплуатации** при развертывании в Docker или Kubernetes
Поскольку эта возможность является экспериментальной, ее нужно включить с помощью:
`SET allow_experimental_database_iceberg = 1;`
## Локальная среда разработки
Для локальной разработки и тестирования можно использовать контейнеризированную установку Nessie. Такой подход хорошо подходит для обучения, прототипирования и работы в средах разработки.
### Предварительные требования
1. **Docker и Docker Compose**: Убедитесь, что Docker установлен и запущен
2. **Пример настройки**: Вы можете использовать официальную конфигурацию docker-compose для Nessie
### Настройка локального каталога Nessie
Вы можете использовать официальную [конфигурацию docker-compose для Nessie](https://projectnessie.org/guides/), которая предоставляет полноценное окружение с Nessie, хранилищем версий в памяти и MinIO в качестве объектного хранилилища.
**Шаг 1:** Создайте новую папку, в которой будете запускать пример, затем создайте файл `docker-compose.yml` со следующей конфигурацией:
```yaml theme={null}
version: '3.8'
services:
nessie:
image: ghcr.io/projectnessie/nessie:latest
ports:
- "19120:19120"
environment:
- nessie.version.store.type=IN_MEMORY
- nessie.catalog.default-warehouse=warehouse
- nessie.catalog.warehouses.warehouse.location=s3://my-bucket/
- nessie.catalog.service.s3.default-options.endpoint=http://minio:9000/
- nessie.catalog.service.s3.default-options.access-key=urn:nessie-secret:quarkus:nessie.catalog.secrets.access-key
- nessie.catalog.service.s3.default-options.path-style-access=true
- nessie.catalog.service.s3.default-options.auth-type=STATIC
- nessie.catalog.secrets.access-key.name=admin
- nessie.catalog.secrets.access-key.secret=password
- nessie.catalog.service.s3.default-options.region=us-east-1
- nessie.server.authentication.enabled=false
depends_on:
minio:
condition: service_healthy
networks:
- iceberg_net
minio:
image: quay.io/minio/minio
ports:
- "9002:9000"
- "9003:9001"
environment:
- MINIO_ROOT_USER=admin
- MINIO_ROOT_PASSWORD=password
- MINIO_REGION=us-east-1
healthcheck:
test: ["CMD", "mc", "ready", "local"]
interval: 5s
timeout: 10s
retries: 5
start_period: 30s
entrypoint: >
/bin/sh -c "
minio server /data --console-address ':9001' &
sleep 10;
mc alias set myminio http://localhost:9000 admin password;
mc mb myminio/my-bucket --ignore-existing;
tail -f /dev/null"
networks:
- iceberg_net
clickhouse:
image: clickhouse/clickhouse-server:head
container_name: nessie-clickhouse
user: '0:0' # Ensures root permissions
ports:
- "8123:8123"
- "9000:9000"
volumes:
- clickhouse_data:/var/lib/clickhouse
- ./clickhouse/data_import:/var/lib/clickhouse/data_import # Mount dataset folder
networks:
- iceberg_net
environment:
- CLICKHOUSE_DB=default
- CLICKHOUSE_USER=default
- CLICKHOUSE_DO_NOT_CHOWN=1
- CLICKHOUSE_PASSWORD=
depends_on:
nessie:
condition: service_started
minio:
condition: service_healthy
volumes:
clickhouse_data:
networks:
iceberg_net:
driver: bridge
```
**Шаг 2:** Выполните следующую команду, чтобы запустить службы:
```bash theme={null}
docker compose up -d
```
**Шаг 3:** Подождите, пока все сервисы не будут готовы. Вы можете посмотреть журналы:
```bash theme={null}
docker-compose logs -f
```
В конфигурации Nessie используется хранилище версий в памяти, поэтому сначала необходимо загрузить тестовые данные в таблицы Iceberg. Прежде чем пытаться выполнять запросы к этим таблицам через ClickHouse, убедитесь, что в среде они уже созданы и заполнены данными.
### Подключение к локальному каталогу Nessie
Подключитесь к контейнеру ClickHouse:
```bash theme={null}
docker exec -it nessie-clickhouse clickhouse-client
```
Затем создайте в базе данных подключение к каталогу Nessie:
```sql theme={null}
SET allow_experimental_database_iceberg = 1;
CREATE DATABASE demo
ENGINE = DataLakeCatalog('http://nessie:19120/iceberg', 'admin', 'password')
SETTINGS catalog_type = 'rest', storage_endpoint = 'http://minio:9002/my-bucket', warehouse = 'warehouse'
```
## Выполнение запросов к таблицам каталога Nessie в ClickHouse
Теперь, когда соединение установлено, вы можете выполнять запросы к таблицам через каталог Nessie. Например:
```sql theme={null}
USE demo;
SHOW TABLES;
```
Если в вашей конфигурации есть демонстрационные данные (например, набор данных о такси), вы должны увидеть такие таблицы, как:
```response theme={null}
┌─name──────────┐
│ default.taxis │
└───────────────┘
```
Если вы не видите таблиц, обычно это означает одно из следующего:
1. В окружении еще не созданы демонстрационные таблицы
2. Сервис каталога Nessie еще не полностью инициализирован
3. Процесс загрузки демонстрационных данных еще не завершен
Чтобы посмотреть активность каталога, проверьте журналы Nessie:
```bash theme={null}
docker-compose logs nessie
```
Чтобы выполнить запрос к таблице (если она доступна):
```sql theme={null}
SELECT count(*) FROM `default.taxis`;
```
```response theme={null}
┌─count()─┐
│ 2171187 │
└─────────┘
```
**Требуются обратные кавычки**
Обратные кавычки требуются, так как ClickHouse не поддерживает более одного пространства имен.
Чтобы просмотреть DDL таблицы:
```sql theme={null}
SHOW CREATE TABLE `default.taxis`;
```
```response theme={null}
┌─statement─────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE demo.`default.taxis` │
│ ( │
│ `VendorID` Nullable(Int64), │
│ `tpep_pickup_datetime` Nullable(DateTime64(6)), │
│ `tpep_dropoff_datetime` Nullable(DateTime64(6)), │
│ `passenger_count` Nullable(Float64), │
│ `trip_distance` Nullable(Float64), │
│ `RatecodeID` Nullable(Float64), │
│ `store_and_fwd_flag` Nullable(String), │
│ `PULocationID` Nullable(Int64), │
│ `DOLocationID` Nullable(Int64), │
│ `payment_type` Nullable(Int64), │
│ `fare_amount` Nullable(Float64), │
│ `extra` Nullable(Float64), │
│ `mta_tax` Nullable(Float64), │
│ `tip_amount` Nullable(Float64), │
│ `tolls_amount` Nullable(Float64), │
│ `improvement_surcharge` Nullable(Float64), │
│ `total_amount` Nullable(Float64), │
│ `congestion_surcharge` Nullable(Float64), │
│ `airport_fee` Nullable(Float64) │
│ ) │
│ ENGINE = Iceberg('http://localhost:9002/my-bucket/default/taxis/', 'admin', '[HIDDEN]') │
└───────────────────────────────────────────────────────────────────────────────────────────────┘
```
## Загрузка данных из озера данных в ClickHouse
Если вам нужно загрузить данные из каталога Nessie в ClickHouse, начните с создания локальной таблицы в ClickHouse:
```sql theme={null}
CREATE TABLE taxis
(
`VendorID` Int64,
`tpep_pickup_datetime` DateTime64(6),
`tpep_dropoff_datetime` DateTime64(6),
`passenger_count` Float64,
`trip_distance` Float64,
`RatecodeID` Float64,
`store_and_fwd_flag` String,
`PULocationID` Int64,
`DOLocationID` Int64,
`payment_type` Int64,
`fare_amount` Float64,
`extra` Float64,
`mta_tax` Float64,
`tip_amount` Float64,
`tolls_amount` Float64,
`improvement_surcharge` Float64,
`total_amount` Float64,
`congestion_surcharge` Float64,
`airport_fee` Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(tpep_pickup_datetime)
ORDER BY (VendorID, tpep_pickup_datetime, PULocationID, DOLocationID);
```
Затем загрузите данные из таблицы в вашем каталоге Nessie с помощью `INSERT INTO SELECT`:
```sql theme={null}
INSERT INTO taxis
SELECT * FROM demo.`default.taxis`;
```