Desenvolvendo com ClickHouse usando Moose OLAP

Moose OLAP é um módulo central do Moose Stack, um kit de ferramentas open source para desenvolvedores criarem backends analíticos em tempo real em TypeScript e Python. O Moose OLAP oferece abstrações voltadas para desenvolvedores e funcionalidades semelhantes às de um ORM, desenvolvidas nativamente para o ClickHouse.

Principais recursos do Moose OLAP

Esquemas como código: Defina suas tabelas do ClickHouse em TypeScript ou Python com segurança de tipos e autocompletar na IDE
Consultas com segurança de tipos: Escreva consultas SQL com verificação de tipos e suporte a autocompletar
Desenvolvimento local: Desenvolva e teste em instâncias locais do ClickHouse sem afetar a produção
Gerenciamento de migrações: Faça o controle de versão das alterações no esquema e gerencie migrações por meio de código
Streaming em tempo real: Suporte nativo para integrar o ClickHouse ao Kafka ou Redpanda para ingestão em streaming
APIs REST: Gere facilmente APIs REST totalmente documentadas com base nas suas tabelas e views do ClickHouse

Primeiros passos em menos de 5 minutos

Para acessar os guias mais recentes e completos de Instalação e Primeiros passos, consulte a documentação do Moose Stack. Ou siga este guia para colocar o Moose OLAP em funcionamento em uma implantação existente do ClickHouse ou ClickHouse Cloud em menos de 5 minutos.

Pré-requisitos

Node.js 20+ OU Python 3.12+ - Necessário para desenvolvimento em TypeScript ou Python
Docker Desktop - Para um ambiente de desenvolvimento local
macOS/Linux - O Windows funciona via WSL2

Instale o Moose

Instale a CLI do Moose globalmente no seu sistema:

bash -i <(curl -fsSL https://fiveonefour.com/install.sh) moose

Configure seu projeto

Opção A: Use sua própria instância existente do ClickHouse

Importante: Seu ClickHouse de produção permanecerá intacto. Isso apenas inicializará um novo projeto Moose OLAP com modelos de dados derivados das suas tabelas do ClickHouse.

# TypeScript
moose init my-project --from-remote <YOUR_CLICKHOUSE_CONNECTION_STRING> --language typescript

# Python
moose init my-project --from-remote <YOUR_CLICKHOUSE_CONNECTION_STRING> --language python

Sua string de conexão do ClickHouse deve estar neste formato:

https://username:password@host:port/?database=database_name

Opção B: use o ClickHouse playground

Ainda não tem o ClickHouse em execução? Use o ClickHouse playground para experimentar o Moose OLAP!

# TypeScript
moose init my-project --from-remote https://explorer:@play.clickhouse.com:443/?database=default --language typescript

# Python
moose init my-project --from-remote https://explorer:@play.clickhouse.com:443/?database=default --language python

Instale as dependências

# TypeScript
cd my-project
npm install

# Python
cd my-project
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Você deverá ver: Successfully generated X models from ClickHouse tables

Explore seus modelos gerados

A CLI do Moose gera automaticamente interfaces TypeScript ou modelos Pydantic em Python a partir das suas tabelas existentes do ClickHouse.Confira seus novos modelos de dados no arquivo app/index.ts.

Inicie o desenvolvimento

Inicie seu servidor de desenvolvimento para criar uma instância local do ClickHouse com todas as suas tabelas de produção recriadas automaticamente a partir das definições no seu código:

moose dev

Importante: Seu ClickHouse de produção permanecerá intacto. Isso cria um ambiente de desenvolvimento local.

Popule seu banco de dados local

Popule seus dados na instância local do ClickHouse:

A partir do seu próprio ClickHouse

moose seed --connection-string <YOUR_CLICKHOUSE_CONNECTION_STRING> --limit 100

A partir do ClickHouse playground

moose seed --connection-string https://explorer:@play.clickhouse.com:443/?database=default --limit 100

Criando com Moose OLAP

Agora que você tem suas tabelas definidas em código, passa a contar com os mesmos benefícios dos modelos de dados de ORM em aplicações web: segurança de tipos e preenchimento automático ao criar APIs e visões materializadas sobre seus dados analíticos. Como próximo passo, você pode tentar:

Criar uma API REST com Moose API
Fazer ingestão ou transformar dados com Moose Workflows ou Moose Streaming
Explorar como colocar em produção com Moose Build e Moose Migrate

Obtenha ajuda e mantenha-se conectado

Aplicação de referência: Conheça a aplicação de referência de código aberto, Area Code: um repositório inicial com todos os componentes necessários para uma aplicação com muitos recursos, pronta para uso corporativo e que exige infraestrutura especializada. Há duas aplicações de exemplo: User Facing Analytics e Operational Data Warehouse.
Comunidade no Slack: Conecte-se com os mantenedores do Moose Stack no Slack para receber suporte e compartilhar feedback
Assista a tutoriais: Tutoriais em vídeo, demos e conteúdos aprofundados sobre os recursos do Moose Stack no YouTube
Contribua: Confira o código, contribua com o Moose Stack e relate problemas no GitHub

​Principais recursos do Moose OLAP

​Primeiros passos em menos de 5 minutos

​Pré-requisitos

​Opção A: Use sua própria instância existente do ClickHouse

​Opção B: use o ClickHouse playground

​A partir do seu próprio ClickHouse

​A partir do ClickHouse playground

​Obtenha ajuda e mantenha-se conectado