> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
# Перенос данных PostgreSQL с помощью источников данных в ClickPipes
> Узнайте, как перенести базу данных PostgreSQL в ClickHouse Managed Postgres с помощью ClickPipes.
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
export const BetaBadge = ({link, galaxyTrack, galaxyEvent}) => {
if (link) {
return
Бета
;
}
return ;
};
ClickHouse Cloud теперь предлагает ClickPipes для миграции внешней базы данных PostgreSQL в сервис Managed Postgres. Эта встроенная интеграция упрощает подключение к исходной базе данных, экспорт схемы, её импорт в Managed Postgres и настройку непрерывной репликации.
## Предварительные требования
* Доступ к вашей исходной базе данных PostgreSQL с учетной записью пользователя, у которой есть права на репликацию. Следуйте руководству по настройке для соответствующего источника:
* [Amazon RDS Postgres](/docs/ru/integrations/clickpipes/postgres/source/rds)
* [Amazon Aurora Postgres](/docs/ru/integrations/clickpipes/postgres/source/aurora)
* [Supabase Postgres](/docs/ru/integrations/clickpipes/postgres/source/supabase)
* [Google Cloud SQL Postgres](/docs/ru/integrations/clickpipes/postgres/source/google-cloudsql)
* [Azure Flexible Server for Postgres](/docs/ru/integrations/clickpipes/postgres/source/azure-flexible-server-postgres)
* [Neon Postgres](/docs/ru/integrations/clickpipes/postgres/source/neon-postgres)
* [Crunchy Bridge Postgres](/docs/ru/integrations/clickpipes/postgres/source/crunchy-postgres)
* [TimescaleDB](/docs/ru/integrations/clickpipes/postgres/source/timescale)
* [Универсальный источник Postgres](/docs/ru/integrations/clickpipes/postgres/source/generic) для любого другого провайдера или самоуправляемого экземпляра
* Сервис ClickHouse Managed Postgres в качестве целевого сервиса для миграции. Если у вас его еще нет, см. [руководство по быстрому началу](/docs/ru/products/managed-postgres/quickstart).
* На локальной машине должны быть установлены `pg_dump` и `psql`. Оба входят в стандартный набор клиентских инструментов PostgreSQL.
## Что нужно учесть перед миграцией
* **Распространение DDL**: непрерывная репликация (CDC) фиксирует операции DML и `ADD COLUMN`. Другие изменения DDL, такие как `DROP COLUMN` и `ALTER COLUMN`, не распространяются автоматически, и их нужно применять на целевой стороне вручную.
Если во время миграции возникнут проблемы, ознакомьтесь с [FAQ по миграциям Managed Postgres](/docs/ru/products/managed-postgres/migrations/faq), где описаны распространённые ошибки и способы их устранения.
Откройте [консоль ClickHouse Cloud](https://clickhouse.cloud) и выберите свой сервис Managed Postgres.
На левой боковой панели нажмите **источник данных**.
Нажмите **Start import**.
Заполните сведения о подключении к исходной базе данных PostgreSQL: host, port, username, password и имя базы данных. Включите **TLS**, если это требуется для исходной базы.
Если вам нужно приватное подключение к исходной базе данных, можно выбрать **SSH tunneling** и указать необходимые параметры SSH. Это позволит миграции безопасно подключаться к базам данных, которые недоступны из публичной сети.
Выберите метод ингестии:
* **Initial load + CDC** — копирует существующие данные, а затем поддерживает синхронизацию целевой системы с последующими изменениями.
* **Initial load only** — однократное копирование без дальнейшей репликации.
* **CDC only** — пропускает начальное копирование и реплицирует только новые изменения, начиная с этого момента.
Нажмите **Next**.
Мастер покажет команду `pg_dump`, уже заполненную сведениями о подключении к исходной базе данных. Выполните её в терминале:
```shell theme={null}
pg_dump \
-h \
-U \
-d \
--schema-only \
-f pg.sql
```
В результате в текущем каталоге будет создан файл `pg.sql`.
Нажмите **Next**.
Выберите базу данных назначения в раскрывающемся списке или нажмите **Create a new database**, чтобы создать новую.
Мастер покажет команду `psql` для применения дампа схемы к вашему сервису Managed Postgres. Выполните её в терминале:
```shell theme={null}
psql \
-h \
-p 5432 \
-U \
-d \
-f pg.sql
```
Нажмите **Next**.
Укажите публикацию для логической репликации. Если оставить это поле пустым, публикация будет создана автоматически.
Разверните **Advanced replication settings**, чтобы настроить пропускную способность:
| Setting | Default | Description |
| ------------------------------------- | ------- | ----------------------------------------------------------- |
| Sync interval (seconds) | 10 | Как часто опрашивается слот репликации |
| Parallel threads for initial load | 4 | Количество потоков для этапа массового копирования |
| Pull batch size | 100,000 | Количество строк, получаемых за один батч репликации |
| Snapshot number of rows per partition | 100000 | Размер партиции для снимков больших таблиц |
| Snapshot number of tables in parallel | 1 | Количество таблиц, для которых снимки создаются параллельно |
Нажмите **Next**.
Выберите таблицы, которые хотите реплицировать. Таблицы сгруппированы по схемам. Выберите отдельные таблицы или разверните схему, чтобы выбрать все таблицы в ней.
Нажмите **Create migration**.
## Отслеживание миграции
После создания миграции она появится в списке **источников данных** со статусом **Running**.
Нажмите на миграцию, чтобы открыть подробное представление. На вкладке **Tables** отображается ход начальной загрузки для каждой таблицы, включая количество обработанных строк, число партиций и среднее время на партицию. На вкладке **Metrics** после запуска CDC отображаются задержка репликации и пропускная способность.
## Задачи после миграции
После завершения начальной загрузки и, если используется CDC, когда задержка репликации близка к нулю:
**Проверьте количество строк.** Выборочно сверьте критически важные таблицы в исходной и целевой системах, прежде чем переключать трафик:
```sql theme={null}
SELECT COUNT(*) FROM public.orders;
```
**Остановите запись в источнике.** Приостановьте запись со стороны приложения. Чтобы принудительно перевести систему в режим только для чтения во время переключения:
```sql theme={null}
ALTER DATABASE SET default_transaction_read_only = on;
```
**Убедитесь, что репликация синхронизирована.** Сравните последнюю строку в источнике и в целевой системе:
```sql theme={null}
-- Выполните на источнике и целевой базе данных
SELECT MAX(id), MAX(updated_at) FROM public.orders;
```
**Сбросьте последовательности.** Приведите последовательности в соответствие с текущими максимальными значениями в каждой таблице:
```sql theme={null}
DO $$
DECLARE r RECORD;
BEGIN
FOR r IN
SELECT
n.nspname AS schema_name,
c.relname AS table_name,
a.attname AS column_name,
pg_get_serial_sequence(format('%I.%I', n.nspname, c.relname), a.attname) AS seq_name
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
JOIN pg_attribute a ON a.attrelid = c.oid
WHERE c.relkind = 'r'
AND a.attnum > 0
AND NOT a.attisdropped
AND n.nspname NOT IN ('pg_catalog', 'information_schema')
LOOP
IF r.seq_name IS NOT NULL THEN
EXECUTE format(
'SELECT setval(%L, COALESCE((SELECT MAX(%I) FROM %I.%I), 0) + 1, false)',
r.seq_name, r.column_name, r.schema_name, r.table_name
);
END IF;
END LOOP;
END $$;
```
**Переключите трафик приложения.** Направьте операции чтения и записи на сервис Managed Postgres и отслеживайте ошибки, нарушения ограничений и состояние репликации.
**Выполните очистку.** После переключения и подтверждения, что новый сервис работает нормально, удалите миграцию из раздела **Источники данных**. Если вы использовали CDC, удалите слот репликации в источнике, чтобы освободить ресурсы:
```sql theme={null}
SELECT pg_drop_replication_slot('');
```
## Следующие шаги
* [Краткое руководство по Managed Postgres](/docs/ru/products/managed-postgres/quickstart)
* [Сведения о подключении к Managed Postgres](/docs/ru/products/managed-postgres/connection)
* [FAQ по ClickPipes для Postgres](/docs/ru/integrations/clickpipes/postgres/faq)