ربط كتالوج بيانات في ClickHouse Cloud

اربط ClickHouse Cloud بكتالوجات البيانات لديك للوصول إلى جداولك بتنسيق الجداول المفتوح. يمكنك إعداد الاتصالات من واجهة مصادر البيانات. وللإعداد باستخدام SQL، استخدم محرك قاعدة البيانات DataLakeCatalog في محرر SQL الذي تفضّله. بعد الاتصال، تظهر جداول الكتالوج في وحدة تحكم SQL ضمن اسم قاعدة البيانات الذي تختاره. يمكنك الاستعلام عنها باستخدام ClickHouse SQL القياسي، وربطها بجداول MergeTree، واستخدامها كمصادر للعروض المادية.

المتطلبات المسبقة

قبل ربط كتالوج، تأكد مما يلي:

أذونات الخدمة. تحتاج إلى الإذن control-plane:service:manage للوصول إلى صفحة مصادر البيانات وإضافة الكتالوجات.
خدمة قيد التشغيل. إذا كانت الخدمة خاملة، فأيقظها من صفحة مصادر البيانات أو صفحة إعدادات الخدمة قبل ربط الكتالوجات أو عرض الكتالوجات المرتبطة.
بيانات اعتماد الكتالوج. اجمع تفاصيل الاتصال الخاصة بنوع الكتالوج قبل فتح اللوحة المنبثقة. يستخدم كل كتالوج حقولًا وأساليب مصادقة مختلفة — راجع إضافة اتصال الكتالوج أدناه.

الاتصال بالكتالوج

أضف اتصالاً بالكتالوج الخاص بك

حدّد الـ catalog الخاص بك أدناه للحصول على الإرشادات والمتطلبات المسبقة، ثم أدخل معاملات الـ connection، إلى جانب Database name — وهي قاعدة بيانات ClickHouse التي تعرض جداول الـ catalog الخاصة بك في SQL console.

كتالوج AWS Glue يعرض جداول Iceberg المسجَّلة في Glue Data Catalog.قبل الاتصال، تأكد مما يلي:

استخدام الإصدار 25.12 أو أحدث من ClickHouse.
أن جداول Iceberg مسجَّلة في AWS Glue Data Catalog ضمن المنطقة الهدف.
للمصادقة بمفتاح الوصول، أن لديك مفتاح وصول لمستخدم IAM يمتلك أذونات لقراءة بيانات Glue الوصفية وكائنات S3 الأساسية.
للمصادقة بدور IAM ‏(26.2+)، أن لديك دور IAM يثق بدور خدمة ClickHouse لديك. أدرج ARN دور الخدمة من Settings → Network security information في سياسة الثقة للدور. راجع الوصول الآمن إلى بيانات Iceberg للاطلاع على أمثلة لسياسات IAM.

في اللوحة المنبثقة، أدخل Region الخاصة بـ AWS (مثل us-west-2)، ثم اختر طريقة المصادقة:المصادقة بمفتاح الوصول

اختر AWS Access Key كـ Authentication method.
أدخل Access Key ID وSecret Access Key.
أدخل Database name لقاعدة بيانات ClickHouse التي تعرض جداول Glue لديك.

المصادقة بدور IAM ‏(26.2+)

اختر AWS IAM Role كـ Authentication method.
انسخ Service role ID (IAM) من اللوحة المنبثقة وأضِفه إلى سياسة الثقة الخاصة بدور IAM.
أدخل AWS Role ARN، وأدخل AWS Role Session Name اختياريًا.
أدخل Database name لقاعدة بيانات ClickHouse التي تعرض جداول Glue لديك.

يدعم Glue تنسيقات جداول متعددة، لكن ClickHouse لا يقرأ من Glue سوى جداول Iceberg.

استعلم عن جداول Iceberg في Unity Catalog التي تستخدم مواقع تخزين خارجية، باستخدام بيانات اعتماد عميل OAuth الخاصة بـ service principal في Databricks. راجع دليل Unity Catalog للاطلاع على الإعداد الكامل.قبل الاتصال، تأكد من الآتي:

استخدام ClickHouse بالإصدار 25.12 أو أحدث.
تكوين Unity Catalog للوصول إلى البيانات الخارجية.
وجود service principal في Databricks لديه معرّف عميل OAuth وsecret. ويجب أن يمتلك service principal امتيازات USE CATALOG وUSE SCHEMA وUSE EXTERNAL SCHEMA وSELECT على الجداول التي تريد الاستعلام عنها.

في flyout:

أدخل Workspace URL الخاص بـ Databricks (مثل dbc-1234567a-cbde.cloud.databricks.com).
أدخل اسم catalog في Databricks الذي تريد الاتصال به (مثل icebench).
أدخل Client ID وClient secret الخاصين بـ OAuth لـ service principal لديك.
أدخل Database name لقاعدة بيانات ClickHouse التي تتيح الوصول إلى جداول Unity Catalog.

استعلم عن جداول Unity Catalog بتنسيق Delta Lake التي تستخدم مواقع تخزين خارجية، باستخدام رمز وصول شخصي (PAT) من Databricks. راجع دليل Unity Catalog للاطلاع على خطوات الإعداد الكاملة.قبل الاتصال، تأكد مما يلي:

استخدام ClickHouse بالإصدار 25.12 أو أحدث.
تهيئة Unity Catalog للوصول إلى البيانات الخارجية.
توفر رمز وصول شخصي من Databricks يتضمن، كحد أدنى، أذونات EXTERNAL USE SCHEMA وUSE CATALOG وUSE SCHEMA وSELECT على الجداول الهدف.

في اللوحة المنبثقة:

أدخل URL مساحة العمل في Databricks (مثل: dbc-1234567a-cbde.azuredatabricks.net).
أدخل اسم كتالوج Databricks الذي تريد الاتصال به.
أدخل رمز الوصول الشخصي.
أدخل اسم قاعدة بيانات لقاعدة بيانات ClickHouse التي تعرض جداول Delta.

يستخدم Iceberg وDelta أساليب مصادقة مختلفة في واجهة المستخدم. لذلك، ستحتاج إلى قاعدتي بيانات منفصلتين في ClickHouse للوصول إلى كلا نوعَي الجداول.

اتصل بأي كتالوج يطبّق مواصفة Iceberg REST Catalog. راجع دليل REST catalog للاطلاع على خطوات الإعداد الكاملة.قبل الاتصال، تأكد مما يلي:

استخدام الإصدار 25.12+ من ClickHouse.
إمكانية الوصول إلى نقطة نهاية REST catalog من ClickHouse Cloud.
توفّر بيانات اعتماد عميل OAuth أو رمز حامل، وفقًا لإعدادات الكتالوج.
توفّر عنوان URI لـ Storage Endpoint خاص بـ S3 أو متوافق معه لبيانات الجداول (مثل s3://my-bucket/path).

في اللوحة المنبثقة:

أدخل Catalog URL (مثل https://catalog.example.com/v1).
أدخل Warehouse أو مساحة أسماء الكتالوج (مثل demo).
أدخل بادئة عنوان URI لـ Storage Endpoint لتخزين الجداول.
اختر Authentication method: OAuth Client Credentials أو Bearer Token، ثم أدخل بيانات الاعتماد المناسبة.
أدخل Database name لقاعدة بيانات ClickHouse التي تعرض جداول REST catalog الخاصة بك.

اتصل بتوزيع Snowflake Open Catalog ‏(Polaris) لجداول Iceberg. راجع دليل Polaris catalog لإتمام الإعداد.قبل الاتصال، تأكد من الآتي:

إصدار ClickHouse ‏26.2+.
لديك Polaris catalog وبيانات اعتماد عميل OAuth.
لديك عنوان URI لنقطة نهاية التخزين لبيانات جدول Iceberg (مثلًا s3://company-iceberg-prod/warehouse/).

في اللوحة المنبثقة:

أدخل معرّف حساب Catalog (مثلًا ab12345.snowflakecomputing.com).
أدخل اسم Catalog (مثلًا snowflake_open_catalog).
أدخل معرّف عميل OAuth وسر العميل.
أدخل بادئة عنوان URI لـ نقطة نهاية التخزين الخاصة بتخزين الجداول.
أدخل اسم قاعدة بيانات لقاعدة بيانات ClickHouse التي تتيح الوصول إلى جداول Polaris الخاصة بك.

اتصل بـ Google Cloud BigLake Metastore (المعروف أيضًا باسم Lakehouse runtime catalog) لجداول Iceberg في GCS. راجع دليل BigLake Metastore للاطلاع على خطوات الإعداد الكاملة.قبل الاتصال، تأكد مما يلي:

استخدام الإصدار 26.2+ من ClickHouse.
وجود مثيل BigLake Metastore يتضمن جداول Iceberg في GCS.
توفّر بيانات اعتماد Google Application Default Credentials ‏(ADC)، بما في ذلك معرّف العميل وسر العميل ورمز التحديث ومعرّف مشروع الحصة.

في اللوحة المنبثقة:

أدخل Google ADC Client ID وClient Secret وRefresh Token وQuota Project ID.
أدخل عنوان URI لـ Cloud Storage Bucket الذي يحتوي على بيانات الجدول (مثل gs://biglake-public-nyc-taxi-iceberg).
أدخل Database name لقاعدة بيانات ClickHouse التي تتيح الوصول إلى جداول BigLake الخاصة بك.

احفظ الاتصال

بعد ملء الحقول:

انقر على Add catalog. يتحقق ClickHouse من الاتصال وبيانات الاعتماد عند الحفظ.
عند نجاح العملية، يظهر إشعار تأكيد يتضمن رابط View in SQL console. يُدرج الكتالوج في جدول Linked catalogs مع حالة اتصاله وعدد الجداول فيه.

من قائمة Actions في صف كتالوج مرتبط، يمكنك حذف اتصال الكتالوج. يؤدي الحذف إلى إزالة قاعدة بيانات الكتالوج من ClickHouse، لكنه لا يحذف أي بيانات من الكتالوج الخارجي.

الاستعلام عن بياناتك

عرض جداول الكتالوج

في صفحة مصادر البيانات، ابحث عن الكتالوج الخاص بك في جدول الكتالوجات المرتبطة، ثم انقر على عرض الجداول.يفتح ClickHouse وحدة تحكم SQL مع تحديد قاعدة بيانات الكتالوج، ويعرض الجداول المتاحة.

قد لا تظهر الجداول فورًا بعد الاتصال بكتالوج. وقد يستغرق إدراج جميع الجداول، حسب الكتالوج، ما يصل إلى 3 دقائق.

تشغيل استعلام

اكتب استعلامًا في محرر SQL وانقر على تشغيل. ضع اسم الجدول الكامل بين علامتَي الاقتباس العكسيتين:

SELECT * FROM `identity_profiles.identity_profiles_iceberg`

استكشاف الأخطاء وإصلاحها

إذا لم تظهر جداولك في وحدة تحكم SQL، فتحقّق من بيانات الاعتماد وإمكانية الوصول إلى الشبكة وأنواع الجداول في الكتالوج. وتأكد من أن الجداول التي تتوقع ظهورها تستخدم تنسيقات الملفات والجداول المدعومة.

راجع أيضًا

تسريع التحليلات على بيانات lakehouse — تحميل جداول كتالوج إلى MergeTree للاستعلامات المتكررة
الوصول الآمن إلى بيانات Iceberg — إعداد IAM role للوصول إلى Iceberg وGlue على AWS

​المتطلبات المسبقة

​الاتصال بالكتالوج

​الاستعلام عن بياناتك

​استكشاف الأخطاء وإصلاحها

​راجع أيضًا

المتطلبات المسبقة

الاتصال بالكتالوج

الاستعلام عن بياناتك

استكشاف الأخطاء وإصلاحها

راجع أيضًا