Skip to main content

الوصف

تنسيق خاص لقراءة البيانات الوصفية لملف Parquet ‏(https://parquet.apache.org/docs/file-format/metadata/). ويُخرج دائمًا صفًا واحدًا بالبنية/المحتوى التالي:
  • num_columns - عدد الأعمدة
  • “num_rows` - العدد الإجمالي للصفوف
  • num_row_groups - العدد الإجمالي لمجموعات الصفوف
  • format_version - إصدار تنسيق Parquet، ويكون دائمًا 1.0 أو 2.6
  • total_uncompressed_size - الحجم الإجمالي للبيانات غير المضغوطة بالبايت، ويُحسب على أنه مجموع total_byte_size من جميع مجموعات الصفوف
  • total_compressed_size - الحجم الإجمالي للبيانات المضغوطة بالبايت، ويُحسب على أنه مجموع total_compressed_size من جميع مجموعات الصفوف
  • columns - قائمة البيانات الوصفية للأعمدة بالبنية التالية:
    • name - اسم العمود
    • path - مسار العمود (يختلف عن الاسم في العمود المتداخل)
    • max_definition_level - الحد الأقصى لمستوى التعريف
    • max_repetition_level - الحد الأقصى لمستوى التكرار
    • physical_type - النوع الفيزيائي للعمود
    • logical_type - النوع المنطقي للعمود
    • compression - الضغط المستخدم لهذا العمود
    • total_uncompressed_size - الحجم الإجمالي غير المضغوط للعمود بالبايت، ويُحسب على أنه مجموع total_uncompressed_size للعمود من جميع مجموعات الصفوف
    • total_compressed_size - الحجم الإجمالي المضغوط للعمود بالبايت، ويُحسب على أنه مجموع total_compressed_size للعمود من جميع مجموعات الصفوف
    • space_saved - النسبة المئوية للمساحة التي وفّرها الضغط، وتُحسب كما يلي: (1 - total_compressed_size/total_uncompressed_size).
    • encodings - قائمة الترميزات المستخدمة لهذا العمود
  • row_groups - قائمة البيانات الوصفية لمجموعات الصفوف بالبنية التالية:
    • num_columns - عدد الأعمدة في مجموعة الصفوف
    • num_rows - عدد الصفوف في مجموعة الصفوف
    • total_uncompressed_size - الحجم الإجمالي غير المضغوط لمجموعة الصفوف بالبايت
    • total_compressed_size - الحجم الإجمالي المضغوط لمجموعة الصفوف بالبايت
    • columns - قائمة البيانات الوصفية لأجزاء الأعمدة بالبنية التالية:
      • name - اسم العمود
      • path - مسار العمود
      • total_compressed_size - الحجم الإجمالي المضغوط للعمود بالبايت
      • total_uncompressed_size - الحجم الإجمالي غير المضغوط لمجموعة الصفوف بالبايت
      • have_statistics - قيمة منطقية تشير إلى ما إذا كانت البيانات الوصفية لجزء العمود تحتوي على إحصاءات العمود
      • statistics - إحصاءات جزء العمود (تكون جميع الحقول NULL إذا كانت have_statistics = false) بالبنية التالية:
        • num_values - عدد القيم غير NULL في جزء العمود
        • null_count - عدد قيم NULL في جزء العمود
        • distinct_count - عدد القيم المميزة في جزء العمود
        • min - القيمة الدنيا لجزء العمود
        • max - القيمة القصوى لجزء العمود

مثال على الاستخدام

مثال:
آخر تعديل في ٢٣ يوليو ٢٠٢٦