HDF5 (تنسيق البيانات الهرمي 5)
HDF5 هو تنسيق ملف ومكتبة لتخزين وإدارة مجموعات البيانات العلمية الكبيرة. يدعم بنية هرمية من المجموعات/مجموعات البيانات مشابهة لنظام الملفات، مع مجموعات بيانات بأبعاد عشوائية. HDF5 هو المعيار لصور الأقمار الصناعية وعلم الجينوم ومحاكاة الفيزياء.
نوع MIME
application/x-hdf5
النوع
ثنائي
الضغط
بدون فقدان
المزايا
- + Handles datasets from kilobytes to exabytes
- + Hierarchical structure organizes complex data
- + Built-in compression and chunked storage for performance
- + Parallel I/O support for HPC clusters
العيوب
- − Complex API with a steep learning curve
- − Not suited for simple tabular data (use Parquet or CSV)
- − File corruption risk with concurrent writes without locks
متى تستخدم .HDF5
استخدم HDF5 لمجموعات البيانات العلمية الكبيرة والمصفوفات متعددة الأبعاد وأي بيانات تتطلب تنظيماً هرمياً مع إدخال/إخراج فعال.
التفاصيل التقنية
تنظم ملفات HDF5 البيانات في مجموعات (مجلدات) ومجموعات بيانات (مصفوفات متعددة الأبعاد) مع سمات بيانات تعريفية. يدعم التخزين المقطع ومرشحات الضغط (gzip وLZF وSZIP) والإدخال/الإخراج المتوازي للحوسبة عالية الأداء.
التاريخ
أنشأت مجموعة HDF (أصلاً في NCSA، جامعة إلينوي) تنسيق HDF في أواخر الثمانينيات. أُصدر HDF5 في 1998 كإعادة تصميم كاملة ويُستخدم الآن من قبل NASA وCERN ومجتمع علم الجينوم.