HDF5 (Hierarchical Data Format version 5)
बड़े, जटिल और विषम डेटासेट स्टोर करने के लिए डिज़ाइन किया गया फ़ाइल फॉर्मेट। HDF5 वैज्ञानिक कंप्यूटिंग, मशीन लर्निंग मॉडल और सैटेलाइट डेटा में व्यापक रूप से उपयोग किया जाता है।
MIME Type
application/x-hdf5
प्रकार
बाइनरी
संपीड़न
दोषरहित
लाभ
- + Handles datasets from kilobytes to exabytes
- + Hierarchical structure organizes complex data
- + Built-in compression and chunked storage for performance
- + Parallel I/O support for HPC clusters
हानियाँ
- − Complex API with a steep learning curve
- − Not suited for simple tabular data (use Parquet or CSV)
- − File corruption risk with concurrent writes without locks
.HDF5 कब उपयोग करें
वैज्ञानिक डेटा स्टोरेज (NASA, CERN), मशीन लर्निंग मॉडल वेट्स (Keras .h5), सैटेलाइट इमेजरी, क्लाइमेट सिमुलेशन, और बड़े multi-dimensional arrays।
तकनीकी विवरण
HDF5 एक हायरार्किकल फ़ाइल सिस्टम-जैसी स्ट्रक्चर (groups/datasets) का उपयोग करता है। chunked storage, SZIP/GZIP/LZF कम्प्रेशन, parallel I/O (MPI), virtual datasets और B-tree इंडेक्सिंग सपोर्ट है। अधिकतम फ़ाइल साइज़ exabytes तक हो सकता है।
इतिहास
NCSA (National Center for Supercomputing Applications) ने 1987 में HDF विकसित किया। HDF5 (1998) ने पूरी तरह से नया डिज़ाइन प्रस्तुत किया। The HDF Group वर्तमान में इसे बनाए रखता है। NASA, CERN और अनगिनत अनुसंधान संस्थान HDF5 का उपयोग करते हैं।