कोई भी कंप्यूटर फ़ाइल बाइट्स से बनी होती है। एक बाइट 0 से 255 तक मान ले सकता है। सूचना एन्ट्रापी एक सांख्यिकीय पैरामीटर है जो किसी फ़ाइल में कुछ बाइट्स की घटना की संभावना को दर्शाता है।
आप हिस्टोग्राम का उपयोग करके एन्ट्रापी की डिग्री का नेत्रहीन आकलन कर सकते हैं - एक फ़ाइल में समान बाइट्स को दोहराने की संभावना का वितरण। फ़ाइल की एन्ट्रॉपी से हम केवल उसका हिस्टोग्राम देखकर अनुमान लगा सकते हैं कि हमारे सामने किस प्रकार की फ़ाइल है।
प्रदर्शन के लिए, आइए विभिन्न प्रकार की तीन फाइलें लें और उनके हिस्टोग्राम की तुलना करें। पहले टेक्स्ट फ़ाइल (*. TXT) होने दें। इसका हिस्टोग्राम चित्र में दिखाया गया है:
टेक्स्ट फ़ाइल में केवल टेक्स्ट होता है। पाठ का प्रत्येक वर्ण एन्कोडिंग तालिका के अनुसार कुछ बाइट्स के साथ एन्कोड किया गया है। यद्यपि बड़ी संख्या में एन्कोडिंग प्रकार हैं, यह स्पष्ट है कि अल्फ़ान्यूमेरिक वर्णों की एक सीमित संख्या होती है, जो आमतौर पर 255 से कम होती है। इसलिए, पहले हिस्टोग्राम पर केवल कुछ क्षेत्रों का कब्जा होता है, और कुछ बाइट्स बिल्कुल नहीं होते हैं।
निम्नलिखित फाइल पीडीएफ प्रारूप में होगी:
इस फ़ाइल में सभी संभावित बाइट्स हैं, क्योंकि पीडीएफ टेक्स्ट फाइलों से अलग तरीके से एन्कोड किया गया है। यह बहुत सारी सेवा जानकारी संग्रहीत करता है: स्वरूपण, फ़ॉन्ट, चित्र, आदि। लेकिन इसके हिस्टोग्राम से पता चलता है कि कुछ बाइट्स लगभग समान संभावना के साथ होते हैं, जबकि अन्य - दूसरों की तुलना में बहुत अधिक बार। इसलिए हिस्टोग्राम पर कई तेज विस्फोट होते हैं, और सामान्य तौर पर इसकी "रैग्ड" उपस्थिति होती है, हालांकि यह पूरी उपलब्ध चौड़ाई पर कब्जा कर लेती है।
और अंतिम फ़ाइल को 7Z प्रारूप में ज़िप किया गया है:
इस हिस्टोग्राम में दो मुख्य विशेषताएं हैं: सबसे पहले, सभी बाइट्स ज़िप्ड फ़ाइल में कम या ज्यादा समान संभावना (एक काफी सपाट शीर्ष किनारे) के साथ पाए जाते हैं, और दूसरी बात, हिस्टोग्राम के ऊपर व्यावहारिक रूप से कोई खाली स्थान नहीं है, जो लगभग पूर्ण अनुपस्थिति का संकेत देता है अतिरेक की ऐसी फ़ाइल। इसलिए, हम यह निष्कर्ष निकाल सकते हैं कि संग्रहकर्ता का एल्गोरिथ्म कुछ विशेष तरीके से फ़ाइल के बाइट्स को "मिश्रित" करता है ताकि उनका अधिकतम समान वितरण प्राप्त हो सके।
इस प्रकार, कंप्यूटर विज्ञान में एन्ट्रापी, भौतिकी के रूप में, सिस्टम में विकार का एक उपाय है, इस मामले में, फ़ाइल में बाइट्स के वितरण में विकार। एन्ट्रॉपी आपको फ़ाइल के संपीड़न की डिग्री और - परोक्ष रूप से - इसके प्रकार के बारे में न्याय करने की अनुमति देता है।
