Informatsion entropiya tushunchasi qiymat uchun ehtimollik massasi funksiyasining manfiy logarifmini nazarda tutadi. Shunday qilib, agar ma'lumot manbasi ehtimoli pastroq qiymatga ega bo'lsa (ya'ni, ehtimolligi past bo'lgan voqea sodir bo'lganda), voqea manba ma'lumotlari ehtimoli yuqori bo'lgan qiymatga ega bo'lganidan ko'ra ko'proq "ma'lumot" ("syurpriz") olib boradi..
Shu tarzda aniqlangan har bir hodisa orqali uzatiladigan axborot miqdori tasodifiy oʻzgaruvchiga aylanadi, uning kutilgan qiymati axborot entropiyasidir. Umuman olganda, entropiya tartibsizlik yoki noaniqlikni anglatadi va uning axborot nazariyasida qo'llaniladigan ta'rifi statistik termodinamikada qo'llaniladigan ta'rifga bevosita o'xshashdir. IE kontseptsiyasi Klod Shennon tomonidan 1948 yilda "Aloqaning matematik nazariyasi" nomli maqolasida kiritilgan. “Shennonning informatsion entropiyasi” atamasi shu yerdan kelib chiqqan.
Tanrif va tizim
Ma'lumot uzatish tizimining asosiy modeli uchta elementdan iborat: ma'lumotlar manbai, aloqa kanali va qabul qiluvchi,va, Shennon aytganidek, "asosiy aloqa muammosi" qabul qiluvchining kanal orqali qabul qilgan signali asosida manba tomonidan qanday ma'lumotlar yaratilganligini aniqlash imkoniyatiga ega bo'lishidir. Entropiya siqilgan manba ma'lumotlarining mumkin bo'lgan eng qisqa o'rtacha yo'qotishsiz kodlash uzunligi bo'yicha mutlaq cheklovni ta'minlaydi. Agar manbaning entropiyasi aloqa kanalining tarmoqli kengligidan kamroq bo'lsa, u ishlab chiqaradigan ma'lumotlar qabul qiluvchiga ishonchli tarzda uzatilishi mumkin (hech bo'lmaganda nazariy jihatdan, ehtimol, ma'lumotlarni uzatish uchun zarur bo'lgan tizimning murakkabligi kabi ba'zi amaliy fikrlarni e'tiborsiz qoldirgan holda). va ma'lumotlarni uzatish uchun qancha vaqt ketishi mumkin).
Axborot entropiyasi odatda bitlarda (muqobil ravishda "shannonlar" deb ataladi) yoki ba'zan "tabiiy birliklar" (nats) yoki o'nli kasrlarda ("dits", "bans" yoki "hartleys" deb ataladi) o'lchanadi. O'lchov birligi entropiyani aniqlash uchun ishlatiladigan logarifm asosiga bog'liq.
Xususiyatlar va logarifm
Jurnal ehtimollik taqsimoti entropiya o'lchovi sifatida foydalidir, chunki u mustaqil manbalar uchun qo'shimcha hisoblanadi. Masalan, tanganing adolatli garovi entropiyasi 1 bit, m hajmlilarning entropiyasi esa m bit. Oddiy tasvirlashda log2(n) bitlari n ta qiymatdan birini qabul qilishi mumkin bo'lgan o'zgaruvchini ifodalash uchun kerak bo'ladi, agar n 2 daraja bo'lsa. Agar bu qiymatlar bir xil darajada bo'lsa, entropiya (bitlarda) bo'ladi. bu raqamga teng. Agar qiymatlardan biri boshqalardan ko'ra ko'proq bo'lsa, bu shunday ekanligini kuzatishma'no sodir bo'ladi, ba'zi kamroq umumiy natija paydo bo'lganidan ko'ra kamroq ma'lumotlidir. Aksincha, kam uchraydigan hodisalar qoʻshimcha kuzatuv maʼlumotlarini taqdim etadi.
Ehtimoli kamroq hodisalarni kuzatish kamroq boʻlgani uchun notekis taqsimlangan maʼlumotlardan olingan entropiya (oʻrtacha maʼlumot deb hisoblanadigan) har doim log2(n) dan kichik yoki teng boʻlishida umumiy narsa yoʻq. Bitta natija aniqlanganda entropiya nolga teng.
Shannonning axborot entropiyasi, agar asosiy ma'lumotlarning ehtimollik taqsimoti ma'lum bo'lsa, bu mulohazalarni aniqlaydi. Kuzatilgan hodisalarning ma'nosi (xabarlarning ma'nosi) entropiyani aniqlashda ahamiyatsiz. Ikkinchisi faqat ma'lum bir hodisani ko'rish ehtimolini hisobga oladi, shuning uchun u qamrab olgan ma'lumot hodisalarning o'zi haqida emas, balki imkoniyatlarning asosiy taqsimoti haqidagi ma'lumotlardir. Axborot entropiyasining xossalari yuqorida tavsiflanganidek qoladi.
Axborot nazariyasi
Axborot nazariyasining asosiy gʻoyasi shundan iboratki, inson biror mavzu haqida qanchalik koʻp bilsa, u haqida shunchalik kam maʼlumotga ega boʻladi. Agar hodisa ehtimoli katta bo'lsa, u sodir bo'lganda ajablanarli emas va shuning uchun ozgina yangi ma'lumot beradi. Aksincha, agar voqea ehtimoldan yiroq bo'lsa, voqea sodir bo'lganligi ancha ma'lumotli edi. Shuning uchun foydali yuk hodisaning teskari ehtimolining ortib borayotgan funksiyasi (1 / p).
Endi koʻproq hodisalar roʻy bersa, entropiyahodisalardan biri sodir bo'lganda siz kutishingiz mumkin bo'lgan o'rtacha ma'lumot mazmunini o'lchaydi. Bu shuni anglatadiki, zarb tashlash tanga otishdan ko'ra ko'proq entropiyaga ega, chunki har bir kristalning natijasi har bir tanga natijasiga qaraganda kamroq ehtimolga ega.
Xususiyatlar
Shunday qilib, entropiya holatning oldindan aytib bo'lmaydiganligi yoki xuddi shu narsa, uning o'rtacha ma'lumot tarkibining o'lchovidir. Ushbu atamalarni intuitiv tushunish uchun siyosiy so'rov misolini ko'rib chiqing. Odatda bunday so'rovlar, masalan, saylov natijalari hali ma'lum bo'lmagani uchun sodir bo'ladi.
Boshqacha aytganda, soʻrov natijalarini nisbatan oldindan aytib boʻlmaydi va aslida uni oʻtkazish va maʼlumotlarni tekshirish yangi maʼlumotlarni beradi; ular so'rov natijalarining oldingi entropiyasi katta ekanligini aytishning turli usullari.
Endi bir xil soʻrov birinchidan koʻp oʻtmay ikkinchi marta oʻtkazilgan vaziyatni koʻrib chiqing. Birinchi so'rov natijasi allaqachon ma'lum bo'lganligi sababli, ikkinchi so'rov natijalarini yaxshi prognoz qilish mumkin va natijalar juda ko'p yangi ma'lumotlarni o'z ichiga olmaydi; bu holda ikkinchi so‘rov natijasining apriori entropiyasi birinchisiga nisbatan kichik.
Tanga otish
Endi tangani aylantirish misolini ko'rib chiqing. Agar dumlar ehtimoli boshlarning ehtimoli bilan bir xil deb faraz qilsak, tanga otish entropiyasi juda yuqori bo'ladi, chunki bu tizim axborot entropiyasining o'ziga xos namunasidir.
Buning sababitanganing oqibati muddatidan oldin uloqtirilishini bashorat qilishning iloji yo'q: agar tanlashimiz kerak bo'lsa, biz qila oladigan eng yaxshi narsa bu tanga dumga tushishini taxmin qilishdir va bu bashorat bir ehtimollik bilan to'g'ri bo'ladi. 1 / 2. Bunday tanga otish bir bit entropiyaga ega, chunki bir xil ehtimollik bilan sodir bo'ladigan ikkita natija bor va haqiqiy natijani o'rganish bir bit ma'lumotni o'z ichiga oladi.
Aksincha, tanganing har ikki tomonini dumlari va boshi boʻlmagan holda varaqlash nol entropiyaga ega, chunki tanga har doim shu belgiga tushadi va natijani mukammal bashorat qilish mumkin.
Xulosa
Agar siqish sxemasi yoʻqotishsiz boʻlsa, yaʼni siz har doim siqishni ochish orqali butun asl xabarni tiklashingiz mumkin boʻlsa, siqilgan xabar asl nusxadagi kabi maʼlumotlarga ega boʻladi, lekin kamroq belgilarda uzatiladi. Ya'ni, u ko'proq ma'lumotga ega yoki har bir belgi uchun yuqori entropiyaga ega. Bu siqilgan xabarning kamroq zaxiraga ega ekanligini bildiradi.
Qo'pol qilib aytganda, Shennonning manba kodini kodlash teoremasi shuni ta'kidlaydiki, yo'qotishsiz siqish sxemasi xabarlarni o'rtacha har bir xabar bitida bir bitdan ko'p ma'lumotga ega bo'lishi uchun kamaytira olmaydi, lekin har bir bit uchun bir bitdan kam bo'lgan har qanday qiymatga erishish mumkin. tegishli kodlash sxemasidan foydalangan holda xabarlar. Xabarning entropiyasi uning uzunligini bit bilan koʻpaytirilishi uning umumiy maʼlumotlarini oʻz ichiga olgan oʻlchovdir.
