Bayes tarmoqlari: ta'rif, misollar va ular qanday ishlaydi

Mundarija:

Bayes tarmoqlari: ta'rif, misollar va ular qanday ishlaydi
Bayes tarmoqlari: ta'rif, misollar va ular qanday ishlaydi
Anonim

E'tiqod, qarorlar tarmog'i, Bayes (ian) modeli yoki ehtimolga asoslangan asiklik grafik modeli - yo'n altirilgan asiklik grafik (DAG) orqali o'zgaruvchilar to'plami va ularning shartli bog'liqliklarini ifodalovchi variant sxemasi (statistik modelning bir turi).).

Masalan, Bayes tarmog'i kasalliklar va alomatlar o'rtasidagi ehtimollik munosabatlarini ifodalashi mumkin. Ikkinchisini hisobga olgan holda, tarmoq turli kasalliklarga ega bo'lish ehtimolini hisoblash uchun ishlatilishi mumkin. Quyidagi videoda hisob-kitoblarga ega Bayes eʼtiqod tarmogʻining namunasini koʻrishingiz mumkin.

Image
Image

Samaralilik

Samarali algoritmlar Bayes tarmoqlarida xulosa chiqarish va oʻrganishni amalga oshirishi mumkin. O'zgaruvchilarni (masalan, nutq signallari yoki oqsil ketma-ketliklari) modellashtiradigan tarmoqlar dinamik tarmoqlar deb ataladi. Noaniqlik sharoitida muammolarni ko'rsata oladigan va hal qila oladigan Bayes tarmoqlarining umumlashmalari ta'sir diagrammasi deb ataladi.

Essensiya

RasmiyBayes tarmoqlari - bu DAGlar bo'lib, ularning tugunlari Bayes ma'nosida o'zgaruvchilarni ifodalaydi: ular kuzatilgan qiymatlar, yashirin o'zgaruvchilar, noma'lum parametrlar yoki gipotezalar bo'lishi mumkin. Chunki bu juda qiziq.

Bayes tarmog'iga misol

Ikki hodisa o'tning namlanishiga olib kelishi mumkin: faol purkagich yoki yomg'ir. Yomg'ir purkagichdan foydalanishga bevosita ta'sir qiladi (ya'ni, yomg'ir yog'ganda, sprinkler odatda harakatsiz bo'ladi). Bu holatni Bayes tarmog‘i yordamida modellashtirish mumkin.

Oddiy formula
Oddiy formula

Simulyatsiya

Bayes tarmogʻi oʻz oʻzgaruvchilari va ularning munosabatlari uchun toʻliq model boʻlgani uchun undan ular haqidagi ehtimollik soʻrovlariga javob berish uchun foydalanish mumkin. Masalan, u boshqa ma'lumotlar (dalil o'zgaruvchilar) kuzatilganda o'zgaruvchilar kichik to'plamining holati haqidagi bilimlarni yangilash uchun ishlatilishi mumkin. Bu qiziqarli jarayon ehtimollik xulosasi deb ataladi.

A posteriori oʻzgaruvchilar kichik toʻplami uchun qiymatlarni tanlashda kashfiyot ilovalari uchun universal yetarli statistikani beradi. Shunday qilib, bu algoritmni murakkab masalalarga Bayes teoremasini avtomatik ravishda qo'llash mexanizmi deb hisoblash mumkin. Maqoladagi rasmlarda siz Bayes e'tiqod tarmoqlari misollarini ko'rishingiz mumkin.

Amaliy Bayes tarmog'i
Amaliy Bayes tarmog'i

Chiqish usullari

Eng keng tarqalgan aniq xulosa chiqarish usullari quyidagilardir: oʻzgarmaydiganlarni yoʻq qilish (integratsiya yoki yigʻish orqali) kuzatilmaydigan narsalarni yoʻq qiladi.so'rovsiz parametrlarni birma-bir mahsulotga taqsimlash orqali.

Hisob-kitoblarni keshlaydigan "daraxt"ni bosish orqali ko'plab o'zgaruvchilarni birdaniga so'rash va yangi dalillarni tezda tarqatish mumkin; va rekursiv moslashtirish va/yoki qidirish, bu makon va vaqt o'rtasidagi o'zaro kelishuvga imkon beradi va etarli joydan foydalanilganda o'zgaruvchanlarni yo'q qilish samaradorligiga mos keladi.

Bu usullarning barchasi tarmoq uzunligiga eksponent ravishda bog'liq bo'lgan maxsus murakkablikka ega. Eng keng tarqalgan taxminiy xulosa algoritmlari: mini-segmentlarni yo'q qilish, tsiklik e'tiqodni targ'ib qilish, umumlashtirilgan e'tiqodni targ'ib qilish va variatsion usullar.

Tarmoq turlari
Tarmoq turlari

Tarmoq

Bayes tarmog'ini to'liq aniqlash va shu bilan birgalikda ehtimollik taqsimotini to'liq ifodalash uchun har bir X tugun uchun X ning ota-onasiga bog'liq bo'lgan X uchun ehtimollik taqsimotini belgilash kerak.

X ning ota-onasi tomonidan shartli ravishda taqsimlanishi har qanday shaklga ega bo'lishi mumkin. Diskret yoki Gauss taqsimotlari bilan ishlash odatiy holdir, chunki u hisob-kitoblarni soddalashtiradi. Ba'zan faqat tarqatish cheklovlari ma'lum. Keyin cheklovlarni hisobga olgan holda eng yuqori entropiyaga ega yagona taqsimotni aniqlash uchun entropiyadan foydalanishingiz mumkin.

Shunga oʻxshab, dinamik Bayes tarmogʻining oʻziga xos kontekstida latentning vaqtinchalik evolyutsiyasi uchun shartli taqsimot.holat odatda nazarda tutilgan tasodifiy jarayonning entropiya tezligini maksimal darajada oshirish uchun oʻrnatiladi.

Bayes ishonch tarmog'i
Bayes ishonch tarmog'i

Kuzatilmagan o'zgaruvchilar mavjudligini hisobga olgan holda, ehtimollikni (yoki orqa ehtimollikni) to'g'ridan-to'g'ri maksimallashtirish ko'pincha qiyin. Bu, ayniqsa, Bayes qarorlar tarmog‘i uchun to‘g‘ri keladi.

Klassik yondashuv

Ushbu muammoga klassik yondashuv - bu kutishni maksimallashtirish algoritmi bo'lib, u kuzatilgan ma'lumotlarga bog'liq bo'lgan kuzatilmagan o'zgaruvchilarning kutilgan qiymatlarini hisoblashni jami ehtimollikni (yoki keyingi qiymatni) maksimallashtirish bilan almashtiradi, bu avvalroq hisoblangan kutilgan qiymatni taxmin qiladi. qiymatlar to'g'ri. O'rtacha muntazamlik sharoitida bu jarayon parametrlarning maksimal (yoki maksimal a posteriori) qiymatlarida birlashadi.

Parametrlarga nisbatan toʻliqroq Bayescha yondashuv ularni qoʻshimcha kuzatilmagan oʻzgaruvchilar sifatida koʻrib chiqish va kuzatilgan maʼlumotlar berilgan barcha tugunlar boʻyicha toʻliq posterior taqsimotni hisoblash va keyin parametrlarni birlashtirishdan iborat. Bu yondashuv qimmatga tushishi va katta modellarga olib kelishi mumkin, bu esa klassik parametrlarni sozlash yondashuvlarini qulayroq qiladi.

Eng oddiy holatda, Bayes tarmog'i mutaxassis tomonidan aniqlanadi va undan keyin xulosa chiqarish uchun foydalaniladi. Boshqa ilovalarda aniqlash vazifasi inson uchun juda qiyin. Bunday holda, Bayes neyron tarmog'ining tuzilishi va mahalliy taqsimotlar parametrlari ma'lumotlar orasida o'rganilishi kerak.

Bayes tarmoqlari
Bayes tarmoqlari

Muqobil usul

Tuzilgan oʻrganishning muqobil usuli optimallashtirish qidiruvidan foydalanadi. Bu baholash funktsiyasi va qidiruv strategiyasini qo'llashni talab qiladi. Umumiy baholash algoritmi - bu BIC yoki BDeu kabi oʻquv maʼlumotlari berilgan strukturaning keyingi ehtimoli.

Ballini maksimal darajaga koʻtaradigan tuzilmani qaytaruvchi toʻliq qidiruv uchun zarur boʻlgan vaqt oʻzgaruvchilar soni boʻyicha supereksponensialdir. Mahalliy qidiruv strategiyasi strukturani baholashni yaxshilash uchun bosqichma-bosqich o'zgarishlar kiritadi. Fridman va uning hamkasblari kerakli tuzilmani topish uchun o'zgaruvchilar orasidagi o'zaro ma'lumotlardan foydalanishni ko'rib chiqdilar. Ular ota-ona nomzodlari toʻplamini k tugun bilan cheklaydi va ularni yaxshilab qidiradi.

BNni aniq o'rganishning ayniqsa tezkor usuli bu muammoni optimallashtirish muammosi sifatida tasavvur qilish va uni butun sonli dasturlash yordamida hal qilishdir. Kesish tekisliklari ko'rinishidagi yechim davomida butun son dasturiga (IP) aylanma cheklovlar qo'shiladi. Bunday usul 100 tagacha oʻzgaruvchiga oid muammolarni hal qilishi mumkin.

Grafiklar va tarmoqlar
Grafiklar va tarmoqlar

Muammo yechish

Minglab o'zgaruvchilar bilan muammolarni hal qilish uchun boshqa yondashuv kerak. Ulardan biri birinchi navbatda bitta tartibni tanlash va keyin ushbu tartib bo'yicha optimal BN tuzilishini topishdir. Bu mumkin bo'lgan buyurtmaning qidiruv maydonida ishlashni nazarda tutadi, bu qulay, chunki u tarmoq tuzilmalari maydonidan kichikroqdir. Keyin bir nechta buyurtmalar tanlanadi va baholanadi. Bu usul chiqdiOʻzgaruvchilar soni juda koʻp boʻlganda adabiyotda mavjud boʻlgan eng yaxshisi.

Boshqa usul - bu MLE yopiq bo'lgan parchalanadigan modellarning kichik sinfiga e'tibor qaratishdir. Keyin yuzlab oʻzgaruvchilar uchun mos tuzilmani topishingiz mumkin.

Cheklangan eni uchta chiziqli Bayes tarmoqlarini oʻrganish toʻgʻri, talqin qilinadigan xulosani taʼminlash uchun zarur, chunki ikkinchisining eng yomon murakkabligi daraxt uzunligi k (eksponensial vaqt gipotezasiga koʻra) eksponensialdir. Biroq, grafikning global mulki sifatida u o'quv jarayonining murakkabligini sezilarli darajada oshiradi. Shu nuqtai nazardan, K-daraxtdan samarali o'rganish uchun foydalanish mumkin.

Qisqa tarmoq
Qisqa tarmoq

Rivojlanish

Bayes ishonch tarmogʻini ishlab chiqish koʻpincha X ning G ga nisbatan mahalliy Markov xossasini qanoatlantiradigan DAG G ni yaratish bilan boshlanadi. Baʼzan bu sabab DAG hisoblanadi. G dagi har bir o‘zgaruvchining ota-onasi bo‘yicha shartli ehtimollik taqsimotlari baholanadi. Ko‘p hollarda, xususan, o‘zgaruvchilar diskret bo‘lganda, agar X ning qo‘shma taqsimoti ushbu shartli taqsimotlarning mahsuloti bo‘lsa, X ga nisbatan Bayes tarmog‘iga aylanadi. G.

Markovning "tugun ko'rpachasi" tugunlar to'plamidir. Markov kviling tugunni xuddi shu nomdagi tugunning qolgan qismidan mustaqil qiladi va uning taqsimlanishini hisoblash uchun etarli bilimdir. X - G ga nisbatan Bayes tarmog'i, agar har bir tugun o'zining Markovianini hisobga olgan holda shartli ravishda boshqa barcha tugunlardan mustaqil bo'lsa.adyol.

Tavsiya: