Mashinani oʻrganishda perseptron ikkilik klassifikatorlar uchun boshqariladigan oʻrganish algoritmidir. U ko'pincha perseptron deb ham ataladi. Ikkilik klassifikator raqamlar vektori bilan ifodalangan kirish ma'lum bir sinfga tegishli yoki yo'qligini hal qila oladigan funktsiyadir. Bu chiziqli klassifikatorning bir turi, yaʼni vaznlar toʻplamini xususiyat vektori bilan birlashtirgan chiziqli bashorat qiluvchi funksiya asosida oʻz bashoratlarini amalga oshiradigan tasniflash algoritmidir.
Soʻnggi yillarda chuqur oʻrganishdagi yutuqlar tufayli sunʼiy neyron tarmoqlarga eʼtibor qaratilmoqda. Ammo sun'iy neyron tarmoq nima va u nimadan iborat?
Perceptron bilan tanishing
Ushbu maqolada biz umuman sun'iy neyron tarmoqlarini qisqacha ko'rib chiqamiz, so'ngra bitta neyronni ko'rib chiqamiz va nihoyat (bu kodlash qismi) sun'iy neyronning eng asosiy versiyasini olamiz. neyron, perseptron va uning nuqtalarini tasniflangsamolyot.
Hech oʻylab koʻrganmisiz, nima uchun har qanday odam uchun oson, lekin kompyuterlar uchun nihoyatda qiyin vazifalar bormi? Sun'iy neyron tarmoqlari (qisqacha ANN) inson markaziy asab tizimidan ilhomlangan. Ularning biologik hamkasbi singari, ANN katta tarmoqqa birlashtirilgan oddiy signalni qayta ishlash elementlariga qurilgan.
Neyron tarmoqlar oʻrganishi kerak
An'anaviy algoritmlardan farqli o'laroq, neyron tarmoqlarni mo'ljallangan tarzda ishlash uchun "dasturlash" yoki "sozlash" mumkin emas. Xuddi inson miyasi kabi, ular vazifani bajarishni o'rganishlari kerak. Taxminan uchta o'rganish strategiyasi mavjud.
Natijalari ma'lum bo'lgan sinov ishi (etarlicha katta) bo'lsa, eng oson yo'ldan foydalanish mumkin. Keyin mashg'ulotlar quyidagicha davom etadi: bitta ma'lumot to'plamini qayta ishlash. Natijani ma'lum natija bilan solishtiring. Tarmoqni sozlang va qaytadan urining. Bu biz oʻrganish strategiyasidan foydalanamiz.
Nazoratsiz oʻrganish
Sinov ma'lumotlari mavjud bo'lmasa va istalgan harakatdan ba'zi xarajat funksiyasini olish mumkin bo'lsa foydali. Xarajat funktsiyasi neyron tarmoqqa maqsaddan qanchalik uzoqda ekanligini aytadi. Tarmoq haqiqiy maʼlumotlar bilan ishlagan holda oʻz parametrlarini tezda sozlashi mumkin.
Mukammal ta'lim
"sabzi va tayoq" usuli. Agar neyron tarmoq uzluksiz harakat hosil qilsa, foydalanish mumkin. Vaqt o'tishi bilan tarmoq to'g'ri harakatlarni afzal ko'rishni va noto'g'ri harakatlardan qochishni o'rganadi.
Yaxshi, endi biz bu haqda ozgina bilamizsun'iy neyron tarmoqlarning tabiati, lekin ular aynan nimadan iborat? Qopqoqni ochib ichkariga qarasak, nimani ko'ramiz?
Neyronlar neyron tarmoqlarning qurilish bloklaridir. Har qanday sun'iy neyron tarmog'ining asosiy komponenti sun'iy neyrondir. Ular nafaqat biologik hamkasblari nomi bilan atalgan, balki ular miyamizdagi neyronlarning xatti-harakatidan kelib chiqqan holda ham modellashtirilgan.
Biologiya va texnologiya
Biologik neyron signallarni qabul qilish uchun dendritlarga, ularni qayta ishlash uchun hujayra tanasiga va boshqa neyronlarga signal yuborish uchun aksonga ega bo'lganidek, sun'iy neyron ham bir nechta kirish kanallari, ishlov berish bosqichi va bitta chiqishga ega. boshqa ko'plablarga tarqaladi. sun'iy neyronlar.
Bitta perseptron bilan foydali narsa qila olamizmi? Bitta perseptron hal qila oladigan muammolar sinfi mavjud. Kirish vektorini nuqta koordinatalari sifatida ko'rib chiqing. n-elementli vektor uchun bu nuqta n-o'lchovli fazoda yashaydi. Hayotni soddalashtirish uchun (va quyidagi kod), keling, bu 2D deb faraz qilaylik. Bir varaq qog'oz kabi.
Keyin, tasavvur qiling-a, biz bu tekislikda tasodifiy nuqtalarni chizamiz va ularni qog'oz bo'ylab to'g'ri chiziq chizish orqali ikkita to'plamga ajratamiz. Bu chiziq nuqtalarni ikkita to'plamga ajratadi, biri chiziq ustida va ikkinchisi ostida. Keyin ikkita to'plam chiziqli ajratiladigan deb nomlanadi.
Bitta perseptron, qanchalik sodda koʻrinmasin, bu chiziq qayerda ekanligini bilishga qodir va u mashgʻulotni tugatgandan soʻng, berilgan nuqta shu chiziqdan yuqori yoki pastda ekanligini aniqlashi mumkin.
Tarixixtirolar
Ushbu usulning algoritmi 1957 yilda Kornel aviatsiya laboratoriyasida AQSH Dengiz tadqiqotlari boshqarmasi tomonidan moliyalashtirilgan Frenk Rozenblat (koʻpincha uning nomi bilan atalgan) tomonidan ixtiro qilingan. Perseptron dastur emas, balki mashina bo'lishi uchun mo'ljallangan edi va uning birinchi tatbiq etilishi IBM 704 uchun dasturiy ta'minotda bo'lgan bo'lsa-da, keyinchalik u "Mark 1 Perceptron" sifatida maxsus qurilgan apparatda amalga oshirildi. Ushbu mashina tasvirni aniqlash uchun mo'ljallangan: u neyronlarga tasodifiy ulangan 400 ta fotoseldan iborat massivga ega edi. Og'irliklar potensiometrlarda kodlangan va mashg'ulot paytida vaznni yangilash elektr motorlar yordamida amalga oshirilgan.
1958-yilda AQSh harbiy-dengiz kuchlari tomonidan oʻtkazilgan matbuot anjumanida Rosenblatt yosh sunʼiy intellekt jamiyati oʻrtasida qizgʻin bahs-munozaralarga sabab boʻlgan perseptron haqida bayonot berdi; Rosenblattning da'volariga asoslanib, Nyu-York Tayms gazetasi xabar berishicha, perseptron "dengiz kuchlari yurish, gapirish, ko'rish, yozish, o'zini ko'paytirish va uning mavjudligidan xabardor bo'lish imkoniyatiga ega bo'lgan embrion elektron kompyuterdir"
Qo'shimcha ishlanmalar
Garchi dastlab perseptron istiqbolli boʻlib tuyulgan boʻlsa-da, perseptronlarni naqshlarning koʻp sinflarini tan olishga oʻrgatib boʻlmasligi tezda isbotlandi. Bu ikki yoki undan ortiq qatlamli oldinga uzatiladigan neyron tarmog'i (shuningdek, neyron tarmog'i deb ataladi) deb tan olingunga qadar ko'p yillar davomida perseptron neyron tarmoqlari bilan tadqiqot sohasida turg'unlikka olib keldi.ko'p qatlamli perseptronlar) bir qatlamli perseptronlarga (shuningdek, bir qatlamli perseptronlar deb ataladi) qaraganda ancha yuqori ishlov berish kuchiga ega edi. Bir qavatli perseptron faqat chiziqli bo'linadigan tuzilmalarni o'rganishga qodir. 1969 yilda Marvin Minski va Seymur Papertning mashhur "Perceptrons" kitobi ushbu tarmoqlar sinflari XOR funktsiyasini o'rgana olmasligini ko'rsatdi. Biroq, bu bir qavatli perseptronda ishlatilishi mumkin bo'lgan chiziqli bo'lmagan tasniflash funktsiyalariga taalluqli emas.
Bunday funksiyalardan foydalanish perseptronning imkoniyatlarini kengaytiradi, shu jumladan XOR funksiyasini amalga oshirish. Ko'pincha (noto'g'ri) ular xuddi shunday natija ko'p qatlamli perseptron tarmog'i uchun ham mavjud deb taxmin qilishgan deb taxmin qilinadi. Biroq, bunday emas, chunki Minski ham, Papert ham ko'p qatlamli perseptronlar XOR funktsiyasini ishlab chiqarishga qodir ekanligini allaqachon bilishgan. Uch yil o'tgach, Stiven Grossberg differensial funktsiyalar, kontrastni kuchaytirish funktsiyalari va XOR funktsiyalarini modellashtirishga qodir bo'lgan tarmoqlarni taqdim etadigan bir qator maqolalarni nashr etdi.
Asarlar 1972 va 1973 yillarda nashr etilgan. Biroq, tez-tez e'tibordan chetda qoladigan Minsky/Papert matni neyron tarmoq perseptroniga qiziqish va tadqiqotni moliyalashtirishning sezilarli darajada pasayishiga olib keldi. 1980-yillarda neyron tarmoq tadqiqotlari qayta tiklanguncha yana oʻn yil oʻtdi.
Xususiyatlar
Perceptron yadrosi algoritmi 1964 yilda Yzerman va boshqalar tomonidan kiritilgan. Mori va Rostamizadeh (2013), ular oldingi natijalarni kengaytirib, L1 yangi chegaralarini beradi.
Perceptron biologik neyronning soddalashtirilgan modelidir. Biologik neyron modellarining murakkabligi ko'pincha neyron xatti-harakatlarini to'liq tushunish uchun talab qilinsa-da, tadqiqotlar shuni ko'rsatadiki, perseptronga o'xshash chiziqli model haqiqiy neyronlarda ko'rinadigan xatti-harakatlarning bir qismini keltirib chiqarishi mumkin.
Perseptron chiziqli tasniflagichdir, shuning uchun u hech qachon barcha kirish vektorlari to'g'ri tasniflangan holatga tushmaydi, agar o'quv to'plami D chiziqli ravishda ajratilmasa, ya'ni. agar ijobiy misollarni salbiy misollardan giperplan bilan ajratib bo'lmasa. Bunday holda, standart o'rganish algoritmi bo'ylab hech qanday "taxminiy" yechim bosqichma-bosqich o'tmaydi, aksincha, o'rganish butunlay muvaffaqiyatsiz bo'ladi. Shuning uchun, agar o'quv majmuasining chiziqli bo'linishi apriori ma'lum bo'lmasa, quyida keltirilgan trening variantlaridan birini qo'llash kerak.
Cho'ntak algoritmi
Ratchet cho'ntak algoritmi hozirgacha topilgan eng yaxshi yechimni "cho'ntakda" saqlash orqali perseptronni o'rganish mustahkamligi muammosini hal qiladi. Keyin cho'ntak algoritmi oxirgi yechim emas, balki cho'ntakdagi yechimni qaytaradi. Bundan tashqari, ajralmaydigan ma'lumotlar to'plami uchun ham foydalanish mumkin, bu erda maqsad bir nechta noto'g'ri tasniflangan perseptronni topishdir. Biroq, bu echimlar stokastik ko'rinadi va shuning uchun cho'ntak algoritmi ularga mos kelmaydi.trening davomida asta-sekin va ular ma'lum bir qator o'quv bosqichlarida aniqlanishi kafolatlanmaydi.
Maksover algoritmi
Maksoverning algoritmi ma'lumotlar to'plamining chiziqli bo'linishi haqidagi bilimlardan qat'i nazar, yaqinlashishi ma'nosida "mustahkam". Chiziqli bo'linish bo'lsa, bu ixtiyoriy ravishda optimal barqarorlik (sinflar orasidagi maksimal chegara) bilan ham o'quv muammosini hal qiladi. Ajratib bo'lmaydigan ma'lumotlar to'plamlari uchun oz sonli noto'g'ri tasniflangan yechim qaytariladi. Barcha holatlarda algoritm oldingi holatlarni eslamasdan va tasodifiy sakrashlarsiz o'quv jarayonida asta-sekin yechimga yaqinlashadi. Konvergentsiya umumiy maʼlumotlar toʻplamlari uchun global optimallikda va ajratilmaydigan maʼlumotlar toʻplamlari uchun mahalliy optimallikda yotadi.
Voted Perceptron
Ovozlangan Perceptron algoritmi bir nechta vaznli perseptronlardan foydalanadigan variant. Algoritm har safar misol noto‘g‘ri tasniflanganda yangi perseptronni ishga tushiradi va og‘irlik vektorini oxirgi perseptronning yakuniy og‘irliklari bilan ishga tushiradi. Har bir perseptronga, shuningdek, birortasini noto‘g‘ri tasniflashdan oldin qancha misollar to‘g‘ri tasniflanganiga mos keladigan turli og‘irlik beriladi va natijada butun perseptron bo‘yicha vaznli ovoz beriladi.
Ilova
Ajraladigan masalalarda perseptronni o'qitish sinflar orasidagi eng katta ajratish chegarasini topishga ham qaratilgan bo'lishi mumkin. Deb nomlanganOptimal barqarorlik perseptronini Min-Over yoki AdaTron algoritmi kabi takroriy o'qitish va optimallashtirish sxemalari yordamida aniqlash mumkin. AdaTron mos keladigan kvadratik optimallashtirish masalasining qavariq ekanligidan foydalanadi. Optimal barqarorlik perseptroni yadro nayrangi bilan birgalikda qo'llab-quvvatlovchi vektor mashinasining kontseptual asosidir.
Muqobil
Bir nechta qatlamlardan foydalanmasdan chiziqli bo'lmagan muammolarni hal qilishning yana bir usuli - yuqori tartibli tarmoqlardan foydalanish (sigma-pi bloki). Ushbu turdagi tarmoqlarda kirish vektorining har bir elementi ko'paytirilgan kirishlarning har bir juft birikmasi (ikkinchi tartib) bilan kengaytiriladi. Bu n-tartibli tarmoqqa kengaytirilishi mumkin. Perceptron juda moslashuvchan narsa.
Ammo shuni yodda tutingki, eng yaxshi klassifikator barcha oʻquv maʼlumotlarini aniq tasniflaydigan klassifikator boʻlishi shart emas. Haqiqatan ham, agar bizda ma'lumotlar teng o'zgaruvchan Gauss taqsimotlaridan kelib chiqadi degan cheklov mavjud bo'lsa, kirish maydonidagi chiziqli bo'linish optimal hisoblanadi va chiziqli bo'lmagan yechim bekor qilinadi.
Boshqa chiziqli tasniflash algoritmlariga Winnow, vektorni qoʻllab-quvvatlash va logistik regressiya kiradi. Perceptron universal algoritmlar toʻplamidir.
Nazorat ostidagi ta'lim uchun asosiy imkoniyatlar
Nazorat ostidagi oʻrganish – bu mashinani oʻrganish vazifasi boʻlib, u kirishni chiqish bilan taqqoslaydigan funksiyani oʻrganadikiritish-chiqarish juftliklari misollari asosida. Ular misollar to'plamidan iborat etiketli o'quv ma'lumotlaridan xususiyatni aniqlaydilar. Nazorat ostidagi taʼlimda har bir misol kirish obyekti (odatda vektor) va kerakli chiqish qiymatidan (boshqaruv signali deb ham ataladi) iborat juftlikdir.
Nazorat ostidagi oʻrganish algoritmi oʻquv maʼlumotlarini tahlil qiladi va yangi misollarni koʻrsatish uchun ishlatilishi mumkin boʻlgan taxminiy funksiyani ishlab chiqaradi. Optimal stsenariy algoritmga ko'rinmas holatlar uchun sinf belgilarini to'g'ri aniqlash imkonini beradi. Buning uchun oʻrganish algoritmi oʻrganish maʼlumotlarini koʻrinmaydigan vaziyatlarga “oqilona” tarzda umumlashtirishni talab qiladi.
Odam va hayvonlar psixologiyasidagi parallel vazifa koʻpincha kontseptual oʻrganish deb ataladi.
