Axborot texnologiyalarining rivojlanishi amaliy natijalar beradi. Ammo ma'lumotni topish, tahlil qilish va undan foydalanish kabi vazifalar hali yuqori sifatli samarali vositani olmagan. Analitik va miqdoriy vositalar mavjud, ular haqiqatan ham ishlaydi. Ammo axborotdan foydalanishda sifat inqilob hali sodir boʻlgani yoʻq.
Kompyuter texnologiyalari paydo boʻlishidan ancha oldin odam katta hajmdagi maʼlumotlarni qayta ishlashga majbur boʻlgan va bu bilan oʻzining eng yaxshi tajribasi va mavjud texnik imkoniyatlari bilan kurashgan.
Bilim va koʻnikmalarni rivojlantirish har doim haqiqiy ehtiyojlarni qondirgan va dolzarb vazifalarga mos kelgan. Ma'lumotlarni qidirish - bu ma'lumotlarda ilgari noma'lum, ahamiyatsiz bo'lmagan, amaliy foydali va mavjud bo'lgan, inson faoliyatining turli sohalarida qarorlar qabul qilish uchun zarur bo'lgan bilimlarni topish usullari to'plamiga murojaat qilish uchun ishlatiladigan umumiy nom.
Inson, aql, dasturlash
Inson har doim har qanday vaziyatda qanday harakat qilishni biladi. Bilmaslik yoki notanish vaziyat uning qaror qabul qilishiga to'sqinlik qilmaydi. Har qanday insoniy qarorning xolisligi va asosliligiga shubha qilish mumkin, lekin u qabul qilinadi.
Intellekt quyidagilarga asoslanadi: irsiy “mexanizm”, orttirilgan, faol bilim. Bilim inson oldida paydo bo'ladigan muammolarni hal qilish uchun qo'llaniladi.
- Aql - bu noyob bilim va ko'nikmalar to'plami: inson hayoti va faoliyati uchun imkoniyatlar va poydevor.
- Aql doimo rivojlanib boradi va inson harakatlari boshqa odamlarga ta'sir qiladi.
Dasturlash ma'lumotlarning ko'rinishini va algoritmlarni yaratish jarayonini rasmiylashtirishga qaratilgan birinchi urinishdir.
Sun'iy intellekt (AI) vaqt va resurslarni behuda sarflashdir, ammo AI sohasidagi o'tgan asrdagi muvaffaqiyatsiz urinishlar natijalari xotirada qoldi, turli xil ekspert (aqlli) tizimlarda qo'llanildi va o'zgartirildi, xususan, algoritmlar (qoidalar) va matematik (mantiqiy) ma'lumotlarni tahlil qilish va ma'lumotlarni qidirish.
Ma'lumot va yechimni odatiy izlash
Oddiy kutubxona - bu bilimlar ombori va bosma so'z va grafikalar hali ham kompyuter texnologiyalariga ta'sir qilmagan. Fizika, kimyo, nazariy mexanika, dizayn, tabiatshunoslik, falsafa, tabiatshunoslik, botanika, darsliklar, monografiyalar, olimlarning asarlari, konferentsiya materiallari, ishlanmalar bo'yicha ma'ruzalar va boshqalar bo'yicha kitoblar doimo dolzarb va ishonchli.
Kutubxona turli xil manbalardan iboratmaterialni taqdim etish shakli, kelib chiqishi, tuzilishi, mazmuni, taqdimot uslubi va boshqalar.
Tashqi tomondan hamma narsa tushunish va foydalanish uchun koʻrinadi (oʻqilishi, foydalanish mumkin). Siz har qanday muammoni hal qilishingiz, vazifani toʻgʻri qoʻyishingiz, yechimni asoslashingiz, insho yoki kurs ishini yozishingiz, diplom uchun material tanlashingiz, dissertatsiya yoki ilmiy-tahliliy hisobot mavzusi boʻyicha manbalarni tahlil qilishingiz mumkin.
Har qanday axborot muammosini hal qilish mumkin. Kerakli qat'iyat va mahorat bilan aniq va ishonchli natijaga erishiladi. Shu nuqtai nazardan, Data Mining butunlay boshqacha yondashuv.
Natijaga qo'shimcha ravishda, odam maqsadga erishish jarayonida ko'rilgan barcha narsalarga "faol havolalar" oladi. Muammoni hal qilishda u foydalangan manbalarga murojaat qilish mumkin va hech kim manbaning mavjudligi faktini inkor etmaydi. Bu haqiqiylik kafolati emas, lekin bu haqiqiylik uchun javobgarlik "obunani bekor qilish" uchun ishonchli guvohlikdir. Shu nuqtai nazardan, Data Mining ishonchliligi va "faol" havolalar yo'qligi haqida katta shubhalarni anglatadi.
Bir nechta muammolarni yechish orqali inson natijalarga erishadi va oʻzining intellektual salohiyatini koʻplab “faol bogʻlanishlar”ga kengaytiradi. Agar yangi vazifa allaqachon mavjud havolani "faollashtirsa", odam uni qanday hal qilishni biladi: yana hech narsa qidirishning hojati yo'q.
"Faol havola" - bu qat'iy bog'lanish: muayyan holatda qanday va nima qilish kerak. Inson miyasi unga potentsial qiziqarli, foydali bo'lib tuyulgan hamma narsani avtomatik ravishda eslab qoladi.yoki kelajakda kerak bo'lishi mumkin. Ko'p jihatdan, bu ongsiz darajada sodir bo'ladi, ammo "faol havola" bilan bog'liq bo'lishi mumkin bo'lgan vazifa paydo bo'lishi bilanoq, u darhol ongda paydo bo'ladi va ma'lumotni qo'shimcha izlamasdan yechim olinadi. Data Mining har doim qidiruv algoritmining takroridir va bu algoritm o'zgarmaydi.
Doimiy qidiruv: "badiiy" muammolar
Matematik kutubxona va undagi ma'lumotlarni qidirish nisbatan zaif vazifadir. Integralni yechish, matritsa qurish yoki ikkita xayoliy sonni qo‘shish amalini bajarishning u yoki bu yo‘lini topish mashaqqatli, ammo oddiy. Koʻplari maʼlum bir tilda yozilgan bir qancha kitoblarni saralashingiz, kerakli matnni topishingiz, uni oʻrganishingiz va kerakli yechimni olishingiz kerak.
Vaqt o'tishi bilan ro'yxatga olish tanish bo'lib qoladi va to'plangan tajriba kutubxona ma'lumotlari va boshqa matematik muammolarni hal qilish imkonini beradi. Bu savol va javoblarning cheklangan axborot maydoni. Xarakterli xususiyat: ma'lumotni bunday izlash shunga o'xshash muammolarni hal qilish uchun bilimlarni to'playdi. Insonning ma'lumotni izlashi uning xotirasida boshqa muammolarni hal qilishning mumkin bo'lgan izlari ("faol havolalar") qoldiradi.
Badiiy adabiyotda “1248-yil yanvarida odamlar qanday yashagan?” degan savolga javob toping. Juda qiyin. Do‘kon peshtaxtalarida nimalar bor edi, oziq-ovqat savdosi qanday tashkil etilgan, degan savollarga javob berish yanada qiyinroq. Agar qaysidir yozuvchi o'z romanida bu haqda aniq va to'g'ridan-to'g'ri yozgan bo'lsa ham, agar bu yozuvchining ismi topilsa, unda shubha tug'iladi.olingan ma'lumotlarning ishonchliligi saqlanib qoladi. Ishonchlilik har qanday ma'lumot miqdori uchun muhim xususiyatdir. Natijaning yolg'onligini istisno qiladigan manba, muallif va dalillar muhim.
Muayyan vaziyatning ob'ektiv holatlari
Inson koʻradi, eshitadi, his qiladi. Ba'zi mutaxassislar o'ziga xos tuyg'uni - sezgini yaxshi bilishadi. Muammoning bayoni ma'lumotni talab qiladi, muammoni hal qilish jarayoni ko'pincha muammoning bayonini takomillashtirish bilan birga keladi. Bu ma'lumotni kompyuter tizimiga ko'chirish bilan bog'liq kamroq muammo.
Kutubxona va ishchi hamkasblar qaror qabul qilish jarayonida bilvosita ishtirokchilardir. Kitobning (manbaning) dizayni, matndagi grafikalar, ma'lumotlarni sarlavhalarga bo'lish xususiyatlari, iboralar bo'yicha izohlar, mavzu ko'rsatkichi, asosiy manbalar ro'yxati - hamma narsa odamda hal qilish jarayoniga bilvosita ta'sir qiladigan assotsiatsiyalarni keltirib chiqaradi. muammo.
Muammoni hal qilish vaqti va joyi muhim. Inson shu qadar tartibga solinganki, u muammoni hal qilish jarayonida uni o'rab turgan hamma narsaga beixtiyor e'tibor beradi. Bu chalg'itishi yoki rag'batlantirishi mumkin. Data Mining hech qachon "tushunmaydi".
Virtual makondagi ma'lumotlar
Insonni har doim hodisa, hodisa, ob'ekt, masalani hal qilish algoritmi haqidagi ishonchli ma'lumotlar qiziqtirgan. Inson har doim orzu qilgan maqsadiga qanday erishish mumkinligini aniq tasavvur qilgan.
Kompyuterlar va axborot tizimlarining paydo bo'lishi inson hayotini osonlashtirishi kerak edi, ammo hamma narsa yanada murakkablashdi. Ma'lumotlar kompyuter tizimlarining ichaklariga ko'chib o'tdi va ko'zdan g'oyib bo'ldi. Kerakli ma'lumotlarni tanlash uchun siz to'g'ri algoritm yaratishingiz yoki ma'lumotlar bazasiga so'rovni shakllantirishingiz kerak.
Savol toʻgʻri boʻlishi kerak. Shundagina siz javob olishingiz mumkin. Ammo haqiqiyligiga shubhalar saqlanib qolmoqda. Shu ma'noda, Data Mining haqiqatan ham "qazish", bu "ma'lumot olish". Bu iborani shunday tarjima qilish moda. Rus tilidagi versiyasi ma'lumotlarni qidirish yoki ma'lumotlarni ishlab chiqish texnologiyasidir.
Obroʻli mutaxassislarning ishlarida Data Mining vazifalari quyidagicha koʻrsatilgan:
- tasnifi;
- klasterlash;
- assotsiatsiya;
- ketma-ket;
- prognoz.
Axborotni qo'lda qayta ishlashda odamni boshqaradigan amaliyot nuqtai nazaridan, bu pozitsiyalarning barchasi bahsli. Qanday bo'lmasin, odam ma'lumotni avtomatik ravishda qayta ishlaydi va ma'lumotlarni tasniflash, ob'ektlarning tematik guruhlarini tuzish (klasterlash), vaqtinchalik naqshlarni qidirish (ketma-ketlik) yoki natijani bashorat qilish haqida o'ylamaydi.
Inson ongidagi barcha bu pozitsiyalar faol bilimlar bilan ifodalanadi, ular ko'proq pozitsiyalarni qamrab oladi va dastlabki ma'lumotlarni qayta ishlash mantig'idan dinamik foydalanadi. Insonning ongsizligi muhim rol o'ynaydi, ayniqsa u ma'lum bir bilim sohasidagi mutaxassis bo'lsa.
Misol: Kompyuter uskunalari ulgurji savdosi
Vazifa oddiy. Bir nechta boro'nlab kompyuter uskunalari va tashqi qurilmalar yetkazib beruvchilar. Har birida xls formatidagi narxlar ro'yxati mavjud (Excel fayli), uni yetkazib beruvchining rasmiy veb-saytidan yuklab olish mumkin. Excel fayllarini o'qiy oladigan, ularni ma'lumotlar bazasi jadvallariga aylantiradigan va mijozlarga kerakli mahsulotlarni eng past narxlarda tanlash imkonini beruvchi veb-resurs yaratish talab etiladi.
Muammolar darhol yuzaga keladi. Har bir etkazib beruvchi xls faylining tuzilishi va mazmunining o'ziga xos versiyasini taklif qiladi. Siz faylni yetkazib beruvchining veb-saytidan yuklab olishingiz, elektron pochta orqali buyurtma berishingiz yoki shaxsiy kabinetingiz orqali yuklab olish havolasini olishingiz, yaʼni yetkazib beruvchida rasmiy roʻyxatdan oʻtish orqali olishingiz mumkin.
Muammoning yechimi (boshida) texnologik jihatdan oddiy. Fayllarni yuklash (dastlabki ma'lumotlar), har bir yetkazib beruvchi uchun faylni aniqlash algoritmi yoziladi va ma'lumotlar dastlabki ma'lumotlarning bitta katta jadvaliga joylashtiriladi. Barcha ma'lumotlar olingandan so'ng, yangi ma'lumotlarni uzluksiz almashtirish mexanizmi (kunlik, haftalik yoki o'zgartirilganda) o'rnatilgandan so'ng:
- assortimentni oʻzgartirish;
- narxdagi o'zgarishlar;
- stokdagi miqdorni aniqlash;
- kafolat shartlari, spetsifikatsiyalar va boshqalarni sozlash
Haqiqiy muammolar shu erdan boshlanadi. Gap shundaki, yetkazib beruvchi quyidagilarni yozishi mumkin:
- noutbuk Acer;
- noutbuk Asus;
- Dell noutbuki.
Gap bir xil mahsulot haqida ketmoqda, lekin turli ishlab chiqaruvchilardan. Notebook=noutbukni qanday moslashtirish kerak yoki Acer, Asus va Dellni mahsulot qatoridan qanday olib tashlash mumkin?
uchuninson muammo emas, lekin algoritm Acer, Asus, Dell, Samsung, LG, HP, Sony savdo belgisi yoki yetkazib beruvchi ekanligini qanday “tushunadi”? "Printer" va printer, "skaner" va "MFP", "nusxa ko'chirish" va "MFP", "naushniklar" bilan "naushniklar", "aksessuarlar" bilan "aksessuarlar" qanday moslashtiriladi?
Manba ma'lumotlari (manba fayllar) asosida toifalar daraxtini yaratish allaqachon muammo bo'lib qolsa, hamma narsani avtomatik sozlash kerak.
Ma'lumotlar namunasi: "yangi quyilgan" qazishmalar
Kompyuter texnikasi yetkazib beruvchilar ma'lumotlar bazasini yaratish vazifasi hal qilindi. Kategoriyalar daraxti qurildi, barcha yetkazib beruvchilarning takliflaridan iborat umumiy jadval ishlamoqda.
Ushbu misol kontekstidagi odatiy ma'lumotlarni qidirish vazifalari:
- eng arzon narxdagi mahsulotni toping;
- eng kam yetkazib berish narxi va narxi boʻlgan mahsulotni tanlang;
- mahsulot tahlili: mezonlar boʻyicha xususiyatlar va narxlar.
Bir necha oʻnlab yetkazib beruvchilar maʼlumotlaridan foydalangan holda menejerning haqiqiy ishida bu vazifalarning koʻplab oʻzgarishlari va undan ham koʻproq real vaziyatlar boʻladi.
Masalan, ASUS VivoBook S15 sotuvchi "A" yetkazib beruvchisi bor: oldindan toʻlov, pulni haqiqiy olinganidan keyin 5 kun oʻtgach yetkazib berish. Xuddi shu modeldagi bir xil mahsulotni yetkazib beruvchi "B" mavjud: olingandan keyin to'lov, shartnoma tuzilgandan keyin bir kun ichida yetkazib berish, narxi bir yarim baravar yuqori.
Data Mining boshlanadi - "qazishlar". Majoziy iboralar: "qazish" yoki "ma'lumotlar qazib olish" sinonimdir. Bu qaror qabul qilish uchun qanday sabab topish haqida.
“A” va “B” yetkazib beruvchilari yetkazib berish tarixiga ega. Bahobirinchi holatda oldindan to'lovni kvitantsiya bo'yicha to'lash ikkinchi holatda, ikkinchi holatda etkazib berishning muvaffaqiyatsizligi 65% ga yuqori ekanligini hisobga olgan holda. Mijoz tomonidan jarimalar xavfi yuqori/past. Qanday va nimani aniqlash va qanday qaror qabul qilish kerak?
Boshqa tomondan: ma'lumotlar bazasi dasturchi va menejer tomonidan yaratilgan. Agar dasturchi va menejer o'zgargan bo'lsa, ma'lumotlar bazasining hozirgi holatini qanday aniqlash va undan to'g'ri foydalanishni o'rganish kerakmi? Bundan tashqari, siz ma'lumotlarni qazib olishingiz kerak bo'ladi. Data Mining turli xil matematik va mantiqiy usullarni taklif etadi, ular qanday ma'lumotlar o'rganilayotganiga ahamiyat bermaydilar. Bu baʼzi hollarda toʻgʻri yechimni beradi, lekin hammasida emas.
Virtuallikka oʻtish va maʼno topish
Ma'lumotni qazib olish usullari ma'lumotlar ma'lumotlar bazasiga yozilishi va "ko'rish maydoni" dan yo'qolishi bilanoq mazmunli bo'ladi. Kompyuter uskunalari bilan savdo qilish qiziqarli ish, ammo bu shunchaki biznes. Uning kompaniyada qanchalik yaxshi tashkil etilgani uning muvaffaqiyatiga bog'liq.
Sayyoramizdagi iqlim oʻzgarishlari va maʼlum bir shahardagi ob-havo nafaqat professional iqlim boʻyicha mutaxassislarni, balki hammani ham qiziqtiradi. Minglab sensorlar shamol, namlik, bosim, sun'iy Yer sun'iy yo'ldoshlari ma'lumotlarini o'qishadi va ma'lumotlarning yillar va asrlar tarixi mavjud.
Ob-havo ma'lumotlari faqat ishga soyabon olib kelish yoki olmaslik haqida qaror qabul qilishdan iborat emas. Data Mining texnologiyalari - bu avialaynerning xavfsiz parvozi, magistralning barqaror ishlashi va dengiz orqali neft mahsulotlarini ishonchli yetkazib berishdir.
"Xom" ma'lumotlar ma'lumotlarga yuboriladitizimi. Data Mining vazifalari ularni tizimlashtirilgan jadvallar tizimiga aylantirish, aloqalarni o'rnatish, bir hil ma'lumotlar guruhlarini ajratib ko'rsatish va naqshlarni aniqlashdan iborat.
Matematik va mantiqiy usullar miqdoriy tahliliy OLAP (On-line Analytical Processing) davridan beri o'zining amaliyligini ko'rsatdi. Bu yerda texnologiya kompyuter uskunalarini sotish misolida boʻlgani kabi maʼnoni yoʻqotmaslikka imkon beradi.
Bundan tashqari, global vazifalarda:
- transmilliy biznes;
- havo transportini boshqarish;
- er osti yoki ijtimoiy muammolarni o'rganish (davlat darajasida);
- dorilarning tirik organizmga ta'sirini o'rganish;
- sanoat korxonasi qurilishining oqibatlarini bashorat qilish va hokazo.
Data Mine texnologiyalari va "ma'nosiz" ma'lumotlarni ob'ektiv qarorlar qabul qilish imkonini beruvchi haqiqiy ma'lumotlarga aylantirish - yagona variant.
Inson imkoniyatlari katta hajmdagi xom ma'lumot bo'lgan joyda tugaydi. Maʼlumotlarni koʻrish, tushunish va his qilish zarur boʻlgan joylarda maʼlumotlarni qidirish tizimlari foydaliligini yoʻqotadi.
Funksiyalarning oqilona taqsimlanishi va xolislik
Inson va kompyuter bir-birini toʻldirishi kerak - bu aksioma. Dissertatsiya yozish inson uchun ustuvor vazifa, axborot tizimi esa yordamdir. Bu yerda Data Mining texnologiyasida mavjud boʻlgan maʼlumotlar evristika, qoidalar va algoritmlardir.
Haftalik ob-havo prognozini tayyorlash axborot tizimining ustuvor yoʻnalishi hisoblanadi. Inson ma'lumotlarni boshqaradi, lekin o'z qarorlarini tizimning hisob-kitoblari natijalariga asoslaydi. U Data Mining usullarini, mutaxassislar maʼlumotlarini tasniflashni, algoritmlarni qoʻllashni qoʻlda boshqarishni, oʻtmishdagi maʼlumotlarni avtomatik taqqoslashni, matematik prognozlash va axborot tizimini qoʻllashda ishtirok etuvchi real odamlarning koʻplab bilim va koʻnikmalarini birlashtiradi.
Ehtimollar nazariyasi va matematik statistika bilimlarning eng "sevimli" va tushunarli sohalari emas. Ko'pgina mutaxassislar ulardan juda uzoqda, ammo bu sohalarda ishlab chiqilgan usullar deyarli 100% to'g'ri natijalar beradi. Data Mining g'oyalari, usullari va algoritmlariga asoslangan tizimlarni qo'llash orqali yechimlarni ob'ektiv va ishonchli tarzda olish mumkin. Aks holda, hech qanday yechim topib bo'lmaydi.
Fir'avnlar va o'tgan asrlarning sirlari
Tarix vaqti-vaqti bilan qayta yozilgan:
- davlatlar - strategik manfaatlari uchun;
- nufuzli olimlar - sub'ektiv e'tiqodlari uchun.
Qaysi rost-yu, nimasi yolg‘on ekanini aytish qiyin. Data Mining-dan foydalanish bizga ushbu muammoni hal qilish imkonini beradi. Masalan, piramidalarni qurish texnologiyasi turli asrlarda yilnomachilar tomonidan tasvirlangan va olimlar tomonidan o'rganilgan. Hamma materiallar Internetda olinmagan, bu yerda hamma narsa noyob emas va ko'p ma'lumotlar bo'lmasligi mumkin:
- ta'riflangan vaqt;
- tavsifni yozish vaqti;
- tavsifga asoslangan sanalar;
- muallif(lar), fikrlar (havolalar) hisobga olindi;
- xolislikni tasdiqlash.
Bkutubxonalar, ibodatxonalar va "kutilmagan joylar"da turli asrlarga oid qoʻlyozmalar va oʻtmishning ashyoviy dalillarini topishingiz mumkin.
Qiziqarli maqsad: hammasini bir joyga jamlash va "haqiqat"ni ochish. Muammoning o'ziga xos xususiyati: ma'lumotni yilnomachining birinchi ta'rifidan boshlab, fir'avnlar hayoti davomida, hozirgi asrga qadar olish mumkin, bu muammo ko'plab olimlar tomonidan zamonaviy usullar bilan hal qilinadi.
Data Mining-dan foydalanishning asosi: qo'l mehnati mumkin emas. Juda koʻp miqdor:
- axborot manbalari;
- vakillik tillari;
- tadqiqotchilar bir xil narsani turlicha ta'riflaydi;
- sana, tadbirlar va shartlar;
- term korrelyatsiya muammolari;
- vaqt boʻyicha maʼlumotlar guruhlari boʻyicha statistik maʼlumotlarning tahlili farq qilishi mumkin va hokazo.
O'tgan asrning oxirida, sun'iy intellekt g'oyasining yana bir fiaskosi nafaqat oddiy odamga, balki murakkab mutaxassisga ham ayon bo'lganida, "shaxsni qayta yaratish" g'oyasi paydo bo'ldi.
Masalan, Pushkin, Gogol, Chexov asarlariga ko'ra, ma'lum qoidalar tizimi, xatti-harakatlar mantiqi shakllanadi va ma'lum savollarga shaxs kabi javob bera oladigan axborot tizimi yaratiladi: Pushkin, Gogol yoki Chexov. Nazariy jihatdan bunday vazifa qiziqarli, lekin amalda uni amalga oshirish nihoyatda qiyin.
Biroq, bunday vazifa g'oyasi juda amaliy g'oyani taklif qiladi: "aqlli ma'lumot qidirishni qanday yaratish kerak". Internet - bu juda ko'p rivojlanayotgan resurslar, ulkan ma'lumotlar bazasi va bu Data Miningni inson bilan birgalikda qo'llash uchun ajoyib imkoniyatdir.birgalikda ishlab chiqish formatidagi mantiq.
Mashina va odamning juftlashgani - bu "axborot arxeologiyasi" sohasidagi ajoyib vazifa va shubhasiz muvaffaqiyat, ma'lumotlar va natijalardagi yuqori sifatli qazishmalar, bu nimanidir shubha ostiga qo'yadi, lekin shubhasiz sizga imkon beradi. yangi bilimlarga ega bo'lish va jamiyatda talabga ega bo'lish.
