Bir necha o'n yillar oldin olimlar lingvistik tadqiqotlarni avtomatlashtirishni orzu qilishlari mumkin edi. Ish qo'lda bajarildi, unga ko'p sonli talabalar jalb qilindi, "e'tiborsizlik" xatosi ehtimoli katta edi va eng muhimi, hammasi juda ko'p, ko'p vaqtni oldi.
Kompyuter texnikasining rivojlanishi bilan tadqiqotni ancha tez olib borish imkoniyati paydo boʻldi va bugungi kunda tilni oʻrganishning istiqbolli yoʻnalishlaridan biri korpus lingvistikasidir. Uning asosiy xususiyati - yagona ma'lumotlar bazasiga jamlangan, maxsus tarzda belgilangan va korpus deb ataladigan katta hajmdagi matnli ma'lumotlardan foydalanish.
Bugungi kunda millionlab dan oʻnlab milliardlab leksik birliklarni qamrab oluvchi, turli til materiallari asosida turli maqsadlar uchun yaratilgan koʻplab korpuslar mavjud. Ushbu yo'nalish istiqbolli deb e'tirof etilgan bo'lib, amaliy va tadqiqot maqsadlariga erishishda sezilarli muvaffaqiyatlardan dalolat beradi. Professionallar, u yoki bu tarzda shug'ullanaditabiiy tilda, matn korpusi bilan kamida asosiy darajada tanishishingiz tavsiya etiladi.
Korpus tilshunosligi tarixi
Ushbu yoʻnalishning shakllanishi oʻtgan asrning 60-yillari boshlarida AQShda Braun korpusining tashkil etilishi bilan bogʻliq. Matnlar to'plami bor-yo'g'i 1 million so'z shakllaridan iborat edi va bugungi kunda bunday hajmdagi korpus mutlaqo raqobatdosh bo'lmaydi. Bu asosan kompyuter texnologiyalarining rivojlanish sur'atlari, shuningdek, yangi tadqiqot resurslariga talab ortib borayotgani bilan bog'liq.
90-yillarda korpus tilshunosligi toʻliq va mustaqil fan sifatida shakllandi, matnlar toʻplamlari tuzildi va bir necha oʻnlab tillar uchun belgilandi. Bu davrda, masalan, Britaniya Milliy Korpusi 100 million soʻzdan foydalanish uchun yaratilgan.
Tilshunoslikning ushbu yoʻnalishi rivojlanib borishi bilan matnlar hajmi kattalashib boradi (va milliardlab lugʻat birliklariga yetadi) va belgilashlar tobora xilma-xil boʻlib boradi. Bugungi kunda Internet makonida siz yozma va og'zaki nutq, ko'p tilli va ta'lim, badiiy yoki akademik adabiyotga yo'n altirilgan, shuningdek, boshqa ko'plab turlarni topishingiz mumkin.
Qanday holatlar bor
Korpus lingvistikasida korpus turlarini bir necha usul bilan ifodalash mumkin. Ma'lumki, tasniflash uchun asos matnlar tili (rus, nemis), kirish rejimi (ochiq manba, yopiq manba, tijorat), manba materialining janri (badiiy adabiyot) bo'lishi mumkin.adabiyot, hujjatli film, akademik, jurnalistika).
Qiziqarli tarzda og'zaki nutqni ifodalovchi materiallarni yaratish amalga oshiriladi. Bunday nutqni ataylab yozib olish respondentlar uchun sun'iy sharoit yaratishi va natijada olingan materialni "spontan" deb atash mumkin emasligi sababli, zamonaviy korpus tilshunosligi boshqacha yo'l tutdi. Ko'ngilli mikrofon bilan jihozlangan va kun davomida u ishtirok etgan barcha suhbatlar yozib olinadi. Atrofdagilar, albatta, kundalik suhbat davomida ilm-fan rivojiga hissa qo'shayotganini bilishmaydi.
Keyinroq, olingan audioyozuvlar ma'lumotlar bankida saqlanadi va transkript kabi bosma matn bilan birga keladi. Shunday qilib, kundalik og'zaki nutq korpusini yaratish uchun zarur bo'lgan belgilash mumkin bo'ladi.
Ilova
Tildan foydalanish mumkin boʻlgan joyda matn korpusidan ham foydalanish mumkin. Tilshunoslikda korpus usullaridan foydalanishdan maqsad quyidagilar bo'lishi mumkin:
- Saylovchilar va mijozlarning ijobiy va salbiy fikrlarini kuzatish uchun siyosat va biznesda keng qoʻllaniladigan kayfiyat dasturlarini yaratish.
- Axborot tizimini lugʻatlar va tarjimonlar unumdorligini oshirish uchun ularga ulash.
- Tilning tuzilishini, rivojlanish tarixini va yaqin kelajakdagi oʻzgarishlarni bashorat qilishga hissa qoʻshadigan turli tadqiqot vazifalari.
- Morfologik,sintaktik, semantik va boshqa xususiyatlar.
- Turli til tizimlarining ishini optimallashtirish va hokazo.
Qopqoqlardan foydalanish
Resurs interfeysi odatdagi qidiruv tizimiga oʻxshaydi va foydalanuvchidan maʼlumot bazasini qidirish uchun soʻz yoki soʻzlar birikmasini kiritishni taklif qiladi. Aniq soʻrov shakliga qoʻshimcha ravishda siz matnli maʼlumotlarni deyarli har qanday lingvistik mezon boʻyicha topish imkonini beruvchi kengaytirilgan versiyadan foydalanishingiz mumkin.
Qidiruv uchun asos boʻlishi mumkin:
- nutq qismlarining ma'lum bir guruhiga tegishli;
- grammatik xususiyatlar;
- semantika;
- stilistik va hissiy rang berish.
Shuningdek, siz soʻzlar ketma-ketligi uchun qidiruv mezonlarini birlashtirishingiz mumkin: masalan, hozirgi zamonda, birinchi shaxsda, birlikdan soʻng “in” predlogi va ot kelishikdagi barcha koʻrinishlarini toping.. Bunday oddiy vazifani hal qilish foydalanuvchiga bir necha soniya vaqt oladi va berilgan maydonlarda sichqonchani bir necha marta bosishni talab qiladi.
Yaratish jarayoni
Qidiruvning oʻzi ham barcha subkorpuslarda, ham maʼlum maqsadga erishishdagi ehtiyojlarga qarab alohida tanlangan bittasida amalga oshirilishi mumkin:
- Avvalo qaysi matnlar korpus asosini tashkil etishi aniqlanadi. Amaliy maqsadlarda ko'pincha jurnalistik, gazeta materiallari, Internet sharhlari qo'llaniladi. Tadqiqot loyihalarida, eng ko'phar xil turdagi korpuslar, lekin matnlar umumiy asosda tanlanishi kerak.
- Olingan matnlar toʻplamiga oldindan ishlov beriladi, xatolar tuzatiladi, agar mavjud boʻlsa, matnning bibliografik va ekstralingvistik tavsifi tayyorlanadi.
- Barcha matnli boʻlmagan maʼlumotlar filtrlanadi: grafiklar, rasmlar, jadvallar oʻchirib tashlanadi.
- Tokenlar, odatda soʻzlar, keyingi ishlov berish uchun ajratiladi.
- Nihoyat, hosil boʻlgan elementlar toʻplamiga morfologik, sintaktik va boshqa belgilar qoʻyiladi.
Barcha bajarilgan amallarning natijasi sintaktik tuzilma boʻlib, uning ustida taqsimlangan elementlar toʻplami boʻlib, ularning har biri uchun nutqning bir qismi, grammatik va ayrim hollarda semantik xususiyatlar aniqlanadi.
Ishlarni yaratishda qiyinchiliklar
Tushunish kerakki, korpusni olish uchun koʻp soʻz yoki jumlalarni jamlash yetarli emas. Bir tomondan, matnlar to'plami muvozanatli bo'lishi kerak, ya'ni har xil turdagi matnlarni ma'lum nisbatlarda taqdim etishi kerak. Boshqa tomondan, ishning mazmuni maxsus tarzda belgilanishi kerak.
Birinchi masala kelishuv asosida hal qilinadi: masalan, toʻplamga badiiy matnlarning 60%, hujjatli filmlarning 20% kiradi, maʼlum bir qismi ogʻzaki nutqning yozma taqdimotiga, qonun hujjatlariga, ilmiy ishlarga va hokazolarga beriladi.. Bugungi kunda muvozanatli korpus uchun ideal retsept mavjud emas.
Kontent belgilariga oid ikkinchi savolni hal qilish qiyinroq. Matnlarni avtomatik belgilash uchun maxsus dasturlar va algoritmlar qo'llaniladi, ammo ular 100% natija bermaydi, muvaffaqiyatsizlikka olib kelishi mumkin va qo'lda takomillashtirishni talab qiladi. Ushbu muammoni hal qilishning imkoniyatlari va muammolari V. P. Zaxarovning korpus lingvistikasiga oid ishida batafsil bayon etilgan.
Matnni belgilash bir necha darajalarda amalga oshiriladi, biz ularni quyida sanab o'tamiz.
Morfologik belgi
Maktab skameykasidan biz rus tilida nutqning turli qismlari mavjudligini va ularning har biri o'ziga xos xususiyatlarga ega ekanligini eslaymiz. Masalan, fe'lda otda mavjud bo'lmagan kayfiyat va zamon kategoriyalari mavjud. Ona tilida so'zlashuvchi ikkilanmasdan otlarni rad etadi va fe'llarni birlashtiradi, ammo qo'l mehnati 100 million so'zdan iborat korpusni belgilash uchun mos kelmaydi. Barcha kerakli operatsiyalarni kompyuter bajarishi mumkin, ammo buning uchun uni o'rgatish kerak.
Morfologik belgi kompyuterda har bir soʻzni nutqning maʼlum grammatik xususiyatlarga ega boʻlgan qismi sifatida “tushunishi” uchun zarur. Rus tilida (har qanday boshqa tilda bo'lgani kabi) bir qator muntazam qoidalar ishlaganligi sababli, mashinaga bir qator algoritmlarni qo'yish orqali morfologik tahlilning avtomatik tartibini qurish mumkin. Biroq, qoidadan istisnolar, shuningdek, turli murakkablashtiruvchi omillar mavjud. Natijada, bugungi kunda sof kompyuter tahlili idealdan uzoqdir va hatto 4% xatoliklar 100 million birlik korpusda 4 million so‘z qiymatini beradi, bu esa qo‘lda takomillashtirishni talab qiladi.
Bu muammo V. P. Zaxarovning "Korpus lingvistikasi" kitobida batafsil bayon etilgan.
Sintaktik belgilash
Sintaktik tahlil yoki tahlil qilish - gapdagi so'zlarning munosabatini aniqlaydigan protsedura. Algoritmlar to'plami yordamida matndagi mavzu, predikat, qo'shimchalar va nutqning turli xil burilishlarini aniqlash mumkin bo'ladi. Ketma-ketlikdagi qaysi soʻzlar asosiy va qaysi biri bogʻliqligini aniqlash orqali biz matndan maʼlumotni samarali ajratib olishimiz va qidiruv soʻroviga javoban faqat bizni qiziqtirgan maʼlumotni qaytarishga mashinani oʻrgatishimiz mumkin.
Aytgancha, zamonaviy qidiruv tizimlari bundan "olmada qancha kaloriya bor" yoki "Moskvadan Sankt-Peterburggacha bo'lgan masofa" kabi tegishli so'rovlarga javoban uzun matnlar o'rniga aniq raqamlarni berish uchun foydalanadi. Biroq, tasvirlangan jarayonning eng asoslarini tushunish uchun siz "Korpus lingvistikasiga kirish" yoki boshqa asosiy darslik bilan tanishishingiz kerak bo'ladi.
Semantik belgilash
Soʻzning semantikasi oddiy soʻz bilan aytganda, uning maʼnosidir. Semantik tahlilda keng qo'llaniladigan yondashuv - bu so'zning semantik toifalar va pastki kategoriyalar to'plamiga tegishliligini aks ettiruvchi teglarni belgilash. Bunday maʼlumotlar matn hissiyotini tahlil qilish algoritmlarini optimallashtirish, avtomatik havola qilish va korpus lingvistikasi usullaridan foydalangan holda boshqa vazifalarni bajarish uchun qimmatlidir.
Daraxtning bir qancha "ildizlari" bor, ular mavhum so'zlarga egajuda keng semantika. Bu daraxt shoxlari bo'lgan sari ko'proq o'ziga xos leksik elementlarni o'z ichiga olgan tugunlar hosil bo'ladi. Masalan, “maxluq” so‘zini “inson”, “hayvon” kabi tushunchalar bilan bog‘lash mumkin. Birinchi so'z har xil kasblar, qarindoshlik, millat atamalariga, ikkinchisi - hayvonlarning sinflari va turlariga bo'linishda davom etadi.
Axborot qidirish tizimlaridan foydalanish
Korpus tilshunosligining qoʻllanish sohalari faoliyatning turli sohalarini qamrab oladi. Korpora lug'atlarni tuzish va tuzatish, avtomatik tarjima tizimlarini yaratish, umumlashtirish, faktlarni ajratib olish, his-tuyg'ularni aniqlash va boshqa matnlarni qayta ishlash uchun ishlatiladi.
Bundan tashqari, bunday manbalar dunyo tillarini va umuman tilning ishlash mexanizmlarini o'rganishda faol foydalaniladi. Oldindan tayyorlangan katta hajmdagi ma'lumotlarga kirish tillarning rivojlanish tendentsiyalarini tez va har tomonlama o'rganishga, neologizmlar va barqaror nutq burilishlarini shakllantirishga, leksik birliklarning ma'nolarini o'zgartirishga va hokazolarga yordam beradi.
Bunday katta hajmdagi ma'lumotlar bilan ishlash avtomatlashtirishni talab qilganligi sababli, bugungi kunda kompyuter va korpus lingvistikasi o'rtasida yaqin aloqa mavjud.
Rus tilining milliy korpusi
Ushbu korpus (NKRC deb qisqartirilgan) turli xil vazifalarni hal qilish uchun resursdan foydalanish imkonini beruvchi bir qator subkorpuslarni o'z ichiga oladi.
NCRA ma'lumotlar bazasidagi materiallar quyidagilarga bo'lingan:
- 90 va 2000-yillardagi ommaviy axborot vositalaridagi nashrlardayillar, ham mahalliy, ham xorijiy;
- og'zaki nutq yozuvlari;
- aksentologik belgilangan matnlar (ya'ni urg'u belgilari bilan);
- dialekt nutqi;
- poetik asarlar;
- sintaktik belgili materiallar va hokazo.
Axborot tizimi shuningdek, asarlarning rus tilidan ingliz, nemis, frantsuz va boshqa koʻplab tillarga (va aksincha) parallel tarjimalari bilan subkorpuslarni oʻz ichiga oladi.
Shuningdek, ma'lumotlar bazasida o'z rivojlanishining turli davrlarida rus tilida yozma nutqni ifodalovchi tarixiy matnlar bo'limi mavjud. Chet el fuqarolari uchun rus tilini o'zlashtirishda foydali bo'lishi mumkin bo'lgan o'quv korpusi ham mavjud.
Rus tilining milliy korpusi 400 million leksik birlikni o'z ichiga oladi va ko'p jihatdan Evropa tillari korpusining muhim qismidan oldinda.
Istiqbollar
Bu sohani istiqbolli deb e'tirof etishning foydasi shundaki, Rossiya universitetlarida, shuningdek, xorijiy universitetlarda korpus lingvistika laboratoriyalarining mavjudligi. Ko'rib chiqilayotgan axborot-qidiruv resurslari doirasida foydalanish va tadqiq qilish bilan yuqori texnologiyalar, savol-javob tizimlari sohasida ayrim yo'nalishlarning rivojlanishi bog'liq, ammo bu haqda yuqorida muhokama qilingan.
Korpus lingvistikasining yanada rivojlanishi barcha darajalarda, jumladan, texnik jihatdan, axborotni qidirish va qayta ishlash jarayonlarini optimallashtiradigan yangi algoritmlarni joriy etish, EHM imkoniyatlarini kengaytirish, operativlikni oshirish nuqtai nazaridan prognoz qilinmoqda.xotira va uy xo'jaliklari bilan yakunlanadi, chunki foydalanuvchilar kundalik hayotda va ishda ushbu turdagi manbalardan foydalanishning tobora ko'proq yo'llarini topmoqdalar.
Xulosa
Oʻtgan asrning oʻrtalarida 2017-yil uzoq kelajakka oʻxshab koʻrindi, unda kosmik kemalar Koinot kengliklarida sayr qiladi va robotlar odamlar uchun barcha ishlarni bajaradi. Biroq, haqiqatda ilm-fan "bo'sh joylar" bilan to'lib-toshgan va insoniyatni asrlar davomida qiynayotgan savollarga javob berishga umidsiz urinishlar qilmoqda. Tilning ishlashiga oid savollar bu erda g'ururlanadi va korpus va hisoblash lingvistikasi bizga ularga javob berishga yordam beradi.
Katta hajmdagi ma'lumotlarni qayta ishlash sizga avval kirish imkoni bo'lmagan naqshlarni aniqlash, tilning ma'lum xususiyatlarining rivojlanishini bashorat qilish, deyarli real vaqtda so'zlarning shakllanishini kuzatish imkonini beradi.
Amaliy global darajada korpusni, masalan, jamoatchilik kayfiyatini baholashning potentsial vositasi sifatida ko'rib chiqish mumkin - Internet haqiqiy foydalanuvchilar tomonidan yaratilgan turli matnlarning doimiy yangilanadigan ma'lumotlar bazasi: bular sharhlar, sharhlar, maqolalar., va boshqa ko'plab nutq shakllari.
Bundan tashqari, korporatsiya bilan ishlash bizga Google yoki Yandex xizmatlaridan tanish boʻlgan maʼlumotlarni qidirishda ishtirok etadigan bir xil texnik vositalar, mashina tarjimasi, elektron lugʻatlarni ishlab chiqishga yordam beradi.
Ishonchsiz aytish mumkinki, korpus lingvistikasi oʻzining ilk qadamlarini qoʻymoqda va yaqin kelajakda tez rivojlanadi.
