logo
  1. Bosh sahifa
  2. Slaydlar
  3. Umumiy
  4. END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH

END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH

Yuklangan vaqt:

15.08.2023

Ko'chirishlar soni:

0

Hajmi:

1021.4677734375 KB
Ko'chirib olish
END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH REJA: KIRISH………………………………………………………...................... 4 1 NUTQ SIGNALLARINI AVTOMATIK TANIB OLISHNING USULLAR TAHLILI 7 2 NUTQ SIGNALLARINI PARAMETRLASH ALGORITMLARI................................... 18 3 NUTQNI TANISH TIZIMINI LOYIHALASHTIRISH …........ ...................................... 34 4 End-to-End tizimiga asosan nutqni tanish modulini ishlab chiqish ................ 59 Mavzuning dolzarbligi Tadqiqotning maqsadi va vazifalari. • Tadqiqot maqsadi nutq signallarga ishlov berish algoritmlari tahliliga asoslangan holda o’zbek tili uchun nutq signalarlarni tanishning neyron tarmog’iga asoslangan algoritmlari va dasturiy vositasini ishlab chiqishdan iborat. Ushbu maqsadga erishish uchun dissertasiya ishida quyidagi vazifalar hal etiladi: • Nutq signallariga ishlov berish va ularni tanib olishga mo’ljallangan adabiyotlar tahlilini olib borish; • nutq signallarga ishlov beruvchi apparat va dasturiy vositalarni tahlil qilish va imkoniyatlarini o’rganish; • nutq signallarga ishlov berish jarayonlarida qo’llaniladigan algoritmlarni, modellarni tahlil qilish va ularning asosiy vazifalarini o’zlashtirish; • End-to-End neyron tarmoqlariga asoslangan nutq signallarini akustik modellashtirishni usullarini tahlil qilish va tanlash ; • O’zbek tili nutqini tanib olishning algoritmi va dasturiy vositasini ishlab chiqish. Nutqni tanish tizimlari Nutqni tanish tizimini ishlab chiqish Nutqni tanib olishning algoritmlar ketma- ketligi • Dastlabki ishlov berish bosqichlari Dastlabki ishlov berish Diskretlash chastotasi VAD Filtrlash Freymlash Silliqlash Nutq signalini silliqlash jarayonida Xemming oynasidan foydalanamiz?????? ??????= 0.54 − 0.46 ∗ cos (2 ?????? ?????? ?????? − 1 ),?????? = 0 ,… .,?????? − 1 Chastota 16 kHz, 0,02 sekund 0,02*16000=320 qiymat Freymlar soni===99 BIX filtriqisqa muddatli signal energiyasin ?????? ?????? ( ) ?????? qisqa muddatli signal quvvati ?????? ?????? ( ) ?????? noldan kesib o’tuvchi nuqtalar chastotasi ?????? ?????? ( ) ?????? A nalog sig na lni raqamli signalga aylantiradi. Nutq signallari 16 kGs diskretlash chastotasida yozib olinadi Belgilarni ajratish Nutq signalining spektogramma tasvirlari MFCC Dastlabki ishlov berish Freymlash va xemming oynasi MFCC Diskret kosinush almashisihMel kepstral koeffitsientlar (MFCC) Nutq signali Freymlarga ajratish Oynadan o’tkazish MFCC Spektogramma tasvirlari Spektral almashtirish CNN+RNN+CTC Akustik model bajarilishi bosqichlari Tarmoq arxitekturasi. Tarmoq arxitekturasiga har 20 ms dagi nutq fragmentidan olingan mel spektrogrammaning 40×1 oʻlchamdagi vektor qiymatlari kiruvi belgilar sifatida svyortkali qatlamga beriladi. Tarmoq boshida 3 ta ketma-ket svyortka qatlami joylashgan. Shundan soʻng 2 ta ikki tomonga yoʻnaltirilgan LSTM qatlamlar keladi. Ushbu rekurrent qatlamdan soʻng 2 ta toʻliq bogʻlanishli qatlamlari joylashtirilgan. Ulardan birinchisi 256 ta yunitga ega ikkinchisi esa 27 ta yunitlardan iborat boʻlib, softmax aktivasiya funksiyasi qoʻllanilgan. Tarmoq arxitekturasidagi qatlamlar parametrlari. Taklif qilingan tarmoq arxitekturasi esa quyidagi rasmda keltirib oʻtilgan. Nutqni tanish tizmining sifatini baholash CTC yondashuvi asosidagi modelning aniqligini o qitish ʻ qadamlari ortishiga mos o zgarishi ʻ CTC yondashuvi asosidagi modelning Loss xatoligining o qitish qadamlarida ʻ o zgarishi ʻ CTC yondashuvi asosidagi modelning W E R va C E R xatoligining o qitish ʻ qadamlarida o zgarishi ʻ •   C NN-CTC modeli boʻyicha aniqlik koʻrsatgichlari • Tanlangan neyron tarmoq arxitekturasi asosida tanib olishning eng yaxshi koʻrsatkichi WER=23.1% va CER=7.6% erishildi. Model LM SP SA Valid Test Oʻqitish vaqti(soat )WER CER WER CER C NN-CTC × × × 40.5 9.3 44.2 12.6 16.7  × × 32.6 8.2 28.6 10.3 20.1   × 24.1 7.9 24.4 9.2 23.3    23.1 7.6 22.3 8.9 25.4 C NN-CTC tarmogʻi uchun WER va CER koʻrsatkichlari … LM LM+SP LM+SP+SA02468101214 CER Test Valid … LM LM+SP LM+SP+SA05101520253035404550 WER Test Valid • XULOSA • 1. Zamonaviy nutqni tanish tizimlariga quyilgan eng muhim talablar aniqlandi. Nutqni tanish tizimlarini qurishdan oldin tizim strukturasi hal qilinayotgan muammoning qiyinchilik darajasidan kelib chiqqan holda tanlanadi. Tanish tizimining sinflashtirish belgilariga qarab asosiy usullar, modellar va algortimlar toʻplamini hosil qilindi. • 2. Dastlabki ishlov berishni fonogramma va spektral sohada olib borish mumkin. Fonogrammaga ishlov berish usullari stasionar boʻlmagan shovqin sharoitlarida, shuningdek turli xil tovush artifekatlari paydo boʻlganda samaradorligi pasayib ketadi. Spektral tahlilga asoslangan ishlov berish usullarida (FFT, DCT, Veyvlet) esa signal amplitudasining oʻzgarishiga taʼsirchan boʻlmaganligi sababli, nutq chegaralarini stasionar boʻlmagan shovqinlar mavjudligida ham barqaror aniqlashni taʼminlaydi. • 3. Nutq signalini parametrlash algoritmlarini tahlil qilish natijasida spektral ishlov berish usullariga asoslangan yondashuv eng yashi ekanligi aniqlandi. Mel almashtirish algoritmi nutq signalini asosiy parameter shakli deb oʻrnatildi. • 4. Avtomatik nutqni tanish tizimi aniqligi tizimini qurishda ishlatiladigan nutq korpusining sifati va hajmiga bogʻliq. Nutq korpusini shakllantirishda matnli maʼlumotlarning fonetik tarkibi va lugʻatning xilma- xilligi, diktorlarning soni, hissiy va demografik xususiyati, jinsi, ovoz yozish muhitining holati, korpus hajmi(davomiyligi), korpusni yaratishda foydalaniladigan texnik vositalar tavsifi muhim ahamiyat kasb etadi. • • 5. Nutqni tanish tizimlarida akustik modellashtirish masalasini yechish uchun CNN va rekurrent neyron tarmoqlar yaxshi samaradorlik beradi. CNN tomonidan nutqning lokal fazoviy belgilari ajratib olingandan soʻng, uning vaqtga bogʻliq xususiyatlari rekurrent tarmoq orqali aniqlanadi bu esa tanib olish samaradorligini yaxshilaydi. • 6. CNN, RNN va CTC ning birgalikda ishlashi tarmoqni birgalikda oʻqitish uchun bir nechta modullar bitta tarmoqga birlashtirilgan. Bu esa oʻz navbatida modullar orasidagi holatlarni tasvirlashlarni amalga oshirish uchun koʻplab modullarni ishlab chiqishni talab qilmaydi. Shuning uchun ham bunday gibrid modellar boshqa akustik tizimlarga nisbatan amalga oshirish sodda, tezlik va tanib olish aniqligi koʻrsatkichlari boʻyicha yuqori samaradorlikga ega, nisbatan kamroq xotira talabi hamda yuqori darajadagi baholash kriteriyalariga mos keluvchi funksiyalardan foydalanishni taqdim etadi. • 7. Nutqni tanib olish tizimi uchun tanlangan arxitektura va giperparametrlar uchun neyron tarmoqni yaratish va oʻqitish imkoniyatini taqdim etuvchi dasturiy modul ishlab chiqildi. Ishlab chiqilgan nutqni tanib olish moduli ishi sifati baholandi. Tanlangan neyron tarmoq arxitekturasi asosida tanib olishning eng yaxshi koʻrsatkichi WYeR=23.1% va CYeR=7.6% erishildi. E’TIBORINGIZ UCHUN RAHMAT

END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH

REJA: KIRISH………………………………………………………...................... 4 1 NUTQ SIGNALLARINI AVTOMATIK TANIB OLISHNING USULLAR TAHLILI 7 2 NUTQ SIGNALLARINI PARAMETRLASH ALGORITMLARI................................... 18 3 NUTQNI TANISH TIZIMINI LOYIHALASHTIRISH …........ ...................................... 34 4 End-to-End tizimiga asosan nutqni tanish modulini ishlab chiqish ................ 59

Mavzuning dolzarbligi

Tadqiqotning maqsadi va vazifalari. • Tadqiqot maqsadi nutq signallarga ishlov berish algoritmlari tahliliga asoslangan holda o’zbek tili uchun nutq signalarlarni tanishning neyron tarmog’iga asoslangan algoritmlari va dasturiy vositasini ishlab chiqishdan iborat. Ushbu maqsadga erishish uchun dissertasiya ishida quyidagi vazifalar hal etiladi: • Nutq signallariga ishlov berish va ularni tanib olishga mo’ljallangan adabiyotlar tahlilini olib borish; • nutq signallarga ishlov beruvchi apparat va dasturiy vositalarni tahlil qilish va imkoniyatlarini o’rganish; • nutq signallarga ishlov berish jarayonlarida qo’llaniladigan algoritmlarni, modellarni tahlil qilish va ularning asosiy vazifalarini o’zlashtirish; • End-to-End neyron tarmoqlariga asoslangan nutq signallarini akustik modellashtirishni usullarini tahlil qilish va tanlash ; • O’zbek tili nutqini tanib olishning algoritmi va dasturiy vositasini ishlab chiqish.

Nutqni tanish tizimlari

O'xshashlar

END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH
Maxsus fanlarning o’quv-uslubiy ta’minotini ishlab chiqish
O‘zbek tilidagi ko‘makchilashayotgan so‘zlar
Bank ma’lumotlar bazasini loyihalashtirish va ishlab chiqish
Chiziqli inshoat trassasini nivelirlash natijalarini ishlab chiqish Chiziqli inshoat trassasini nivelirlash natijalarini ishlab chiqish