logo

END-TO-END MODELLAR ASOSIDA O‘ZBEK TILIDAGI NUTQNI AVTOMATIK TANIB OLISHNING ALGORITMLARI VA DASTURIY TA’MINOTINI ISHLAB CHIQISH

Yuklangan vaqt:

28.11.2024

Ko'chirishlar soni:

0

Hajmi:

901.3232421875 KB
 
END-TO-END MODELLAR	 ASOSIDA	 O‘ZBEK	 TILIDAGI	 
NUTQNI	
 AVTOMATIK	 TANIB	 OLISHNING	 ALGORITMLARI	 
VA	
 DASTURIY	 TA’MINOTINI	 ISHLAB	 CHIQISH	  MUNDARIJA
                                   KIRISH………………………………………………………...................... 4
           I-BOB NUTQ SIGNALLARINI AVTOMATIK TANIB OLISHNING USULLAR TAHLILI
7
                1.1-§ Nutq signallarini tarkibi va xususiyatlari ………………….............. 7
                1.2-§ Nutq signallariga dastlabki ishlov berishda qo’llaniladigan algoritmlar tahlil i 10
  Birinchi bob boʻyicha xulosalar......................................................... ...............
17
II- BOB NUTQ SIGNALLARINI PARAMETRLASH ALGORITMLARI...................................
18
              2.1-§ Nutq signallarini spektral taqdim etishning algoritmlari va usullari………………
18
              2.2-§ Nutq signalini parametrlash tasnifi…………………….….............. .......................... 24
             2.3-§ Nutq korpusi shakllantirish texnologiyalari...................................... ............... 29
  Ikkinchi bob boʻyicha xulosalar …..………………………………… …………………………… 33
           III- BOB  NUTQNI TANISH TIZIMINI LOYIHALASHTIRISH …........ ...................................... 34
             3.1-§ Neyron tarmoqlari………………………………………………..... ..................................... 34
            3.2-§ Chuqur neyron tarmoqlarining arxitekturalari………………......... ...................... 40
3.3-§ Nutqni tanish tizimining strukturali sxemasi……………….......... ........................
43
  3.4-§ Neyron tarmoqni loyihalashtirish va arxitekturasini ishlab chiqish………………
45
  Uchinchi bob boʻyicha xulosalar …..……………………………… ………………………….... 58
             IV - BOB End-to-End tizimiga asosan nutqni tanish modulini ishlab chiqish ................
59
                 4.1-§ Python dasturlash tili. TensorFlow kutubxonasi………………........ ........................ 59
                 4.2-§ Tanib olish modullarini dasturiy amalga oshirish.............................. ..................
61
                 4.3-§ Nutqni tanib olish moduli ishini sifatini baholash............................. ..................
64
  To‘rtinchi bob boʻyicha xulosalar ………………………………… ………………………………… 67
XULOSA…………………………………………………..…....................... ............................................... 69
ADABIYOTLAR ROʻYXATI………………………………………….… …………………………………………………….
71
ILOVALAR…………………………………………………..….............… …………………………………………………..
76 Nutqni tanish tizimlari  Nutqni 	tanish	 	tizimini	 	ishlab	 	chiqish
Nutqni tanib olishning algoritmlar ketma-
ketligi •
Dastlabki ishlov berish  bosqichlari
Dastlabki ishlov	 berish
Diskretlash	
 
chastotasi
VAD	
 
Filtrlash	
 
Freymlash
Silliqlash Nutq signalini silliqlash jarayonida Xemming oynasidan foydalanamiz	
??????	??????=	0.54	−	0.46	∗	cos	(2	??????	??????	
??????	−	1	),??????	=	0	,…	.,??????	−	1 Chastota 16 kHz, 0,02 sekund
0,02*16000=320 qiymat
Freymlar soni===99 BIX filtriqisqa muddatli signal energiyasin 	
??????
??????  ( ) 	??????
qisqa muddatli signal quvvati 	
??????
??????  ( ) 	??????
noldan kesib o’tuvchi nuqtalar chastotasi 	
??????
??????  ( ) 	??????  A nalog sig na lni raqamli signalga aylantiradi. 
Nutq signallari 16 kGs diskretlash chastotasida  yozib olinadi Belgilarni 	ajratish
Nutq signalining spektogramma tasvirlari
MFCC Dastlabki	
 ishlov	 berish
Freymlash
 va	 
xemming	
 oynasi
MFCC
Diskret	
 kosinush	 
almashisihMel kepstral 
koeffitsientlar
(MFCC)
Nutq 
signali Freymlarga 
ajratish Oynadan 
o’tkazish MFCC Spektogramma 
tasvirlari
Spektral	
 almashtirish  CNN+RNN+CTC
  Akustik model bajarilishi bosqichlari Tarmoq arxitekturasi. 
Tarmoq arxitekturasiga har 20 ms dagi nutq fragmentidan olingan mel 
spektrogrammaning 40×1 oʻlchamdagi vektor qiymatlari kiruvi belgilar sifatida 
svyortkali qatlamga beriladi. Tarmoq boshida  3 ta ketma-ket svyortka qatlami 
joylashgan. Shundan soʻng 2 ta ikki tomonga yoʻnaltirilgan  LSTM qatlamlar keladi. 
Ushbu rekurrent qatlamdan  soʻng  2  ta  toʻliq bogʻlanishli  qatlamlari  joylashtirilgan.  
Ulardan  birinchisi 256  ta  yunitga ega ikkinchisi  esa  27  ta  yunitlardan  iborat  boʻlib,  
softmax aktivasiya funksiyasi qoʻllanilgan. Tarmoq arxitekturasidagi qatlamlar 
parametrlari.
Taklif qilingan tarmoq arxitekturasi esa  quyidagi  rasmda keltirib oʻtilgan. Nutqni 	tanish	 	tizmining	 	sifatini	 	baholash
  CTC yondashuvi asosidagi modelning aniqligini o qitish 	
ʻ
qadamlari ortishiga mos o zgarishi	
ʻ   CTC yondashuvi asosidagi modelning Loss xatoligining o qitish qadamlarida 	
ʻ
o zgarishi	
ʻ
  CTC yondashuvi asosidagi modelning W E R va C E R xatoligining o qitish 
ʻ
qadamlarida o zgarishi	
ʻ •
  C NN-CTC modeli boʻyicha aniqlik koʻrsatgichlari
•
Tanlangan neyron tarmoq arxitekturasi asosida tanib olishning eng yaxshi 
koʻrsatkichi  WER=23.1% va CER=7.6% erishildi. Model LM SP SA Valid Test 
Oʻqitish 
vaqti(soat
)WER CER WER CER
C NN-CTC × × × 40.5 9.3 44.2 12.6 16.7
 × × 32.6 8.2 28.6 10.3 20.1
  × 24.1 7.9 24.4 9.2 23.3
   23.1 7.6 22.3 8.9 25.4 C NN-CTC tarmogʻi uchun WER va CER koʻrsatkichlari … LM LM+SP LM+SP+SA02468101214 CER 
Test Valid
… LM LM+SP LM+SP+SA05101520253035404550 WER 
Test Valid •
XULOSA
•
1. Zamonaviy nutqni tanish tizimlariga quyilgan eng muhim talablar aniqlandi. Nutqni tanish 
tizimlarini qurishdan oldin  tizim strukturasi hal qilinayotgan muammoning qiyinchilik darajasidan kelib 
chiqqan holda tanlanadi. Tanish tizimining sinflashtirish belgilariga qarab asosiy usullar, modellar va 
algortimlar toʻplamini hosil qilindi.  
•
2. Dastlabki ishlov berishni fonogramma va spektral sohada olib borish mumkin. Fonogrammaga 
ishlov berish usullari stasionar boʻlmagan shovqin sharoitlarida, shuningdek turli xil tovush artifekatlari paydo 
boʻlganda samaradorligi pasayib ketadi. Spektral tahlilga asoslangan ishlov berish usullarida (FFT, DCT, 
Veyvlet) esa signal amplitudasining oʻzgarishiga taʼsirchan boʻlmaganligi sababli, nutq chegaralarini stasionar 
boʻlmagan shovqinlar mavjudligida ham barqaror aniqlashni taʼminlaydi.
•
3. Nutq signalini parametrlash algoritmlarini tahlil qilish natijasida spektral ishlov berish usullariga 
asoslangan yondashuv eng yashi ekanligi aniqlandi. Mel almashtirish algoritmi nutq signalini asosiy parameter 
shakli deb oʻrnatildi. 
•
4. Avtomatik nutqni  tanish tizimi aniqligi tizimini qurishda ishlatiladigan nutq korpusining sifati va 
hajmiga bogʻliq. Nutq korpusini shakllantirishda matnli maʼlumotlarning fonetik tarkibi va lugʻatning xilma-
xilligi, diktorlarning soni, hissiy va demografik xususiyati, jinsi, ovoz yozish muhitining holati, korpus 
hajmi(davomiyligi), korpusni yaratishda foydalaniladigan texnik vositalar tavsifi muhim ahamiyat kasb etadi.
• •
5.  Nutqni tanish tizimlarida akustik modellashtirish masalasini yechish uchun CNN va 
rekurrent neyron tarmoqlar yaxshi samaradorlik beradi. CNN  tomonidan nutqning lokal fazoviy 
belgilari ajratib olingandan soʻng, uning vaqtga bogʻliq xususiyatlari rekurrent tarmoq orqali 
aniqlanadi bu esa tanib olish samaradorligini yaxshilaydi. 
•
6. CNN, RNN va CTC ning birgalikda ishlashi  tarmoqni birgalikda oʻqitish uchun bir nechta 
modullar bitta tarmoqga birlashtirilgan. Bu esa oʻz navbatida modullar orasidagi holatlarni 
tasvirlashlarni amalga oshirish uchun koʻplab modullarni ishlab chiqishni talab qilmaydi. Shuning 
uchun ham bunday gibrid  modellar boshqa akustik tizimlarga nisbatan amalga oshirish sodda, tezlik 
va tanib olish aniqligi koʻrsatkichlari boʻyicha yuqori samaradorlikga ega, nisbatan kamroq xotira 
talabi hamda yuqori darajadagi baholash kriteriyalariga mos keluvchi funksiyalardan foydalanishni 
taqdim etadi.
•
7. Nutqni tanib olish tizimi uchun tanlangan arxitektura va giperparametrlar uchun neyron 
tarmoqni yaratish va oʻqitish imkoniyatini taqdim etuvchi dasturiy modul ishlab chiqildi. Ishlab 
chiqilgan nutqni tanib olish moduli ishi sifati baholandi. Tanlangan neyron tarmoq arxitekturasi 
asosida tanib olishning eng yaxshi koʻrsatkichi  WYeR=23.1% va CYeR=7.6% erishildi. E’TIBORINGIZ UCHUN 
RAHMAT

  END-TO-END MODELLAR  ASOSIDA  O‘ZBEK  TILIDAGI   NUTQNI  AVTOMATIK  TANIB  OLISHNING  ALGORITMLARI   VA  DASTURIY  TA’MINOTINI  ISHLAB  CHIQISH  

MUNDARIJA KIRISH………………………………………………………...................... 4 I-BOB NUTQ SIGNALLARINI AVTOMATIK TANIB OLISHNING USULLAR TAHLILI 7 1.1-§ Nutq signallarini tarkibi va xususiyatlari ………………….............. 7 1.2-§ Nutq signallariga dastlabki ishlov berishda qo’llaniladigan algoritmlar tahlil i 10   Birinchi bob boʻyicha xulosalar......................................................... ............... 17 II- BOB NUTQ SIGNALLARINI PARAMETRLASH ALGORITMLARI................................... 18 2.1-§ Nutq signallarini spektral taqdim etishning algoritmlari va usullari……………… 18 2.2-§ Nutq signalini parametrlash tasnifi…………………….….............. .......................... 24 2.3-§ Nutq korpusi shakllantirish texnologiyalari...................................... ............... 29   Ikkinchi bob boʻyicha xulosalar …..………………………………… …………………………… 33 III- BOB NUTQNI TANISH TIZIMINI LOYIHALASHTIRISH …........ ...................................... 34 3.1-§ Neyron tarmoqlari………………………………………………..... ..................................... 34 3.2-§ Chuqur neyron tarmoqlarining arxitekturalari………………......... ...................... 40 3.3-§ Nutqni tanish tizimining strukturali sxemasi……………….......... ........................ 43 3.4-§ Neyron tarmoqni loyihalashtirish va arxitekturasini ishlab chiqish……………… 45   Uchinchi bob boʻyicha xulosalar …..……………………………… ………………………….... 58 IV - BOB End-to-End tizimiga asosan nutqni tanish modulini ishlab chiqish ................ 59 4.1-§ Python dasturlash tili. TensorFlow kutubxonasi………………........ ........................ 59 4.2-§ Tanib olish modullarini dasturiy amalga oshirish.............................. .................. 61 4.3-§ Nutqni tanib olish moduli ishini sifatini baholash............................. .................. 64   To‘rtinchi bob boʻyicha xulosalar ………………………………… ………………………………… 67 XULOSA…………………………………………………..…....................... ............................................... 69 ADABIYOTLAR ROʻYXATI………………………………………….… ……………………………………………………. 71 ILOVALAR…………………………………………………..….............… ………………………………………………….. 76

Nutqni tanish tizimlari

Nutqni  tanish   tizimini   ishlab   chiqish Nutqni tanib olishning algoritmlar ketma- ketligi

• Dastlabki ishlov berish bosqichlari Dastlabki ishlov  berish Diskretlash   chastotasi VAD   Filtrlash   Freymlash Silliqlash Nutq signalini silliqlash jarayonida Xemming oynasidan foydalanamiz ?????? ??????= 0.54 − 0.46 ∗ cos (2 ?????? ?????? ?????? − 1 ),?????? = 0 ,… .,?????? − 1 Chastota 16 kHz, 0,02 sekund 0,02*16000=320 qiymat Freymlar soni===99 BIX filtriqisqa muddatli signal energiyasin ?????? ?????? ( ) ?????? qisqa muddatli signal quvvati ?????? ?????? ( ) ?????? noldan kesib o’tuvchi nuqtalar chastotasi ?????? ?????? ( ) ?????? A nalog sig na lni raqamli signalga aylantiradi. Nutq signallari 16 kGs diskretlash chastotasida yozib olinadi