logo

MORFOLOGIK TAHLILNING AVTOMATIK TIZIMI

Загружено в:

08.08.2023

Скачано:

0

Размер:

270.5107421875 KB
MORFOL OGI K  TA HL I L N I N G A V TOMA TI K  TI ZI MI
Реж а :
1. O‘zbek morfologiyasini modellashtirish.
2. Morfemalarni birikish mexanizmini tavsiflash.
3. Affikslarni guruhlarga bo‘lish yo‘llari va modellari.
4. So‘z yasalish jarayonini  modellashtirish O‘zbek   morfologiyasining   qoidalarini   kompyuter
modellashtirish   usullari   va   vositalarini   tadqiq   etish   va   so‘zlarni
morfologik   sintez   qilishga   mo‘ljallangan   programmalar   majmuini
o‘rganishdan iborat.
So‘zlarning   avtomatik   morfologik   aniliz   va   sintez   ularni   turli
shakllarini   aniqlash,   leksik-grammatik   axbarotlar   yig‘ish   hamda
so‘z   tuzilishining   to‘g‘ri   va   noto‘g‘ri   ekanligini   kompyuter
yordamida aniqlash maqsadida bajariladi.
Bajarilagan masalalar quyidagilardan iborat:
1)   tabiiy   til   mantlarini   modellashtirish   usullari   va   vositalarini
o‘rganish;
2) o‘zbek tili morfologiyasi qoidalarining formal tavsifini berish;
3)   ismni   anglatuvchi   so‘zlarni   morfologik   sintez   qilish
algoritmlari bilan tanishamiz;
4)   algoritmni   kompyuterda   amalga   oshirish   programmalari
majmuasini o‘rganish.
O‘zbek   t ili   morfologiy asining   ba’zi   umumiy   masalalari.
Boshlang‘ich t ushunchalar.
Morfema   (o‘zak   yoki   affiks)   –   bu   minimal   til   birligi   bo‘lib,   u
biron   ma’noni   anglatuvchi   va   boshqa   soddaroq   qismlarga
bo‘linmaydigan minimal til birligidir. So‘z   shak li   –   morfemalarning   til     qoidalari   tizimi   va   meyorlar
asosida   tuzilgan   va   tartiblangan   ketma-ketligidir.   Ko‘pgina   turkiy
tillarda so‘z shakllari singarmonik xususiyatga ega.
O‘zak   –   so‘zning   o‘zgarmas   qismi   bo‘lib,   uning   barcha
shakllarida qatnashadi.
Turkiy   tillarda   majburiy   yoki   fakultativ   turga   bo‘linadi.     So‘z
shakllarining minimal modeli uchun majburiy affikslarning ishtirok
etishi   zaruriy   shartdir.   Masalan,   ismni   anglatuvchi   barcha   o‘zbek
so‘zlari   son   va   kelishik   kategoriyasini   bildiruvchi   affikslarni   o‘z
ichiga   oladi.   Fakultativ   affikslar   yordamida   shakl   yoki   so‘z   yasash
munosabatlari ifodalanadi.
Affikslar   so‘z   yoki   so‘z   shakllarida   bir   necha   xil   singarmonik
variantlarda   (allamorflar)     ifodalanishi   mumkin.   Allamorflar   soni
turli tillar uchun turlicha. U tilning qanday darajasida singarmonik
regulyarligidan bog‘liq   holda birmuncha katta chegaralar orasida
o‘zgarishi   mumkin.     Singarmonika   keng   tarqalgan   tillar
affikslarning   ko‘p   sondagi   allamorflariga   ega.   Bunday   tillarga
oltoy,   boshqird,   tuva,   yaqut   va   shu   kabi   tillarni   misol   qiib
ko‘rsatishg   mumkin.   Ba’zi   tillarda   singarmonika   kamroq   yoyilgan
bo‘lib, ularda affikslarning allamorflari ko‘p emas. O‘zbek va uyg‘ur
tillari shunday tillar safiga kiradi.
Boshlang‘ich   ma’lumot lar.   Bitiruv   ishida   quy-ilgan
masalalarni   hal   qilish   uchun   o‘zbek   tilidv   mavjud   morfemalar to‘plamini   oshkor   shaklda   berishimiz   zarur.   Bu   to‘plamga   ismni
anglatuvchi so‘zlarda uchraydigan affikslar ro‘yxatini kiritamiz.
1)   –chi   va   –gar   affikslari:   til+chi,   el+chi,   +baliq+chi   va   h.k.   yoki
zar+gar, chilan+gar va h.k.
2) –dosh affiksi: zamon+dosh, sir+dosh va h.k.
3) –lik affiksi: tinch+lik, ozod+lik va h.k.
4) –chilik affiksi: dehqon+chilik, xato+chilik va h.k.
5) –dagi affiksi: shahar+dagi, osmon+dagi, uy+dagi va h.k.
6) –day yoki –dek affikslari: darax+dek, oltin+dek va h.k.
7) –li affiksi: aql+li, sir+li, taniq+li, baho+li va h.k.
8) –siz affiksi: aql+siz, baho+siz, tosh+siz va h.k.
9) –niki  affiksi: qiz+niki, ota+niki va h.k.
10-11)   son   kategoriyasi   affikslari:   birlik   (Ø)   va   0ko‘plik   (–lar).
Masalan,qush+lar, bola+lar, kitob+lar va h.k.
12-19)   egalik   kategoriyasidagi   affikslar:   ota+m,   ota+ng,
ota+miz, ota+ngiz, ota+si.
20-25)   Kelishik   kategoriyasidagi   affikslar:   –ni,   –ning,
–ga,/ka,/qa,              – da, –dan.
26-33)   Shaxs   kategoriyasidagi   affikslar:   ota+man,   ota+san,
ota+Ø, ota+miz, ota+siz.
34-35)   so‘roq   va   tasdiq   affikslari:   ota+mi,   ota+Ø.Affikslarning
to‘liq   ro‘yxati   1-jadvalda   keltirilgan.   Hamma   affikslar   7   sinfga
(kategoriya) bo‘lingan va sinflarning komlari jadvalning2-ustunida
yozilgan. Bu yerda quyidagi belgilashlar olingan: 1) OZK – o‘zak morfemalar sinfi;
2) SYM – so‘z yasovchi morfemalar sinfi;
3)   ITER   –   iterativ   affikslar   (ikkilamchi   o‘zaklar   yasashda   takror
ishtirok etishi mumkin bo‘lgan affikslar) sinfi
4) SON – son affikslari sinfi;
5) EGA – egalik affikslari sinfi;
6) KLSH – kelishik affikslari sinfi;
7) SHAXS – shaxs affikslari sinfi;
8) SOR – so‘roq affikslari sinfi;
Birinchi   jadvalning     4-ustunida   affikslarning   allamorflari,   3-
ustunda   esa   ularning   kodlari   yozilgan.   O‘zbek   tilida   (boshqa
tillarda   ham)o‘zak   morfemalar   sinfining   katta   hajmi   juda   katta   va
shuning   uchun   ularning   to‘liq   ro‘yxatini   berish   amalda   mumkin
emas.   Lekin,   biz   so‘z   o‘zaklari   ilgaridan   aniqlangan   deb
hisoblaymiz va bitiruv ishida quyilgan masalalarni hal qilish uchun
o‘zaklarning chekli ro‘yxatini keltiramiz.
O‘zbek   morfologisini   modellasht irish.   Morfemalarni
birik t irish mexanizmini t av sifl ash
Turkiy   so‘zlarni   morfemalarning   chiziqli   tartiblangan   ketma-
ketliginidan iborat deb qarash mumkin.
Ammo bunday tasvirlash barcha hollarda o‘rinli deb bo‘lmaydi,
chunki iterativ affikslar deb ataluvchi va bir so‘z tarkibida bir necha
bor uchrashi mumkin   bo‘lgan morfemalar chiziqli tartibni buzishi
mumkin. Masalan,  uy +Ø+da+gi+lar+imiz+nik i – {OCH}+{SON }+{ITER}+{SON }+{EGA }+{ITER}
Morfemalarni   biriktirish   mexanizmini   graf   shaklida
tasvirlaymiz. Grafning tugunlari morfemalar sinflarini ifodalaydilar
va ular orasida ma’lum bir turdagi munosabatlar mavjud.
(1-rasm)  
So‘z y asov chi qo‘shimcha modeli.
Yuqoridagi   jadvalda
eng   asosiy   va   faol   so‘z
yasovchi   qo‘shimchalar
keltirilgan.   BundanOZK SON KLSH SON
SYM
ITER EGA SHAXS
Boshlanishh
SYQ  jadvalini chaqirish ;
1-elementini s1 ga olish;
s1  ni s satrda uchrash o’rnini 
topish(t=pos(s,s1));
i=0;
(i<=jadval 
satrlar 
soni )va  
(t=0) 
i-elementini s1 ga olish;
s1  ni s satrda uchrash o’rnini 
topish(t=pos(s,s1));
i=i+1;
jadval keyingi elementiga o’tish Yo’q
ha keyingi   qismlarda   so‘z   yasovchi   qo‘shimcha   so‘zini   SYQ   tarzida
ishlatamiz.
Ot yasovchi qo‘shimchalar ichida  -chi qo‘shimchasi eng faolidir.
Bu   qo‘shimcha   shaxsni   bildiruvchi   otlar   yasaydi.   Qanday   otlarga
qo‘shilganda   qanday   ma’no   ifodalashi   keyingi   paragrifda   to‘la
yoritiladi.   Hozir   esa   bu   qo‘shimchalarni   berilgan   so‘zdan   ajratib
olish qism dasturini tahliliga o‘tamiz. Kiritilgan so‘zdan tub o‘zakni
ajratib olganimizdan so‘ng navbatgadi  ish agar  qo‘shimcha bo‘lsa
uni aniqlashdan iborat.
Masalan   ,   suvchilar   so‘zini   o‘zak   va   qo‘shimchalarga   ajratsak,
algoritmimiz   birinchi   suv   so‘zini   ajratib   oladi   va   suv   ni   o‘chiradi.
Endi -chilar qoldi, so‘ngra -chi ni ajratadi , keyin -larni.Xullas ot so‘z
turkumiga   kiradigan   va   bazaga   kiritilgan   so‘zlarni   qo‘shimcha   va
o‘zaklarga   ajratib   so‘ngra   ularni   qo‘shila   olish   olmasliklarini
aniqlab ,agar qo‘shila olsa ichki ma’nosini chiqaradi.  
So‘z   yasov chi     qo‘shimchalar   at ribut lar   shajarasi.   Biz   o‘z
ishimizda SYQ ga ikki taraflama atribut qo‘ydik. Bular chap atribut
va   o‘ng   atribut.   Chap   atribut   ot   o‘zagi   atributlari   shajarasidan
iborat   bo‘lib   bu   shu   SYQ   qaysi   otlar   bilan   qo‘shila   olishligini
bildiradi. O‘ng atribut esa o‘zak+SYQ ma’no atributidir.   Bu haqda
keyingi qismda to‘laroq tanishtiramiz.
Tasdiq  4 :   SY Q da  chap at ribut  – bu  SYQ ning  qay si  o‘zak  bilan
bog‘lanishini   aniqlay di.     b.C   t arzida   be lgilanadi.Bu   y e rda   b   o‘ng
at ribut ,      tugash C – SY Q.
Quyida SYQ atributlari berilgan jadvalni keltiramiz
Hozir   asosiy   e’tiborni   chap
atributlarga   qaratamiz.Birinchi
masalan   “fanlar   nomi”
atributini   olsak   bu   fanlar
nomlari
adabiyot,matematika   ,fizika,ximiya   kabi   fanlar   yoziladi.Bularga   –
chi qo‘shimchasi qo‘shila olishligini bildiradi.
Tasdiq5:       A  o‘zak  B  SY Q bilan  bog‘lana  oladi,  agar  P(y .B)    yo‘l
P(A .x) yo‘lning qismi  bo‘lsa  
Quyida   o‘zak   o‘ng   atributi   bilan     SYQ   chap   atributlarini
solishtirish algoritmi bilan tanishamiz.
Bu   dastur   quyidagicha   ishlaydi.AtrId   ga   o‘zak   atributi   olib
qo‘yilgan.   Qo‘shimcha   “qo‘shimcha_atribut”   jadvalida   bir   necha
marta kelgani uchun, biz kiritgan qo‘shimcha ham bir necha marta
kelgan   (rasm-6   ga   qarang).   Qo‘shimcha   mos   kelguncha   bu
jadvaldan   qidiramiz.   Qo‘shimcha   mos   kelgandan   so‘ng   chap
atributni   AtrId1   ga   olamiz.AtrId1   AtrId   ga   teng   bo‘lmasa   AtrId   ni
shajarasidan ildiz atributgacha tekshiramiz. Agar biror joyga borib
teng   bo‘lsa   takrorlash   tugatiladi.   Agar   teng   bo‘lmasa “qo‘shimcha_atribut”   jadvalida   bir   satr   pastga   tushib   qidiruv
davom etadi. Agar umuman uchramasa shu kiritgan so‘zimiz o‘zak
va   qoshimcha   qo‘shilishida   xatolik   bor     yoki   bu   qo‘shilish   hech
qanday ma’no bermaydi. 
4.5.   O‘zak +so‘z   y asov chi   qo‘shimcha   ma’no   shajarasi
(Sint ak t ik asi).
O‘zak   va   SYQ   qo‘shilishi   uchun   tasdiq   7   da   aytilganigek   SYQni
chap   atributi  shajarasi  o‘zakning   o‘ng   atributi  shajarasining   qismi
bo‘lishi   kerak.   O‘zakka   SYQ   qo‘shilgandan   so‘ng   ozak   formasi
saqlangan     holda   boshqa   ma’no   kelib   chiqadi.   Masalan:   suv   bu
ichimlik,   -chi   qo‘shimchasini   qo‘shgandan   so‘ng   suvchi   bo‘lib
shaxsni   ifodalaydigan   otga   aylanadi.   Bu   quyidagi   jadvalda
keltirilgan.
7 – jadval Bunda   chap   atribut   haqida   yuqoridagi   bo‘limda   to‘xtalib
o‘tdik.   Endiki   navbat   o‘ng   atributga   ya’ni   qo‘shimcha   atribut
ustuniga.   Bunda   ma’no   o‘zak+SYQ   ma’nosini   beradi.   Bunga   misol
qilib suvchi so‘zini olsak, bu so‘zni suv+chi ga ajratiladi so‘ngra suv
so‘zining     atributi   ichimlik,   endi     -chi   ni   qidiramiz.   -Chi
qo‘shimchasini topgandan so‘ng chap atributini o‘zak atribut bilan
solishtiramiz   , mos
kelmasa   o‘zak
atributini   ustki
atributlarini   ham qarab
chiqamiz   va   yana mos
kelmasa  keyingi – chi   ni
qidiramiz.   Keyingi   -chi   da   chap   atribut   modda.   Suvni   atributi
ichimlik<=suyuqlik<=modda     demak   mos   keladigan   joyi   borligi
tufayli   bu   o‘zak   bilan   qo‘shimcha   qo‘shila   oladi.   Qo‘shilgandan
so‘nggi   ma’no   quyidagicha   suv+chi=suv   sotuvchi   x   kabi   chiqadi.
Bunda   x   keyingi   ishlarimizda   aktivlashtiriladigan   parametr.   Bu   x
ning   o‘rnida   shaxs   so‘zini   ishlatsak   bo‘ladi.   x   o‘zini   to‘la   gapda
aniqlab   oladi.   Biz   hozircha   gapni   qaramayotganligimiz   tufayli
bunga   to‘xtalib   o‘tirmaymiz.   Buni   quyidagi   formula   orqali
ifofalaymiz:   <o‘zak >+<SY Q   o‘ng   at ribut i   >+x .   Bu   formula   aslida
Y +<at ribut >+X   t arrzida   bo‘ladi.   Biz   qarayotgan   bosqichda   Y
o‘rnida o‘zak keladi. Misolda ko‘rgan qadamimizni algoritmini ko‘ramiz:
    tugash(i<jadval elementlari 
soni)va (jadval 
elementi<>QoshAtrId))i=0 
SYQ jadvalini chaqirish haAtrId=AtrId1 Boshlanishh
Yo’q
Bunday so’z yo’q
ha
i=i+1
jadval keyingi elmentiga o’tish Yo’q Adabiy ot lar:
1. П ў латов   А.К.,   Муҳамедова   С.   Компьютер   лингвистикаси
(ўқув қўлланма). -   Тошкент, 2008
2. Пўлатов   А.   Компьютер   лингвистикаси.   -   Тошкент:
Академнашр, 2011.
3. Rahimov   A.   Kompyuter   lingvistikasi   asoslari .   –   Toshkent :
Akademnashr ,  2011 .
4. Шемакин   Ю.И.   Начало   компьютерной   лингвистики.   -   М.:
Высшая школа, 1992.
5. Нелюбин   Я.Я.   Компьютерная   лингвистика   и   машинный
перевод. -М.: ВЦП, 1991.
6. Grishman   R.   Computational   linguistics//Cambridge
University Press, 1994.
7. Новое в зарубежной лингвистике. Вып.24.  Компьютерная
лингвистика. - М.: Прогресс, 1989.
8. Jurafsky   D.,   Martin   J.H.   Speech   and   Language   Processing.   -
New Jersey, 2000.

MORFOL OGI K TA HL I L N I N G A V TOMA TI K TI ZI MI Реж а : 1. O‘zbek morfologiyasini modellashtirish. 2. Morfemalarni birikish mexanizmini tavsiflash. 3. Affikslarni guruhlarga bo‘lish yo‘llari va modellari. 4. So‘z yasalish jarayonini modellashtirish

O‘zbek morfologiyasining qoidalarini kompyuter modellashtirish usullari va vositalarini tadqiq etish va so‘zlarni morfologik sintez qilishga mo‘ljallangan programmalar majmuini o‘rganishdan iborat. So‘zlarning avtomatik morfologik aniliz va sintez ularni turli shakllarini aniqlash, leksik-grammatik axbarotlar yig‘ish hamda so‘z tuzilishining to‘g‘ri va noto‘g‘ri ekanligini kompyuter yordamida aniqlash maqsadida bajariladi. Bajarilagan masalalar quyidagilardan iborat: 1) tabiiy til mantlarini modellashtirish usullari va vositalarini o‘rganish; 2) o‘zbek tili morfologiyasi qoidalarining formal tavsifini berish; 3) ismni anglatuvchi so‘zlarni morfologik sintez qilish algoritmlari bilan tanishamiz; 4) algoritmni kompyuterda amalga oshirish programmalari majmuasini o‘rganish. O‘zbek t ili morfologiy asining ba’zi umumiy masalalari. Boshlang‘ich t ushunchalar. Morfema (o‘zak yoki affiks) – bu minimal til birligi bo‘lib, u biron ma’noni anglatuvchi va boshqa soddaroq qismlarga bo‘linmaydigan minimal til birligidir.

So‘z shak li – morfemalarning til qoidalari tizimi va meyorlar asosida tuzilgan va tartiblangan ketma-ketligidir. Ko‘pgina turkiy tillarda so‘z shakllari singarmonik xususiyatga ega. O‘zak – so‘zning o‘zgarmas qismi bo‘lib, uning barcha shakllarida qatnashadi. Turkiy tillarda majburiy yoki fakultativ turga bo‘linadi. So‘z shakllarining minimal modeli uchun majburiy affikslarning ishtirok etishi zaruriy shartdir. Masalan, ismni anglatuvchi barcha o‘zbek so‘zlari son va kelishik kategoriyasini bildiruvchi affikslarni o‘z ichiga oladi. Fakultativ affikslar yordamida shakl yoki so‘z yasash munosabatlari ifodalanadi. Affikslar so‘z yoki so‘z shakllarida bir necha xil singarmonik variantlarda (allamorflar) ifodalanishi mumkin. Allamorflar soni turli tillar uchun turlicha. U tilning qanday darajasida singarmonik regulyarligidan bog‘liq holda birmuncha katta chegaralar orasida o‘zgarishi mumkin. Singarmonika keng tarqalgan tillar affikslarning ko‘p sondagi allamorflariga ega. Bunday tillarga oltoy, boshqird, tuva, yaqut va shu kabi tillarni misol qiib ko‘rsatishg mumkin. Ba’zi tillarda singarmonika kamroq yoyilgan bo‘lib, ularda affikslarning allamorflari ko‘p emas. O‘zbek va uyg‘ur tillari shunday tillar safiga kiradi. Boshlang‘ich ma’lumot lar. Bitiruv ishida quy-ilgan masalalarni hal qilish uchun o‘zbek tilidv mavjud morfemalar

to‘plamini oshkor shaklda berishimiz zarur. Bu to‘plamga ismni anglatuvchi so‘zlarda uchraydigan affikslar ro‘yxatini kiritamiz. 1) –chi va –gar affikslari: til+chi, el+chi, +baliq+chi va h.k. yoki zar+gar, chilan+gar va h.k. 2) –dosh affiksi: zamon+dosh, sir+dosh va h.k. 3) –lik affiksi: tinch+lik, ozod+lik va h.k. 4) –chilik affiksi: dehqon+chilik, xato+chilik va h.k. 5) –dagi affiksi: shahar+dagi, osmon+dagi, uy+dagi va h.k. 6) –day yoki –dek affikslari: darax+dek, oltin+dek va h.k. 7) –li affiksi: aql+li, sir+li, taniq+li, baho+li va h.k. 8) –siz affiksi: aql+siz, baho+siz, tosh+siz va h.k. 9) –niki affiksi: qiz+niki, ota+niki va h.k. 10-11) son kategoriyasi affikslari: birlik (Ø) va 0ko‘plik (–lar). Masalan,qush+lar, bola+lar, kitob+lar va h.k. 12-19) egalik kategoriyasidagi affikslar: ota+m, ota+ng, ota+miz, ota+ngiz, ota+si. 20-25) Kelishik kategoriyasidagi affikslar: –ni, –ning, –ga,/ka,/qa, – da, –dan. 26-33) Shaxs kategoriyasidagi affikslar: ota+man, ota+san, ota+Ø, ota+miz, ota+siz. 34-35) so‘roq va tasdiq affikslari: ota+mi, ota+Ø.Affikslarning to‘liq ro‘yxati 1-jadvalda keltirilgan. Hamma affikslar 7 sinfga (kategoriya) bo‘lingan va sinflarning komlari jadvalning2-ustunida yozilgan. Bu yerda quyidagi belgilashlar olingan:

1) OZK – o‘zak morfemalar sinfi; 2) SYM – so‘z yasovchi morfemalar sinfi; 3) ITER – iterativ affikslar (ikkilamchi o‘zaklar yasashda takror ishtirok etishi mumkin bo‘lgan affikslar) sinfi 4) SON – son affikslari sinfi; 5) EGA – egalik affikslari sinfi; 6) KLSH – kelishik affikslari sinfi; 7) SHAXS – shaxs affikslari sinfi; 8) SOR – so‘roq affikslari sinfi; Birinchi jadvalning 4-ustunida affikslarning allamorflari, 3- ustunda esa ularning kodlari yozilgan. O‘zbek tilida (boshqa tillarda ham)o‘zak morfemalar sinfining katta hajmi juda katta va shuning uchun ularning to‘liq ro‘yxatini berish amalda mumkin emas. Lekin, biz so‘z o‘zaklari ilgaridan aniqlangan deb hisoblaymiz va bitiruv ishida quyilgan masalalarni hal qilish uchun o‘zaklarning chekli ro‘yxatini keltiramiz. O‘zbek morfologisini modellasht irish. Morfemalarni birik t irish mexanizmini t av sifl ash Turkiy so‘zlarni morfemalarning chiziqli tartiblangan ketma- ketliginidan iborat deb qarash mumkin. Ammo bunday tasvirlash barcha hollarda o‘rinli deb bo‘lmaydi, chunki iterativ affikslar deb ataluvchi va bir so‘z tarkibida bir necha bor uchrashi mumkin bo‘lgan morfemalar chiziqli tartibni buzishi mumkin. Masalan, uy +Ø+da+gi+lar+imiz+nik i –