logo

KOMPYUTER LINGVISTIKASI FANIGA KIRISH

Загружено в:

08.08.2023

Скачано:

0

Размер:

23.8076171875 KB
KOMPY UTER LIN GV ISTIKASI  FA N IGA  KIRISH
Reja:  
              1.   “Kompyuter   lingvistikasi”   fanining   mundarijasi,   maqsadi,
vazifasi.
2. Tilning ijtimoiy va informativ funksiyasi.
3. “Kompyuter lingvistikasi” fanining asosiy masalalari.
        
  Ma’lumki,   tilshunoslik   fani   XIX   (1816-yilda)   asrda   mustaqil   fan
sifatida   shakllandi.   Shundan   boshlab   u   turli   aspektlarda,
yo‘nalishlarda   rivojlanib   kelmoqda.   Keyingi   yillarda   barcha
fanlardagi   kabi   tilshunoslikda   ham   ikki   fanning   «chorrahasida»
(kesishuvida) yuzaga kelgan fanlar jadal rivojlanmoqda. Jumladan,
ana   shunday   fanlar   sirasiga   sotsiolingvistika   (sotsiologiya   va
tilshunoslik),   psixolingvistika   (psixologiya   va   tilshunoslik),
etnolingvistika   (etnografiya   va   lingvistika),   neyrolingvistika
(nevrologiya   va   tilshun oslik),   matematik   lingvistika   va   kompyuter
lingvistikasi fanlarini kiritish mumkin. Bunday holni boshqa fanlar
doirasida ham kuzatish mumkin: biokimyo, astrofizika, matematik
fizika,   matematik   logika   kabi.   Buni   fan lar   tizimida   bir   necha
fanlarning   o‘zaro   hamkorligi,   integratsiyasi   deb   baholash   lozim
bo‘ladi.
Kompyuter   lingvistikasi   ikki   rivojlanish   bosqichini   o‘z   ichiga
oladi:
1.   Mat emat ik   lingv ist ik a     fanining   asosiy     maqsadi   tabiiy
tillarning   matematik   modelini   ishlab   chiqishdir.   Matematik
lingvistika   hal   qilishi   lozim   bo‘lgan   vazifalar   umumiy
lingvistikaning   formal   va   aksiomatik   nazariyalarini   va   aniq
tillarning matematik  modelini ishlab chiqishdan iborat. 
2.   Kompy ut er   lingv ist ik asi   fanining   asosiy   maqsadi   lingvistik
masalalarni   yechishning   kompyuter   dasturlarini   ishlab   chiqish.
Kompyuter   lingvistikasining   asosiy   vazifalari   esa   tillarga   o‘qitish bilimlarni   tekshirish,   matnlarni   tahrirlash   va   mashina   tarjimasi
dasturlarini ishlab chiqishdan iboratdir.
Bu   bilan   matematik   lingvistikani   tili   «sof   munosabatlar
sistemasi»   ya’ni   insondan   abstrakt   sistema   sifatidagi   tavsifi   deb
sharhlash mumkin bo‘ladi.
Klassik   lingvistikada   til   inson   bilan   mutanosiblikda,   juftlikda
talqin   qilinadi,   ya’ni   klassik   lingvistika   insonga   zaruriy.   Matematik
lingvistika   esa   tavsiflash   jarayonida   shaxsning   ishtirokiga   o‘rin
qoldirmaydi, u ko‘proq kompyuterga moslashtirilgandir.
Til   gramatikasining   matematik   modeli   matematik   mantiqning
aksiomatik   nazariyasiga   asoslanadi.   Shuning   uchun   matematik
lingvistika   matematik   mantiq   asoslarini   bayon   qilishdan
boshlanadi.
XX   asrning   50-yillaridan   boshlab   tilshunoslikda   « mashina
t arjimasi» ,   « mashina   t ilshunosligi»   atamalari   qo‘llanila
boshlandi.   Mazkur   asrning   buyuk   kashfiyoti   bo‘lgan   kompyuter
texnologiyalari   tilshunoslikka   ham   kirib   kelganining   isboti   edi.
Mashina   tarjimasi   yoki   avtomatik   tarjima   deyilganda,   bir   tildagi
matnni   ikkinchi   bir   tilga   EHM   (kompyuter)   vositasida,   tez   vaqt
ichida   tarjima   qilish   nazarda   tutiladi.   Mashi na   tarjimasining
asoschilari   kibernetika   va   matematika   sohasi   vakillari   bo‘lib,
keyinchalik   bu   ishda   tilshunoslar   ham   faol   qatnasha   boshlagan.
Shu   tariqa   mashina   tarjimasi   g‘oyalari   butun   dunyoda   nazariy   va
amaliy tilshunoslikning rivojlanishida katta ahamiyat kasb etdi. Bu yo‘nalish   bilan   pa rallel   ravishda   formal   grammatika   nazariyasi
yuzaga   kelib,   til   va   uning   alohida   aspektlari   modelini   yaratishga
e’tibor   qaratildi.   Tilning   bu   jihatlari   matematik   lingvistika   fanida
ishlab   chiqildi,   bu,   o‘z   navbatida,   kompyuter   lingvistikasi   fanining
yuzaga   kelishi   uchun   poydevor   bo‘ldi.   Demak,   shu   asosda
tilshunoslikning yangi yo‘nalishi - kompyuter lingvistikasi (1961) va
tilshunoslikning   bir   qator   nazariy   va   amaliy   yo‘nalishlari   vujudga
keldi.
Matematik   lingvistika   fani   esa   XX   asrning   50-yillarida   (1952-yilda)
tilshu noslikning   alohida   yo‘nalishi   sifatida   yuzaga   keldi.   Bu
fanning   shakllanishida   Kopengagen   struktural   tilshunoslik
maktabi   (glossematika)ning   asoschisi   Lui   Yelmslevning   g‘oyalari
o‘ziga   xos   «turtki»   vazifasini   o‘tagan.   U   hatto   til   hodisalarini
matematik   bayonda   tushuntiradigan   fanning   nomini   ham   taklif
etgan.   Olimning   fikricha,   bu   fan   « Til   algebrasi»   (« Lingv ist ik
algebra» )   deb   atalishi   lozim   edi.   Amerikalik   tilshunos   Noam
Chomskiyning   formal   grammatika,   transformatsion   grammatika
haqidagi   qarashlari   bevosita   matematik   lingvistikaning   alohida
yo‘nalish   sifatida   yuzaga   kelishiga   sabab   bo‘lgan. 1
  Mana   shunday
qarashlar   ta’sirida   matematik   lingvistika   fani   shakllandi.
Matematik   lingvistika   -   bu   tabiiy   tillarning   matematik   modellarini
(bunday   formallashgan   til   met at il   deb   ataladi)   ishlab   chiqish,
xususan,   sun’iy   tillarni   yaratish   algoritmini   tuzish   bilan
1
 Jurafsky D., Martin J.H. Speech and Language Processing. - New Jersey, 2000. shug‘ullanuvchi   fandir.   Matematik   lingvistika   oldida   turuvchi   eng
muhim masalalar quyidagilardir:
 tilning aksiomatik nazariyasini ishlab chiqish;
 formal grammatika yaratish;
 tillarning matematik modellarini ishlab chiqish.
Har   bir   fanning   o‘z   maqsad   va   vazifalari   bo‘ladi.   Matematik
lingvistika   fanining   asosiy   maqsadi   tabiiy   tillarning   matematik
modelini   ishlab   chiqishdir.   Ushbu   maqsadga   erishish   uchun   fan
o‘z oldiga quyidagi vazifalarni qo‘yadi:
 tabiiy va sun’iy tillarning formal modellari algoritmini ishlab
chiqish;
 lisoniy hodisalarni matematik parametrlarda baholash;
 til   hodisalarini   matematik   metodlar   yordamida   tahlil   qilish
(ehtimollar   nazariyasi,   statistika   va   kvantitativ   metodlarni   tatbiq
etish).
Kompyuter   lingvistikasi   matematik   lingvistikaning   mantiqiy
davomi bo‘lib, u amaliy tilshunoslikning eng muhim qismini tashkil
etadi.   Komp yuter   lingvistikasi   1954-yil   AQSHda   Jorjtaun
universitetida   mashina   tarjimasi   bo‘yicha   dunyoda   o‘tkazilgan
birinchi   tajriba   asnosida   yo‘nalish   sifatida   shakllana   boshladi,
1960-yilga   kelib   mustaqil   fan   sifatida   shakllandi.   Kompyuter
lingvistikasi   inglizcha   «computational   linguistics»   so‘zining
kalkasidir.   XX   asrning   80-yillariga   qadar   bu   fan   turlicha   nomlar
bilan   atalgan:   hisoblash   lingvistikasi,   matematik   lingvistika, kvantitativ   lingvistika,   injener   lingvistikasi   kabi.   Bu   fanning   asosiy
maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini
ishlab   chiqish,   inson   va   mashina   (komp yuter)   muloqotini
optimallashtirish 5
,   tabiiy   tilni   qayta   ishlash   (Nat ural   Lan guage
Processing)dir.   NLP   kompyuter   lingvistikasida   tabiiy   tillarning
komp yuter analizi va  sintezini  o‘z  ichiga  oladi.  Buhda   analiz   tabiiy
tilning   kompyuterda   morfologik,   sintaktik   va   semantik   tahlil
yordamida   tushunilishiga   nisbatan   ishlatiladi,   sintez   esa
kompyuterda   matnning   grammatik   shakllantirilishi   va
generatsiyasi   (hosil   qilinishi)   demakdir.   NLP   bo‘yicha   yaratilgan
dasturiy   ta’minotlar   quyidagilar:   AlchemyAPI,   Expert   System   S.p.A.,
General   Architecture   for   Text   Engineering   (GATE),   Modular   Audio
Recog nition   Framework,   Monty   Lingua,   Natural   Language   Toolkit
(NLTK).
Kompyuter   lingvistikasining   asosiy   vazifalariga   quyidagilar
kiradi:
 avtomatik o‘qitish tizimini ishlab chiqish;
 bilimlarni tekshirish;
 matnlarni turli jihatdan avtomatik tahrirlash;
 matnlarning   avtomatik   tarzda   morfologik,   sintaktik   va
semantik tahlilini (inglizcha   parsing)   ta’minlovchi tizimlar yaratish
(parser  dasturlar);
 mashina   tarjimasi   uchun   mo‘ljallangan   dasturlarni   ishlab
chiqish;  lug‘atlarni va kompyuterdagi matnni statistik tahlil qilish;
 lingvistik   muammolarni   hal   qilishga   yo‘naltirilgan   optimal
dasturlar yaratish;
 muloqotning kompyuter modelini ishlab chiqish;
 matn strukturasining gipertekst texnologiyasini yaratish;
 elektron lug‘atlar va tezauruslar yaratish;
 sun’iy intellekt tizimini ishlab chiqish;
 matnlar korpusini yaratish;
 matnni avtomatik referatlash;
 sujet strukturasini modellashtirish;
 nutqni avtomatik tushunish tizimini ishlab chiqish (inglizcha
ASR  - Aut omat ic Speech Recognit ion);
 matndan   faktlarni   avtomatik   ajratib   olish   (inglizcha   fact
ext ract ion, t ext  mining).
Kompyuter   lingvistikasida   qo‘llaniladigan   va   yaratiladigan
lingvistik   vositalarni   shartli   ravishda   ikki   qismga   bo‘lish   mumkin:
deklarativ   hamda   protsedura   qismlari.   Dek larat iv   qismg a   til   va
nutq   birliklari   lug‘ati,   grammatik   ma’lumotnomalar,   matnlar
korpusi   kabilarni   kiritish   mumkin.   Prot sedura   qismi   esa
yuqoridagi   lingvistik   ta’minot   bazasini   boshqarish   vositalarini
(algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi
kabilar) o‘z ichiga oladi.
O‘zbek   tili   materiallari   bo‘yicha   kompyuter   lingvistikasiga   oid
tadqiqot   olib   borgan   olimlar   sifatida   H.Arziqulov,   S.Rizayev, S.Muhamedov,   A.Po‘latov,   S.Muhamedova,   N.Jo‘rayevalarni
ko‘rsatish   mumkin.   Olimlar   asosan   statistik   tahlil,   algoritmlash,
o‘zbek tilining  aksiomatik nazariyasi, fe’llarning kompyuter analizi
va   sintezi   kabi   yo‘nalishlar   bo‘yicha   izlanishlar-ni   amalga
oshirganlar.   O‘zbek   tilshunosligidagi   kompyuter   lingvistikasining
boshqa   yo‘nalishlari   esa   o‘z   tadqiqotchilarini   kutmoqda.   Shunga
ko‘ra,   bugungi   kunda   o‘zbek   tilshunosligining   kompyuter   bilan
bog‘liq holda hal etilishi lozim bo‘lgan quyidagi vazifalarni ta’kidlab
ko‘rsatish mumkin:
 O‘zbek tilining kompyuter uslubini yaratish.
 Axborot   matnlaridagi   qoliplilik,   qisqalik   standartlarini   ishlab
chi qish.
 Kompyuter izohli va tarjima lug‘atlarini yaratish.
 O‘zbek   tili   va   adabiyoti   darsliklarining   elektron   versiyalarini
ishlab chiqish.
 Kompyuterda   inglizcha-o‘zbekcha   tarjima   dasturlarini   ishlab
chiqish.
 Kompyuterdagi   matnlarni   avtomatik   tahrirlash   dasturlarini
yaratish.
 O‘zbek tili grammatikasining kompyuter modelini yaratish.
 «Inglizcha-o‘zbekcha   tarjimon»   kompyuter   dasturini   ishlab
chiqish.
 O‘zbek tilidagi matnlarni tahrirlash dasturlarini yaratish.
 O‘zbek tilidagi «Windows» operatsion tizimini yaratish.  Inglizcha-o‘zbekcha,   o‘zbekcha-inglizcha   kompyuter
lug‘atlarini ishlab chiqish.
Fanlar   hamisha   o‘zaro   uzviy   bog‘liqlik   va   hamkorlikda   ish
ko‘radi,   ular   bir-birisiz   yashay   olmaydi.   Jumladan,   kompyuter
lingvistikasi   fani   ham   bundan   mustasno   emas.   Kompyuter
lingvistikasi mantiq, informatika, statistika, semiotika, kibernetika,
ehtimollar   nazariyasi   kabi   turli   fan   sohalari   bilan   o‘zaro
aloqadorlikda ish ko‘radi. Adabiy ot lar:
1. Grishman   R.   Computational   linguistics//Cambridge
University Press, 1994.
2. Jurafsky   D.,   Martin   J.H.   Speech   and   Language   Processing.   -
New Jersey, 2000.
3. Rahimov   A.   Kompyuter   lingvistikasi   asoslari .   –   Toshkent :
Akademnashr ,  2011 .
4. Пўлатов   А.   Компьютер   лингвистикаси.   -   Тошкент:
Академнашр, 2011.
5. П ў латов   А.К.,   Муҳамедова   С.   Компьютер   лингвистикаси
(ўқув қўлланма). -   Тошкент, 2008
6. Шемакин   Ю.И.   Начало   компьютерной   лингвистики.   -   М.:
Высшая школа, 1992.
7. Нелюбин   Я.Я.   Компьютерная   лингвистика   и   машинный
перевод. -М.: ВЦП, 1991.
8. Нурмонов   А.,   Йулдошев   Б.   Тилшунослик   ва   табиий
фанлар. -Тошкент:  Ўқ итувчи, 2001.

KOMPY UTER LIN GV ISTIKASI FA N IGA KIRISH Reja: 1. “Kompyuter lingvistikasi” fanining mundarijasi, maqsadi, vazifasi. 2. Tilning ijtimoiy va informativ funksiyasi. 3. “Kompyuter lingvistikasi” fanining asosiy masalalari.

Ma’lumki, tilshunoslik fani XIX (1816-yilda) asrda mustaqil fan sifatida shakllandi. Shundan boshlab u turli aspektlarda, yo‘nalishlarda rivojlanib kelmoqda. Keyingi yillarda barcha fanlardagi kabi tilshunoslikda ham ikki fanning «chorrahasida» (kesishuvida) yuzaga kelgan fanlar jadal rivojlanmoqda. Jumladan, ana shunday fanlar sirasiga sotsiolingvistika (sotsiologiya va tilshunoslik), psixolingvistika (psixologiya va tilshunoslik), etnolingvistika (etnografiya va lingvistika), neyrolingvistika (nevrologiya va tilshun oslik), matematik lingvistika va kompyuter lingvistikasi fanlarini kiritish mumkin. Bunday holni boshqa fanlar doirasida ham kuzatish mumkin: biokimyo, astrofizika, matematik fizika, matematik logika kabi. Buni fan lar tizimida bir necha fanlarning o‘zaro hamkorligi, integratsiyasi deb baholash lozim bo‘ladi. Kompyuter lingvistikasi ikki rivojlanish bosqichini o‘z ichiga oladi: 1. Mat emat ik lingv ist ik a fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chiqishdir. Matematik lingvistika hal qilishi lozim bo‘lgan vazifalar umumiy lingvistikaning formal va aksiomatik nazariyalarini va aniq tillarning matematik modelini ishlab chiqishdan iborat. 2. Kompy ut er lingv ist ik asi fanining asosiy maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini ishlab chiqish. Kompyuter lingvistikasining asosiy vazifalari esa tillarga o‘qitish

bilimlarni tekshirish, matnlarni tahrirlash va mashina tarjimasi dasturlarini ishlab chiqishdan iboratdir. Bu bilan matematik lingvistikani tili «sof munosabatlar sistemasi» ya’ni insondan abstrakt sistema sifatidagi tavsifi deb sharhlash mumkin bo‘ladi. Klassik lingvistikada til inson bilan mutanosiblikda, juftlikda talqin qilinadi, ya’ni klassik lingvistika insonga zaruriy. Matematik lingvistika esa tavsiflash jarayonida shaxsning ishtirokiga o‘rin qoldirmaydi, u ko‘proq kompyuterga moslashtirilgandir. Til gramatikasining matematik modeli matematik mantiqning aksiomatik nazariyasiga asoslanadi. Shuning uchun matematik lingvistika matematik mantiq asoslarini bayon qilishdan boshlanadi. XX asrning 50-yillaridan boshlab tilshunoslikda « mashina t arjimasi» , « mashina t ilshunosligi» atamalari qo‘llanila boshlandi. Mazkur asrning buyuk kashfiyoti bo‘lgan kompyuter texnologiyalari tilshunoslikka ham kirib kelganining isboti edi. Mashina tarjimasi yoki avtomatik tarjima deyilganda, bir tildagi matnni ikkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida tarjima qilish nazarda tutiladi. Mashi na tarjimasining asoschilari kibernetika va matematika sohasi vakillari bo‘lib, keyinchalik bu ishda tilshunoslar ham faol qatnasha boshlagan. Shu tariqa mashina tarjimasi g‘oyalari butun dunyoda nazariy va amaliy tilshunoslikning rivojlanishida katta ahamiyat kasb etdi. Bu

yo‘nalish bilan pa rallel ravishda formal grammatika nazariyasi yuzaga kelib, til va uning alohida aspektlari modelini yaratishga e’tibor qaratildi. Tilning bu jihatlari matematik lingvistika fanida ishlab chiqildi, bu, o‘z navbatida, kompyuter lingvistikasi fanining yuzaga kelishi uchun poydevor bo‘ldi. Demak, shu asosda tilshunoslikning yangi yo‘nalishi - kompyuter lingvistikasi (1961) va tilshunoslikning bir qator nazariy va amaliy yo‘nalishlari vujudga keldi. Matematik lingvistika fani esa XX asrning 50-yillarida (1952-yilda) tilshu noslikning alohida yo‘nalishi sifatida yuzaga keldi. Bu fanning shakllanishida Kopengagen struktural tilshunoslik maktabi (glossematika)ning asoschisi Lui Yelmslevning g‘oyalari o‘ziga xos «turtki» vazifasini o‘tagan. U hatto til hodisalarini matematik bayonda tushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu fan « Til algebrasi» (« Lingv ist ik algebra» ) deb atalishi lozim edi. Amerikalik tilshunos Noam Chomskiyning formal grammatika, transformatsion grammatika haqidagi qarashlari bevosita matematik lingvistikaning alohida yo‘nalish sifatida yuzaga kelishiga sabab bo‘lgan. 1 Mana shunday qarashlar ta’sirida matematik lingvistika fani shakllandi. Matematik lingvistika - bu tabiiy tillarning matematik modellarini (bunday formallashgan til met at il deb ataladi) ishlab chiqish, xususan, sun’iy tillarni yaratish algoritmini tuzish bilan 1 Jurafsky D., Martin J.H. Speech and Language Processing. - New Jersey, 2000.

shug‘ullanuvchi fandir. Matematik lingvistika oldida turuvchi eng muhim masalalar quyidagilardir:  tilning aksiomatik nazariyasini ishlab chiqish;  formal grammatika yaratish;  tillarning matematik modellarini ishlab chiqish. Har bir fanning o‘z maqsad va vazifalari bo‘ladi. Matematik lingvistika fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chiqishdir. Ushbu maqsadga erishish uchun fan o‘z oldiga quyidagi vazifalarni qo‘yadi:  tabiiy va sun’iy tillarning formal modellari algoritmini ishlab chiqish;  lisoniy hodisalarni matematik parametrlarda baholash;  til hodisalarini matematik metodlar yordamida tahlil qilish (ehtimollar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish). Kompyuter lingvistikasi matematik lingvistikaning mantiqiy davomi bo‘lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Komp yuter lingvistikasi 1954-yil AQSHda Jorjtaun universitetida mashina tarjimasi bo‘yicha dunyoda o‘tkazilgan birinchi tajriba asnosida yo‘nalish sifatida shakllana boshladi, 1960-yilga kelib mustaqil fan sifatida shakllandi. Kompyuter lingvistikasi inglizcha «computational linguistics» so‘zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nomlar bilan atalgan: hisoblash lingvistikasi, matematik lingvistika,