Hozir dunyoda katta ma'lumotlarni qayta ishlash texnologiyalar
O’ZBEKISTON RESPUBLIKASI OLIY VA O’RTA -MAXSUS TA’LIM VAZIRLIGI SAMARQAND DAVLAT UNIVERSITETI RAQAMLI TEXNOLOGIYALAR FAKULTETI AXBOROT TIZIMLARINI MATEMATIK VA DASTURIY TA’MINOTI YO’NALISHI 310 -guruh talabasi Tohirov Muhriddinning BIG DATA FANIDAN MUSTAQI L ISHI SAMARQAND -2022
Mavzu : Hozir dunyoda katta ma'lumotlarni qayta ishlash texnologiyalari Reja: Kirish……………………………………………………………………………....... 1. Kattta malumotlar haqida tushuncha.......………………………………………... 2. Katta ma'lumotlarni tahlil qilish usullari………………………………………… 3. Katta ma'lumotlarni tahlil qilish texnologiyalari……………………………... .... Xulosa…………………………………………………………………………..... .... Foydalanilgan adabiyotla r………………………………………………………... ...
Kirish Zamonaviy tadqiqot markazlari, moliya institutlari, ijtimoiy tarmoqlar tomonidan ishlab chiqarilgan va to'plangan ma'lumotlar miqdori allaqachon petabaytlarda o'lchanadi . Shunday qilib, 15 millia rddan ortiq rasm allaqachon Facebook ma'lumotlar markazlarida saqlanadi, Nyu -York fond birjasi NYSE har kuni taxminan 1 Tb ma'lumot yaratadi va takrorlaydi, Katta adron kollayderi soniyada taxminan 1 Pb ma'lumot oladi. Shunday qilib, zamonaviy dunyoda kat ta ma'lumotlar yoki Big Data muammosi paydo bo'ldi. IT va biznes sohasidagi jahon yetakchilari doimiy ravishda keladigan katta hajmdagi axborotni boshqarish va tahlil qilish uchun eng yaxshi yechimni qidirmoqda. Ular o'z ixtiyoridagi ma'lumotlardan foydala nish yo'llarini qidirmoqdalar. Katta ma'lumotlar mavzusi amaliy va nazariy nuqtai nazardan qiziqarli. Texnologiyalarning o'zi uzluksiz rivojlanish holatida bo'lib, bu ularni amalga oshirish va takomillashtirish jarayonini real vaqt rejimida kuzatish, shun ingdek, katta ma'lumotlar massivlarini qayta ishlash uchun yangi texnologiyalarni yaratishda bevosita ishtirok etish imkonini beradi. Shuni ham qayd etishni istardimki, Big Data sohasidagi bilim va ko‘nikmalarni kengaytirish biznes informatika yo‘nalishida tahsil olayotgan talabalar uchun ayniqsa dolzarbdir.
Kattta malumotlar haqida tushuncha Katta ma'lumotlarning o'ziga xos xususiyatlarini tavsiflab, ular eslatib o'tgan birinchi narsa 3V: "hajm, xilma -xillik va tezlik" yoki hajm, xilma -xillik va tezlik. Hajmi nafaqat saqlangan ma'lumotlarning katta miqdorini, balki uning qo'shilishi, o'sishi, vaqt o'tishi bilan o'zgarishini ham nazarda tutadi. Axborot turlari va manbalarining xilma -xilligi ularni bitta ma'lumotlar to'plamiga birlashtirishda doim o katta muammo bo'lib kelgan. Bugungi kunda bu xilma -xillik tobora ortib bormoqda. Tezlik axborotni yaratishda ham, uni qayta ishlashda ham baholanadi.Relyatsion ma'lumotlar bazalari ma'lumotlar massivlari bilan ishlashning an'anaviy usuli hisoblanadi. Bi roq, yuzlab terabaytli relyatsion ma'lumotlar bazasi bilan ishlash hali Big Data emas, balki, masalan, "oddiy" yuklangan ma'lumotlar bazasi. Bu holda farq ma'lumotlar bazasi arxitekturasida va DBMS va saqlangan ma'lumotlar o'rtasidagi o'zaro ta'sir mantig' ida yotadi. Relyatsion ma'lumotlar bazalarida ma'lumotlar dispersiv ravishda taqsimlanadi, ya'ni. dastlab o'rnatilgan aniq tuzilma mavjud bo'lib, uning allaqachon ishlaydigan ma'lumotlar bazasida o'zgarishi ko'plab muammolar bilan bog'liq. Shunday qilib, arxitekturasi tufayli relyatsion ma'lumotlar bazalari bir xil turdagi oqimga amal qiladigan qisqa, tezkor so'rovlar uchun eng mos keladi. Murakkab so'rovlar ma'lumotlar bazasi strukturasini qayta qurishni yoki tezlikni oshirish uchun hisoblash quvvatini os hirishni talab qiladi. Bu an'anaviy ma'lumotlar bazalari bilan bog'liq yana bir muammoga, ya'ni ularning kengaytirilishining murakkabligiga ishora qiladi. Shunday qilib, murakkab moslashuvchan so'rovlar bilan ishlash uchun sizga tuzilmagan ma'lumotlarni s aqlash va qayta ishlash imkonini beradigan, kengaytiriladigan va taqsimlangan hisoblashlardan foydalanishga imkon beradigan muhit kerak, bu erda ma'lumotlarni qayta ishlash uchun bitta yuqori unumdorlikli mashina emas, balki butun guruh ishlatiladi. klaste rga birlashtirilgan bunday mashinalar. Ko'pgina katta ma'lumotlar loyihalari juda qorong'i bo'lsa -da, odamlar,
kompaniyalar va hukumatlarning kundalik hayotiga ta'sir ko'rsatadigan katta ma'lumotlarning muvaffaqiyatli namunalari mavjud: Virus epidemiyalar ini bashorat qilish: ijtimoiy -siyosiy ma'lumotlar, ob -havo va iqlim ma'lumotlari va shifoxona ma'lumotlarini o'rganish orqali bu olimlar 4 haftalik oldindan ogohlantiruvchi dag'al isitma epidemiyasini taxmin qilmoqdalar. Homicide Watch: bu katta ma'lumot loyihasi profsoyuz Vashingtondagi qotillik qurbonlari, gumondorlari va jinoyatchilar profilini tashkil qiladi. Ham, marhumni hurmat qilish va odamlar uchun xabardorlik manbai sifatida, bu katta ma'lumot loyihasi ajoyibdir. Tranzitni Sayohat Rejalashtirish , NYC: WNYC radio dasturchisi Stiv Melendez onlayn metro rejasini sayohat sayohati dasturi bilan birlashtirdi. Uning yaratilishi Nyu -Yorkchilar xaritada o'z manzillarini bosish imkonini beradi va poezdlar va metro uchun sayohat vaqtini taxmin qilish mumkin . Xerox ish kuchini yo'qotdi: chaqiriq markazi ishi hissiy jihatdan toliqdi. Xerox professional tahlilchilar yordamida ma'lumotlarni to'plamini o'rganib chiqdi va hozirda ular qaysi chaqiriq markazi ishlayotganini kompaniyaga eng uzoq muddat qolishi mumki nligini taxmin qilishlari mumkin. Terrorizmga qarshi kurashni qo'llab -quvvatlash: Ijtimoiy axborot vositalarini, moliyaviy hisobotlarni, parvozlar buyurtmalarini va xavfsizlik ma'lumotlarini o'rganish orqali huquqni muhofaza qilish organlari terroristik g umondorlarni yovuz ishlarini qilmasdan oldindan aniqlashi va topishi mumkin. Tovarlarni marketingni ijtimoiy media sharhlar asosida tuzish : odamlar ochiq -oydin va tezda pub, restoran yoki fitness klubida onlayn fikrlarini baham ko'rishadi. Ushbu millionl ab ijtimoiy media lavozimlarini o'rganish va kompaniyaga o'zlarining xizmatlariga nisbatan qanday fikrda ekanligi haqida ma'lumot berish mumkin. 1. Ma'lumotlar katta. U bir qattiq diskda , USB xotirasida kamroq mos kelmaydi. Ma'lumotlarning miqdori inson aqliga qanchalik ta'sir qilishi mumkinligini (milliard milliard megabaytni o'ylab, undan keyin milliardlab dollar ko'payishi mumki n) oshib ketadi.