Katta ma’lumotlarni Big Data qo’llaniladigan sohalar.

Yuklangan vaqt:

08.08.2023

Ko'chirishlar soni:

0

Hajmi:

29.4892578125 KB

Ko'chirib olish

Mavzu: Katta ma’lumotlarni Big Data qo’llaniladigan
sohalar.
Reja:
1. Big Dataning asosiy atamalari
2. Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish
tizimlari.
3. Katta ma’lumotlar va biznes. Katta ma’lumotlarni tahlil qilish
texnikasi.
4. Katta ma’lumotlar va ma’lumotlarni qayta ishlash. Katta
ma’lumotlar mashinasi.

Big data ( katta ma'lumotlar ) - juda katta hajmdagi bir jinsli bo'lmagan va tez
tushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlab
bo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shu
ma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti katta
ma'lumotlar deb ataladi.
Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnali muharriri
Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishiga
bag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlar
avval ham bo'lgan. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumot
tushadigan oqimlarga big data deb aytilar ekan.
Katta ma'lumotlarni analiz qilish, inson his etish imkoniyatidan tashqarida
bo'lgan qonuniylatlarni aniqlashda yordam beradi. Bu esa kundalik hayotimizdagi
barcha sohalar, hukumatni boshqarish, tibbiyot, telekommunikatsiya, moliya,
transport, ishlab chiqarish va boshqa sohalarni yanada yaxshilash, ularning
imkoniyatlarini oshirish, muommolarga muqobil yechimlar izlab topish imkonini
yaratadi.
Data lake ( ma'lumotlar ko'li ) - qayta ishlanmagan katta ma'lumotlar ombori.
"Ko'l" har xil manbalardan kelgan, har xil formatda bo'lgan ma'lumotlarni
saqlaydi. Bu esa odatiy relatsion ma'lumotlar omborida ma'lumotlarni aniq
struktura asosida saqlashdan ko'ra arzonroqqa tushadi. Ma'lumotlar ko'li,
ma'lumotlarni boshlang'ich holatida analiz qilish imkonini beradi. Bundan tashqari,
"ko'l"lardan bir vaqtni o'zida bir nechta ishchilar foydalanishlari mumkin.
Data science ( ma'lumotlar haqidagi fan ) - analiz muommolarini ,
ma'lumotlarni qayta ishlash va ularni raqamli ko'rinishda taqdim etishni
o'rganadigan fan.
Bu atama dunyoga kelgan vaqt 1974-yil hisoblanadi. O'sha yili Daniyalik
informatik, Peter Naur "A Basic Principle of Data Science" nomli kitobini chop
ettirgan.

2010-yillar boshida katta ma'lumotlarni tarqalishi natijasida bu yo'nalish
juda foydali va kelajagi bor biznesga aylandi. Va o'shandi katta ma'lumotlar bilan
ishlaydigan mutaxassislarga talab juda oshib ketdi.
Data science tushunchasiga ma'lumotlar omborini loyihalash va
raqamlangan ma'lumotlarni qayta ishlashning barcha metodlari kiradi. Ko'plab
mutaxassislar fikricha, aynan data science big dataning biznes nuqtai nazaridan
hozirgi zamonoviy o'rindoshi hisoblanadi.
Data mining ( ma'lumotlarni topish ) - biron qonuniyatni topish maqsadida
ma'lumotlarni intellektual analiz qilishga aytiladi. Isroillik matematik Grigoriy
Pyatetskiy-Shapiro 1989-yilda bu atamani fanga kiritgan.
Texnologiyalar, avvalari noma'lum va foydali bo'lgan qayta
ishlanmagan(hom) ma'lumotlarni topish jarayoniga data mining(ma'lumotlarni
topish) deyiladi. Data mining metodlari ma'lumotlar ombori, statistika va sun'iy
intellekt tutashgan nuqtada joylashadi.
Machine learning ( mashinali o'qitish ) - o'zi o'rganadigan dasturlar yaratish
amaliyoti va nazariyasi, sun'iy intellektning katta qismi.
Dasturchilar o'z algoritmlariga xususiy hollarda umumiy qonuniyatlarni
aniqlashni o'rgatishadi. Natijada, kompyuter, inson avvaldan ko'rsatib o'tgan
buyruqlaridan emas, balki, o'z shaxsiy malakasidan kelib chiqib qaror qabul qiladi.
Bunday o'qitishning juda ko'p metodlari data mining'ga oid bo'lishi mumkin.
Mashinali o'qitishga birinchi tarifni 1959-yilda amerikalik informatik Artur
Samuel bergan. U sun'iy intellekt elementlariga ega bo'lgan shashka o'yini,
dunyoda birinchi o'zi o'rganadigan dasturni yaratgan.
Deep learning ( chuqur o'qitish ) - yanada murakkab va yanada mustaqil
bo'lgan o'zi o'qidigan dasturlar yaratadigan mashinali o'qitish turi. Oddiy mashinali
o'qitish hollarida boshqariladigan malaka yordamida kompyuter bilimlarni aniqlab
oladi: dasturchi algoritmga ma'lum misollarni ko'rsatadi, xatolarni qo'lda

to'g'rilaydi. Deep learningda esa, tizim o'zi o'z funksiyalarini loyihalaydi, ko'p
darajali hisob-kitoblar amalga oshiradi va atrof-muhit haqida xulosalar qiladi.
Odatda chuqur o'qitishni neyron tarmoqlarga tadbiq qilishadi. Bu
texnologiya asosan rasmlarni qayta ishlashda, nutqni tanishda, neyromashina
tarjima, farmatsevtikadagi hisoblashlarda va boshqa zamonaviy texnologiyalarda
qo'llaniladi. Asosan Google, facebook va Baidu tomonidan loyihalarga tadbir
qilinadi.
Sun'iy neyron tarmog'i - oddiy protsessorlar(sun'iy neyronlar)
birlashtirilgan tizimi bo'lib, insonning nerv tizimini imitatsiya qiladi. Bunday
struktura evaziga, neyron tarmoqlari dasturlanmaydi, ular o'qitishadi. Huddi
haqiqiy neyronlar kabi, protsessorlar signallarni oddiygina qabul qilishadi va
boshqa protsessorlarga o'zatishadi. Shu bilan birga, boshqa butun tizim algoritmlar
bajara olmaydigan murakkab topshiriqlarni bajaradi.
1943-yilda amerikalik olimlar Uorren Makkalok va Uolter Pittslar sun'iy
neyron tarmog'i tushunchasini fanga kiritishgan.
Business intelligence ( biznes-analitika ) - aniq strukturaga ega bo'lmagan
juda katta hajmdagi ma'lumotlarni qayta ishlash natijasida muqobil biznes
yechimlar izlashga aytiladi.
Effektiv biznes-analitika ichki va tashqi ma'lumotlarni analiz qiladi - ham
bozor axborotlarini, ham mijoz-kompaniyaning hisobotlarini hisobga oladi. Bu
biznesni butunlay tushunishga yordam beradi, shu bilan birga, strategik va
operatsion qarorlar qabul qilishga zamin yaratadi(mahsulot narxini aniqlashda,
kompaniya rivojlanishining asosiy yo'nalishlarini belgilab olishda).
Bu atama 1958-yilda IBM taqdiqotchisi Xans Piter Lun maqolasida birinchi
bo'lib ko'rsatilgan. 1996-yilda axborot texnologiyalari bozorini o'rganishga
asoslangan Gartner analitik agentligi business intelligence tarkibiga data mining
metodikasini ham qo'shgan.

Katta ma'lumotlarga misollar
Big Data texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish,
dunyoning taniqli kompaniyalari dunyoning deyarli har bir burchagida o'z
mijozlariga ega bo'lganlaridan foydalanishni boshlaganidan keyin boshlandi.
Bu Facebook va Google, IBM. Kabi ijtimoiy gigantlar, shuningdek Master
Card, VISA va Bank of America singari moliyaviy tuzilmalardir.
Masalan, IBM davom etayotgan kassa operatsiyalariga katta ma'lumotlar
usullarini qo'llaydi. Ularning yordami bilan 15 foizga ko'proq soxta bitimlar
aniqlandi, bu esa himoyalangan mablag'lar miqdorini 60 foizga oshirish imkonini
berdi. Shuningdek, tizimning noto'g'ri signallari bilan bog'liq muammolar hal
qilindi - ularning soni yarmidan ko'piga kamaytirildi.
VISA shu kabi yoki boshqa operatsiyani amalga oshirish uchun qilingan
firibgarliklarni kuzatib, Big Data-dan foydalangan. Buning yordamida ular har yili
2 milliard dollardan ko'proq mablag'ni tejashga imkon beradi.
Germaniya Mehnat vazirligi ishsizlik bo'yicha nafaqa berish bo'yicha katta
ma'lumot tizimini joriy etish orqali xarajatlarni 10 milliard evroga kamaytirishga
muvaffaq bo'ldi. Shu bilan birga, fuqarolarning beshdan biri bu imtiyozlarni hech
qanday sababsiz olayotganligi aniqlandi.
Big Data o'yin sanoatini qo'ldan boy bermadi. Shunday qilib, World of
Tanks-ning ishlab chiquvchilari barcha o'yinchilar haqida ma'lumotni o'rganishdi
va ularning faoliyatining mavjud ko'rsatkichlarini solishtirishdi. Bu kelajakda
o'yinchilarning ketishini taxmin qilishda yordam berdi - qilingan taxminlarga
asoslanib, tashkilot vakillari foydalanuvchilar bilan yanada samarali aloqada
bo'lishdi.
Taniqli yirik ma'lumotlar tashkilotlariga HSBC, Nasdaq, Coca-Cola,
Starbucks va AT&T kiradi.
Katta ma'lumotlarning eng katta muammosi - uni qayta ishlashning narxi.
Bunga qimmatbaho uskunalar va katta miqdordagi ma'lumotlarga xizmat

ko'rsatadigan malakali mutaxassislarning ish haqi xarajatlari ham kirishi mumkin.
Shubhasiz, uskunalar doimiy ravishda yangilanib turilishi kerak, shunda u
ma'lumotlarning ko'payishi bilan minimal ish qobiliyatini yo'qotmaydi.
Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan juda ko'p ma'lumotlar
bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni
beradigan bo'lsa, ob'ektiv bo'lib qolish va umumiy ma'lumot oqimidan faqat
hodisaning holatiga real ta'sir ko'rsatadigan narsalarni tanlash juda qiyin.
Katta ma'lumotlarning maxfiyligi muammosi. Ko'pgina mijozlarning
xizmatlari onlayn ma'lumotlardan foydalanishga o'tishlari sababli, kiber
jinoyatchilar uchun boshqa maqsadga aylanish juda oson. Hatto biron bir onlayn
tranzaksiya qilmasdan shaxsiy ma'lumotlarni oddiy saqlash ham bulutli saqlash
mijozlari uchun nomaqbul oqibatlarga olib kelishi mumkin.
Axborotni yo'qotish muammosi. Ehtiyot choralar oddiy bitta ma'lumotni
zaxiralash bilan cheklanmaydi, lekin kamida 2-3 ta zaxira nusxasini talab qiladi.
Biroq, hajmning o'sishi bilan, zaxira bilan bog'liq qiyinchiliklar kuchaymoqda - va
IT-mutaxassislari ushbu muammoning maqbul echimini topishga harakat
qilmoqdalar.
Big Data nima?
Aslida, atamaning ta'rifi yuzaga chiqadi: "katta ma'lumotlar" juda katta
hajmdagi ma'lumotlarni boshqarish va ularni tahlil qilishni anglatadi. Agar siz
kengroq qarasangiz, bu juda katta hajm tufayli klassik usullar bilan qayta
ishlanmaydigan ma'lumotlar.
Big Data atamasi o'zi nisbatan yaqinda paydo bo'lgan. Google Trends
ma'lumotlariga ko'ra, ushbu mashhurlikning faol o'sishi 2011 yil oxiriga to'g'ri
keladi:
2010 yilda katta ma'lumotlarni qayta ishlash bilan bevosita bog'liq bo'lgan
birinchi mahsulotlar va echimlar paydo bo'ldi. 2011 yilga kelib, eng yirik IT-
kompaniyalar, shu jumladan IBM, Oracle, Microsoft va Hewlett-Packard, o'z

biznes strategiyalarida Big Data atamasidan faol foydalanmoqdalar. Asta-sekin,
axborot texnologiyalari bozori tahlilchilari ushbu kontseptsiya bo'yicha faol
izlanishlarni boshlaydilar.
Hozirgi vaqtda ushbu atama katta shuhrat qozondi va turli sohalarda faol
qo'llanilmoqda. Ammo Katta Ma'lumotlar bu mutlaqo mutlaqo yangi hodisa, deb
aniq aytish mumkin emas, aksincha, katta ma'lumotlar manbalari ko'p yillar
davomida mavjud bo'lgan. Marketingda ularni mijozlar xaridlari, kredit tarixlari,
turmush tarzi va hokazolarning ma'lumotlar bazasi deb atash mumkin. Yillar
davomida tahlilchilar ushbu ma'lumotlardan kompaniyalarga mijozlarning
kelajakdagi ehtiyojlarini bashorat qilish, xatarlarni baholash, iste'molchilarning
xohish-istaklarini shakllantirish va h.k.
Hozirgi vaqtda vaziyat ikki jihatdan o'zgargan:
- turli xil ma'lumotlar to'plamlarini tahlil qilish va taqqoslash uchun yanada
murakkab vositalar va usullar paydo bo'ldi;
- Tahlil vositalari turli xil yangi ma'lumotlar manbalari bilan to'ldirildi, bu raqamli
texnologiyalarga keng o'tish bilan bog'liq, shuningdek ma'lumotlarni yig'ish va
o'lchashning yangi usullari.
Tadqiqotchilar Big Data texnologiyalaridan ishlab chiqarish, sog'liqni
saqlash, savdo, davlat boshqaruvi va boshqa turli sohalar va sohalarda eng faol
foydalanilishini taxmin qilishmoqda.
Big Data bu ma'lum bir ma'lumotlar to'plami emas, balki ularni qayta ishlash
usullari to'plami. Katta ma'lumotlar uchun aniqlovchi xususiyat nafaqat uning
hajmi, balki ma'lumotlarni qayta ishlash va tahlil qilishning og'ir jarayonlarini
tavsiflovchi boshqa toifalardir.
Big Data asosiy tamoyillari:
- Landshaft kengaytirilishi - ma'lumotlar massivlari juda katta bo'lishi
mumkin va bu katta ma'lumotlarni qayta ishlash tizimining dinamik ravishda
kengayib borishi kerakligini anglatadi.

- Xatolarga bardoshlik - uskunaning ba'zi elementlari ishdan chiqsa ham,
butun tizim ishlashi kerak.
- ma'lumotlarning joylashuvi. Katta taqsimlangan tizimlarda ma'lumotlar
odatda juda ko'p sonli mashinalarda tarqatiladi. Ammo, iloji boricha va resurslarni
tejash maqsadida ma'lumotlar ko'pincha o'sha serverda saqlanadi.
Uchala tamoyilning barqaror ishlashi va shunga mos ravishda katta
ma'lumotlarni saqlash va qayta ishlashning yuqori samaradorligi uchun, masalan,
blockchain kabi yangi katta texnologiyalar kerak.
Katta ma'lumotlar nima uchun?
Big Data doirasi doimiy ravishda kengayib bormoqda:
- Katta ma'lumotlardan tibbiyotda foydalanish mumkin. Shunday qilib,
bemorga tashxisni nafaqat tibbiy tarix ma'lumotlari asosida, balki boshqa
shifokorlar tajribasi, bemorning yashash joyining ekologik holati to'g'risidagi
ma'lumotlar va boshqa ko'plab omillarni hisobga olgan holda aniqlash mumkin.
- Katta ma'lumot texnologiyalaridan uchuvchisiz transport vositalarining
harakatini tashkil qilish uchun foydalanish mumkin.
- Katta hajmdagi ma'lumotlarni qayta ishlash paytida fotosuratlar va video
materiallardagi yuzlarni tanib olish mumkin.
- Big Data texnologiyalaridan chakana sotuvchilar foydalanishlari mumkin -
savdo kompaniyalari o'zlarining reklama kampaniyalarini samarali sozlash uchun
ijtimoiy tarmoqlardan ma'lumotlar qatoridan faol foydalanishlari mumkin, ular
ma'lum bir iste'molchilar segmentiga maksimal darajada yo'naltirilishi mumkin.
- Ushbu texnologiya saylovoldi tashviqotlarini tashkil etishda, shu jumladan
jamiyatdagi siyosiy imtiyozlarni tahlil qilishda faol qo'llaniladi.
- Big Data texnologiyalaridan foydalanish daromadlarni kafolatlash (RA)
klassi echimlari uchun juda muhimdir, ularda moliyaviy natijalarning pasayishiga

olib keladigan ehtimoliy yo'qotishlarni yoki buzilishlarni o'z vaqtida aniqlashga
imkon beradigan ma'lumotlarni chuqur tahlil qilish kiradi.
- Telekommunikatsion provayderlar katta ma'lumotlarni, shu jumladan
geolokatsiya to'g'risida ham ma'lumot to'plashlari mumkin; o'z navbatida, bu
ma'lumot reklama agentliklari uchun maqsadli va mahalliy reklama namoyish
qilishda foydalanishi mumkin bo'lgan tijorat qiziqishlari bo'lishi mumkin,
shuningdek, chakana sotuvchilar va banklar uchun.
- Katta ma'lumotlar ma'lum bir joyda odamlarning kuchli maqsadli
oqimining mavjudligiga asoslanib, savdo nuqtasini ochishda muhim rol o'ynashi
mumkin.
Shunday qilib, Big Data texnologiyalarini amaliy qo'llash marketing
sohasida yotadi. Internetning rivojlanishi va barcha turdagi aloqa vositalarining
tarqalishi tufayli xatti-harakatlar ma'lumotlari (masalan, qo'ng'iroqlar soni, xarid
qilish odatlari va xaridlar) real vaqtda mavjud bo'ladi.
Katta ma'lumot texnologiyalaridan moliya, sotsiologik tadqiqotlar va boshqa
ko'plab sohalarda samarali foydalanish mumkin. Mutaxassislarning ta'kidlashicha,
katta ma'lumotlardan foydalanishning barcha imkoniyatlari bu aysbergning
ko'rinadigan qismidir, chunki bu texnologiyalar katta hajmlarda razvedka va kontr-
razvedkada, harbiy ishlarda, shuningdek, axborot urushi deb ataladigan barcha
narsalarda qo'llaniladi.
Umuman olganda, Big Data bilan ishlashning ketma-ketligi ma'lumotlarni
to'plash, hisobotlar va boshqaruv paneli yordamida olingan ma'lumotlarni tuzish,
shuningdek harakatlar bo'yicha tavsiyalarni shakllantirishdan iborat.
Marketingda Big Data texnologiyalaridan foydalanish imkoniyatlarini
qisqacha ko'rib chiqing. Ma'lumki, marketolog uchun ma'lumot bashorat qilish va
strategiyani tuzishning asosiy vositasidir. Ma'lumotlarning katta tahlili uzoq
vaqtdan beri maqsadli auditoriya, qiziqish, talab va iste'molchilarning faolligini
aniqlash uchun muvaffaqiyatli ishlatilgan. Katta ma'lumotlarni tahlil qilish,

xususan, reklama (RTB kim oshdi savdosi modeli asosida - Real vaqt savdosi)
faqat mahsulot yoki xizmatga qiziqqan iste'molchilarga namoyish qilish imkonini
beradi.
Marketingda Big Data-dan foydalanish ishbilarmonlarga:
- iste'molchilar bilan tanishish, Internetda shunga o'xshash auditoriyani jalb
qilish yaxshiroqdir;
- mijozlarning qoniqishini baholash;
- taklif etilayotgan xizmat istiqbol va ehtiyojlarga javob berishini tushunish;
- mijozlar ishonchini oshiradigan yangi usullarni topish va amalga oshirish;
- talabga javob beradigan loyihalarni yaratish va boshqalar.
Masalan, Google.trends xizmati sotuvchiga ma'lum bir mahsulotga
mavsumiy talab faolligi, tebranishlar va chertish geografiyasini bashorat qilishi
mumkin. Agar siz ushbu ma'lumotni o'z saytingizdagi tegishli plagin tomonidan
to'plangan statistika bilan taqqoslasangiz, oylik, mintaqa va boshqa parametrlar
bilan reklama byudjetini taqsimlash rejasini tuzishingiz mumkin.
Ko'pgina tadqiqotchilarning fikriga ko'ra, Trump saylov kampaniyasining
muvaffaqiyati Big Data-ni segmentatsiyalash va undan foydalanish bilan bog'liq.
AQShning bo'lajak prezidentining jamoasi auditoriyani to'g'ri taqsimlay oldi, uning
xohish-istaklarini tushundi va saylovchilar ko'rishni va eshitishni istagan xabarni
aniq ko'rsatdi. Shunday qilib, Data-Centric Alliance vakili Irina Belyshevaning
so'zlariga ko'ra, Trumpning g'alabasi katta ma'lumotlar, psixologik va xulq-atvor
tahlillari va shaxsiy reklamalarga asoslangan Internet-marketingga nostandart
yondashuv tufayli mumkin bo'ldi.
Trumpning siyosiy strateglari va sotuvchilari maxsus ishlab chiqilgan
matematik modeldan foydalandilar, bu bizga AQShning barcha saylovchilarining
ma'lumotlarini ularni tizimlashtirish uchun chuqur tahlil qilishga imkon berdi, bu
nafaqat geografik belgilar, balki saylovchilarning niyatlari, qiziqishlari, ularning

psixotiplari, xulq-atvor xususiyatlari va hokazolarida ham o'ta aniq nishonga
olishga imkon berdi. shundan kelib chiqib, sotuvchilar har bir guruh fuqarolarning
ehtiyojlari, kayfiyati, siyosiy qarashlari, psixologik xususiyatlari va terining rangi
asosida deyarli har bir saylovchi uchun o'z xabarlaridan foydalangan holda shaxsiy
aloqa tashkil etishdi.
Xillari Klintonga kelsak, u o'z kampaniyasida u sotsiologik ma'lumotlar va
standart marketingga asoslangan "vaqt sinovidan o'tgan" usullarni qo'llagan va
elektoratni faqat rasmiy bir hil guruhlarga (erkaklar, ayollar, afroamerikaliklar,
Lotin amerikaliklari, kambag'allar, boylar va boshqalar) ajratgan. .
Natijada, yangi texnologiyalar va tahlil usullarining potentsialini qadrlagan
kishi g'olib bo'ldi. Shunisi e'tiborga loyiqki, Hillari Klintonning kampaniya
xarajatlari raqibidan ikki baravar ko'p bo'lgan:
Katta ma'lumotlardan foydalanishning asosiy muammolari
Katta narxga qo'shimcha ravishda, Big Data-ni turli sohalarda amalga
oshirishga to'sqinlik qiluvchi asosiy omillardan biri bu qayta ishlanadigan
ma'lumotni tanlash muammosi, ya'ni qaysi ma'lumotni olish, saqlash va tahlil
qilish kerakligini aniqlash va bu hisobga olinmasligi kerak.
Yana bir katta ma'lumotlar muammosi axloqiy masaladir. Boshqacha qilib
aytganda, mantiqiy savol tug'iladi: bunday ma'lumotlarni yig'ish (ayniqsa
foydalanuvchini bilmasdan) shaxsiy hayotning chegaralarini buzish deb hisoblash
mumkinmi?
Google va Yandex qidiruv tizimlarida saqlanadigan ma'lumotlar IT
gigantlariga doimiy ravishda o'z xizmatlarini takomillashtirish, foydalanuvchilarga
qulay va yangi interfaol dasturlarni yaratishga imkon beradi. Buning uchun qidiruv
tizimlari Internetda foydalanuvchi faoliyati to'g'risidagi ma'lumotlar, IP manzillari,
joylashuv ma'lumotlari, qiziqishlar va onlayn xaridlar, shaxsiy ma'lumotlar, pochta
xabarlari va hokazolarni to'playdi. Bularning barchasi Internetda foydalanuvchi
harakatlariga qarab kontekstual reklama namoyish qilish imkonini beradi. Bunday

holda, odatda foydalanuvchilarning roziligi so'ralmaydi va o'zingiz haqingizda
qanday ma'lumotlarni taqdim etishni tanlash imkoniyati berilmaydi. Ya'ni, sukut
bo'yicha, Big Data keyinchalik sayt ma'lumot serverlarida saqlanadigan barcha
narsalarni to'playdi.
Shundan kelib chiqib, ma'lumotlarni saqlash va ulardan foydalanish
xavfsizligi bilan bog'liq quyidagi muhim masala kelib chiqadi. Masalan,
iste'molchilar o'z ma'lumotlarini avtomatik ravishda uzatadigan bu yoki boshqa
tahliliy platforma xavfsizmi? Bundan tashqari, ko'plab biznes vakillari katta
hajmdagi ma'lumotlarni samarali boshqarish va ularning yordami bilan muayyan
biznes muammolarini hal qilishga qodir yuqori malakali tahlilchilar va
marketologlarning etishmasligini ta'kidlamoqdalar.
Big Data-ni amalga oshirishdagi barcha qiyinchiliklarga qaramay, biznes
ushbu yo'nalishga investitsiyalarni ko'paytirishni rejalashtirmoqda. Gartner
tadqiqotiga ko'ra, ommaviy axborot vositalari, chakana savdo,
telekommunikatsiya, bank va xizmat ko'rsatish kompaniyalari Big Data
investitsiya sohalarida etakchi hisoblanadi.
Blokchain texnologiyasi va Big Data o'zaro ta'sirining istiqbollari
Big Data bilan integratsiya sinergistik samara beradi va biznes uchun ko'plab
yangi imkoniyatlarni ochadi, shu jumladan:
- iste'molchilar imtiyozlari haqida batafsil ma'lumotga ega bo'lish, ular
asosida aniq etkazib beruvchilar, mahsulotlar va mahsulot tarkibiy qismlari uchun
batafsil tahliliy profillarni yaratish mumkin;
- foydalanuvchilarning turli toifalari bo'yicha ayrim tovarlar guruhlari bo'yicha
tranzaktsiyalar va iste'mol statistikasi to'g'risidagi batafsil ma'lumotlarni
birlashtirish;
- etkazib berish va iste'mol zanjirlari, tashish paytida mahsulotni yo'qotish
bo'yicha batafsil tahliliy ma'lumotlarni olish (masalan, ayrim tovarlarning qurishi
va bug'lanishi natijasida vazn yo'qotish);

- mahsulot firibgarligiga qarshi kurashish, pul yuvish va firibgarlikka qarshi
kurash samaradorligini oshirish va boshqalar.
Tovarlarni iste'mol qilish va iste'mol qilish bo'yicha batafsil ma'lumotlarga
kirish Big Business texnologiyasining asosiy biznes jarayonlarini optimallashtirish
imkoniyatlarini sezilarli darajada ochib beradi, tartibga soluvchi xatarlarni
kamaytiradi va mavjud iste'molchilar talablariga eng mos keladigan mahsulotlarni
yaratish va yaratish uchun yangi imkoniyatlarni ochib beradi.
Ma'lumki, yirik moliya institutlari vakillari, shu jumladan va boshqalar,
blockchain texnologiyasiga katta qiziqish bildirmoqdalar.Shveysariyaning UBS
moliyaviy xoldingining IT-menejeri Oliver Bussmannning so'zlariga ko'ra
blockchain texnologiyasi "tranzaktsiyalarni qayta ishlash vaqtini bir necha kundan
bir necha daqiqagacha qisqartirishga" qodir. .
Big Data texnologiyasidan foydalangan holda blockchain tahlilining
imkoniyatlari juda katta. Taqsimlangan ro'yxatga olish texnologiyasi
ma'lumotlarning yaxlitligini, shuningdek tranzaktsiyalar tarixini ishonchli va
oshkora saqlashni ta'minlaydi. Big Data, o'z navbatida, samarali tahlil qilish,
prognozlash, iqtisodiy modellashtirish uchun yangi vositalarni taqdim etadi va
shunga muvofiq boshqaruvni yanada xabardor qilish uchun yangi imkoniyatlarni
ochib beradi.
Sog'liqni saqlashda blockchain va Big Data tandemidan muvaffaqiyatli
foydalanish mumkin. Ma'lumki, bemorning sog'lig'i to'g'risida to'liq va to'liq
bo'lmagan ma'lumotlar ba'zida noto'g'ri tashxis qo'yish va noto'g'ri davolanish
xavfini oshiradi. Tibbiyot muassasalari mijozlarining sog'lig'i to'g'risida tanqidiy
ma'lumotlar iloji boricha xavfsiz bo'lishi kerak, o'zgarmas xususiyatlarga ega,
tekshirilishi kerak va hech qanday manipulyatsiya qilinmasligi kerak.
Blokchaindagi ma'lumotlar yuqoridagi barcha talablarga javob beradi va Big
Big yangi texnologiyalaridan foydalangan holda chuqur tahlil qilish uchun yuqori
sifatli va ishonchli manba sifatida xizmat qilishi mumkin. Bundan tashqari,

blockchain yordamida tibbiy muassasalar tibbiy ma'lumotlarga muhtoj bo'lgan
sug'urta kompaniyalari, adliya organlari, ish beruvchilar, ilmiy muassasalar va
boshqa tashkilotlar bilan ishonchli ma'lumotlar almashishlari mumkin.
Katta ma'lumotlar va axborot xavfsizligi
Keng ma'noda, axborot xavfsizligi bu tabiiy yoki sun'iy tabiatning tasodifiy
yoki qasddan salbiy ta'siridan axborot xavfsizligi va yordamchi infratuzilma.
Axborot xavfsizligi sohasida Big Data quyidagi muammolarga duch keladi:
- ma'lumotlarni himoya qilish va ularning yaxlitligini ta'minlash
muammolari;
- maxfiy ma'lumotlarni buzish va yashirinish xavfi;
- maxfiy ma'lumotlarni noto'g'ri saqlash;
- ma'lumotni yo'qotish xavfi, masalan, boshqa birovning zararli harakatlari
tufayli;
- shaxsiy ma'lumotlardan uchinchi shaxslar tomonidan noto'g'ri foydalanish
xavfi va boshqalar.
Blokchain echishga mo'ljallangan katta ma'lumotlarning asosiy
muammolaridan biri, axborot xavfsizligi sohasida. Uning barcha asosiy
tamoyillariga rioya qilinishini ta'minlash, taqsimlangan ro'yxatga olish
texnologiyasi ma'lumotlarning yaxlitligi va ishonchliligini kafolatlashi mumkin va
bitta nosozlik nuqtasi yo'qligi sababli blockchain axborot tizimlarini barqaror
qiladi. Tarqalgan ro'yxatga olish texnologiyasi ma'lumotlarga bo'lgan ishonch
muammosini hal qilishga yordam beradi, shuningdek, ularni umumiy ravishda
baham ko'rish imkoniyatini beradi.
Axborot muhim ahamiyatga ega, demak, axborot xavfsizligining asosiy
jihatlarini ta'minlash masalasi birinchi o'rinda turadi. Raqobatda omon qolish
uchun kompaniyalar vaqtni bosib o'tishlari kerak, ya'ni ularni blockchain

texnologiyasi va Big Data vositalari mavjud bo'lgan imkoniyatlar va afzalliklarga
e'tibor bermaslik kerak.
Faqat dangasa Big ma'lumotlar haqida gapirmaydi, lekin u nima ekanligini
va qanday ishlashini deyarli tushunmaydi. Eng sodda - terminologiyadan
boshlaylik. Rus tilida gapirsangiz, Katta ma'lumotlar bu har xil vositalar,
yondashuvlar va tarkibiy tuzilmalar va ishlov berilmagan ma'lumotlardan ularni
aniq vazifa va maqsadlarda foydalanish uchun ishlatishdir.
Tuzilmaydigan ma'lumotlar - bu oldindan belgilangan tuzilishga ega
bo'lmagan yoki ma'lum tartibda tashkil etilmagan ma'lumotlar.
"Katta ma'lumotlar" atamasi 2008 yilda Tabiat muharriri Clifford Lynch
tomonidan dunyo miqyosidagi ma'lumotlar hajmining keskin o'sishiga
bag'ishlangan maxsus sonida kiritilgan. Albatta, katta ma'lumotlarning o'zi oldin
ham mavjud edi. Mutaxassislarning fikriga ko'ra, kuniga 100 Gb dan ortiq
ma'lumotlar oqimining katta qismi Katta ma'lumotlar toifasiga kiradi.
McKinseyning katta ma'lumotlar va tahlil qilish usullari:
 Crowdsourcing;
 Aralashtirish va ma'lumotlarni birlashtirish;
 Mashinasozlik;
 Sun'iy neyron tarmoqlari;
 Naqshni aniqlash;
 Bashoratli tahlil
 Simulyatsion modellashtirish;
 Mekansal tahlil;
 Statistik tahlil;
 Analitik ma'lumotlarni vizualizatsiya qilish.
Ma'lumotni qayta ishlashga imkon beradigan gorizontal kengayish katta
ma'lumotlarni qayta ishlashning asosiy printsipidir. Ma'lumotlar hisoblash
tugunlariga taqsimlanadi va ishlov berish ishlashning yomonlashuvisiz amalga

oshiriladi. McKinsey shuningdek qo'llaniladigan kontekstda aloqalarni boshqarish
tizimlari va Business Intelligence-ni o'z ichiga oldi.

Mavzu: Katta ma’lumotlarni Big Data qo’llaniladigan sohalar. Reja: 1. Big Dataning asosiy atamalari 2. Big-Data texnologiyasi. Katta ma’lumotlarni tahlil qilish tizimlari. 3. Katta ma’lumotlar va biznes. Katta ma’lumotlarni tahlil qilish texnikasi. 4. Katta ma’lumotlar va ma’lumotlarni qayta ishlash. Katta ma’lumotlar mashinasi.

Big data ( katta ma'lumotlar ) - juda katta hajmdagi bir jinsli bo'lmagan va tez tushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlab bo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shu ma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti katta ma'lumotlar deb ataladi. Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnali muharriri Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishiga bag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlar avval ham bo'lgan. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumot tushadigan oqimlarga big data deb aytilar ekan. Katta ma'lumotlarni analiz qilish, inson his etish imkoniyatidan tashqarida bo'lgan qonuniylatlarni aniqlashda yordam beradi. Bu esa kundalik hayotimizdagi barcha sohalar, hukumatni boshqarish, tibbiyot, telekommunikatsiya, moliya, transport, ishlab chiqarish va boshqa sohalarni yanada yaxshilash, ularning imkoniyatlarini oshirish, muommolarga muqobil yechimlar izlab topish imkonini yaratadi. Data lake ( ma'lumotlar ko'li ) - qayta ishlanmagan katta ma'lumotlar ombori. "Ko'l" har xil manbalardan kelgan, har xil formatda bo'lgan ma'lumotlarni saqlaydi. Bu esa odatiy relatsion ma'lumotlar omborida ma'lumotlarni aniq struktura asosida saqlashdan ko'ra arzonroqqa tushadi. Ma'lumotlar ko'li, ma'lumotlarni boshlang'ich holatida analiz qilish imkonini beradi. Bundan tashqari, "ko'l"lardan bir vaqtni o'zida bir nechta ishchilar foydalanishlari mumkin. Data science ( ma'lumotlar haqidagi fan ) - analiz muommolarini , ma'lumotlarni qayta ishlash va ularni raqamli ko'rinishda taqdim etishni o'rganadigan fan. Bu atama dunyoga kelgan vaqt 1974-yil hisoblanadi. O'sha yili Daniyalik informatik, Peter Naur "A Basic Principle of Data Science" nomli kitobini chop ettirgan.

2010-yillar boshida katta ma'lumotlarni tarqalishi natijasida bu yo'nalish juda foydali va kelajagi bor biznesga aylandi. Va o'shandi katta ma'lumotlar bilan ishlaydigan mutaxassislarga talab juda oshib ketdi. Data science tushunchasiga ma'lumotlar omborini loyihalash va raqamlangan ma'lumotlarni qayta ishlashning barcha metodlari kiradi. Ko'plab mutaxassislar fikricha, aynan data science big dataning biznes nuqtai nazaridan hozirgi zamonoviy o'rindoshi hisoblanadi. Data mining ( ma'lumotlarni topish ) - biron qonuniyatni topish maqsadida ma'lumotlarni intellektual analiz qilishga aytiladi. Isroillik matematik Grigoriy Pyatetskiy-Shapiro 1989-yilda bu atamani fanga kiritgan. Texnologiyalar, avvalari noma'lum va foydali bo'lgan qayta ishlanmagan(hom) ma'lumotlarni topish jarayoniga data mining(ma'lumotlarni topish) deyiladi. Data mining metodlari ma'lumotlar ombori, statistika va sun'iy intellekt tutashgan nuqtada joylashadi. Machine learning ( mashinali o'qitish ) - o'zi o'rganadigan dasturlar yaratish amaliyoti va nazariyasi, sun'iy intellektning katta qismi. Dasturchilar o'z algoritmlariga xususiy hollarda umumiy qonuniyatlarni aniqlashni o'rgatishadi. Natijada, kompyuter, inson avvaldan ko'rsatib o'tgan buyruqlaridan emas, balki, o'z shaxsiy malakasidan kelib chiqib qaror qabul qiladi. Bunday o'qitishning juda ko'p metodlari data mining'ga oid bo'lishi mumkin. Mashinali o'qitishga birinchi tarifni 1959-yilda amerikalik informatik Artur Samuel bergan. U sun'iy intellekt elementlariga ega bo'lgan shashka o'yini, dunyoda birinchi o'zi o'rganadigan dasturni yaratgan. Deep learning ( chuqur o'qitish ) - yanada murakkab va yanada mustaqil bo'lgan o'zi o'qidigan dasturlar yaratadigan mashinali o'qitish turi. Oddiy mashinali o'qitish hollarida boshqariladigan malaka yordamida kompyuter bilimlarni aniqlab oladi: dasturchi algoritmga ma'lum misollarni ko'rsatadi, xatolarni qo'lda

to'g'rilaydi. Deep learningda esa, tizim o'zi o'z funksiyalarini loyihalaydi, ko'p darajali hisob-kitoblar amalga oshiradi va atrof-muhit haqida xulosalar qiladi. Odatda chuqur o'qitishni neyron tarmoqlarga tadbiq qilishadi. Bu texnologiya asosan rasmlarni qayta ishlashda, nutqni tanishda, neyromashina tarjima, farmatsevtikadagi hisoblashlarda va boshqa zamonaviy texnologiyalarda qo'llaniladi. Asosan Google, facebook va Baidu tomonidan loyihalarga tadbir qilinadi. Sun'iy neyron tarmog'i - oddiy protsessorlar(sun'iy neyronlar) birlashtirilgan tizimi bo'lib, insonning nerv tizimini imitatsiya qiladi. Bunday struktura evaziga, neyron tarmoqlari dasturlanmaydi, ular o'qitishadi. Huddi haqiqiy neyronlar kabi, protsessorlar signallarni oddiygina qabul qilishadi va boshqa protsessorlarga o'zatishadi. Shu bilan birga, boshqa butun tizim algoritmlar bajara olmaydigan murakkab topshiriqlarni bajaradi. 1943-yilda amerikalik olimlar Uorren Makkalok va Uolter Pittslar sun'iy neyron tarmog'i tushunchasini fanga kiritishgan. Business intelligence ( biznes-analitika ) - aniq strukturaga ega bo'lmagan juda katta hajmdagi ma'lumotlarni qayta ishlash natijasida muqobil biznes yechimlar izlashga aytiladi. Effektiv biznes-analitika ichki va tashqi ma'lumotlarni analiz qiladi - ham bozor axborotlarini, ham mijoz-kompaniyaning hisobotlarini hisobga oladi. Bu biznesni butunlay tushunishga yordam beradi, shu bilan birga, strategik va operatsion qarorlar qabul qilishga zamin yaratadi(mahsulot narxini aniqlashda, kompaniya rivojlanishining asosiy yo'nalishlarini belgilab olishda). Bu atama 1958-yilda IBM taqdiqotchisi Xans Piter Lun maqolasida birinchi bo'lib ko'rsatilgan. 1996-yilda axborot texnologiyalari bozorini o'rganishga asoslangan Gartner analitik agentligi business intelligence tarkibiga data mining metodikasini ham qo'shgan.

Katta ma'lumotlarga misollar Big Data texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish, dunyoning taniqli kompaniyalari dunyoning deyarli har bir burchagida o'z mijozlariga ega bo'lganlaridan foydalanishni boshlaganidan keyin boshlandi. Bu Facebook va Google, IBM. Kabi ijtimoiy gigantlar, shuningdek Master Card, VISA va Bank of America singari moliyaviy tuzilmalardir. Masalan, IBM davom etayotgan kassa operatsiyalariga katta ma'lumotlar usullarini qo'llaydi. Ularning yordami bilan 15 foizga ko'proq soxta bitimlar aniqlandi, bu esa himoyalangan mablag'lar miqdorini 60 foizga oshirish imkonini berdi. Shuningdek, tizimning noto'g'ri signallari bilan bog'liq muammolar hal qilindi - ularning soni yarmidan ko'piga kamaytirildi. VISA shu kabi yoki boshqa operatsiyani amalga oshirish uchun qilingan firibgarliklarni kuzatib, Big Data-dan foydalangan. Buning yordamida ular har yili 2 milliard dollardan ko'proq mablag'ni tejashga imkon beradi. Germaniya Mehnat vazirligi ishsizlik bo'yicha nafaqa berish bo'yicha katta ma'lumot tizimini joriy etish orqali xarajatlarni 10 milliard evroga kamaytirishga muvaffaq bo'ldi. Shu bilan birga, fuqarolarning beshdan biri bu imtiyozlarni hech qanday sababsiz olayotganligi aniqlandi. Big Data o'yin sanoatini qo'ldan boy bermadi. Shunday qilib, World of Tanks-ning ishlab chiquvchilari barcha o'yinchilar haqida ma'lumotni o'rganishdi va ularning faoliyatining mavjud ko'rsatkichlarini solishtirishdi. Bu kelajakda o'yinchilarning ketishini taxmin qilishda yordam berdi - qilingan taxminlarga asoslanib, tashkilot vakillari foydalanuvchilar bilan yanada samarali aloqada bo'lishdi. Taniqli yirik ma'lumotlar tashkilotlariga HSBC, Nasdaq, Coca-Cola, Starbucks va AT&T kiradi. Katta ma'lumotlarning eng katta muammosi - uni qayta ishlashning narxi. Bunga qimmatbaho uskunalar va katta miqdordagi ma'lumotlarga xizmat

O'xshashlar

Big data ular yordamida juda katta ma'lumotlar massividan insonlarga foydali tamonlari

Katta ma’lumotlar (Big data) va analitika, ma’lumotlar bazasini tashkil qilish mexanizmi

BIG DATA ULAR YORDAMIDA JUDA KATTA MA'LUMOTLAR MASSIVIDAN INSONLARGA FOYDALI TAMONLAR

Big Data atamasi va uning elementlari

Katta ma’lumotlarni ularni qayta ishlash