Katta ma’lumotlarni ularni qayta ishlash

Yuklangan vaqt:

08.08.2023

Ko'chirishlar soni:

0

Hajmi:

567.6953125 KB

Ko'chirib olish

Katta ma’lumotlarni ularni qayta ishlash
Reja:
1.Katta ma’lumotlar haqida
2. Big Data nima
3 . Katta ma'lumot texnologiyalari ma'lumotlarni birlashtirishga bo'lgan ehtiyoji

Biroq, " katta ma'lumotlar "faqat katta hajmdagi ma'lumotlarni tahlil
qilishni o'z ichiga olmaydi. Muammo tashkilotlarning katta hajmdagi ma'lumotni
yaratishda emas, balki ularning ko'p qismi veb -bloglar, videolar, matnli hujjatlar,
mashina kodlari kabi an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos
kelmaydigan formatda taqdim etilishida. , geografik ma'lumotlar. ... Bularning
barchasi turli xil omborlarda, ba'zida hatto tashkilot tashqarisida saqlanadi.
Natijada, korporatsiyalar o'z ma'lumotlarining katta miqdoriga ega bo'lishlari
mumkin va bo'lmasligi mumkin zarur vositalar bu ma'lumotlar o'rtasida
munosabatlar o'rnatish va ulardan mazmunli xulosalar chiqarish. Bunga
ma'lumotlarning tez -tez yangilanib borayotganini qo'shing va siz ma'lumotni tahlil
qilishning an'anaviy usullari katta hajmdagi doimiy yangilanib tura olmaydigan
vaziyatga duch kelasiz, natijada texnologiyaga yo'l ochiladi. katta ma'lumotlar .
Avstraliyaning Fujitsu kompaniyasi marketing bo'yicha bosh direktori va
texnologiya bo'yicha bosh direktori Kreyg Batei shuni ta'kidladiki, biznesni tahlil
qilish - bu ma'lum vaqt mobaynida biznes erishgan natijalarni tahlil qilishning
tezligi. katta ma'lumotlar tahlilni bashoratli qilish, kelajak uchun biznes
tavsiyalarini berishga imkon beradi. Katta ma'lumotlar, shuningdek, biznes -
razvedka vositalaridan ko'ra ko'proq ma'lumot turlarini tahlil qilish imkonini

beradi, bu sizga faqat tizimli saqlashdan ko'ra ko'proq e'tibor berishga imkon
beradi.
Metil Slocum "O" Reilly Radar ishonadi katta ma'lumotlar va biznes razvedkasi bir
maqsadga ega (savolga javob topish), ular bir -biridan uch jihatdan farq qiladi.
 Katta ma'lumotlar biznes ma'lumotlariga qaraganda ko'proq ma'lumotni boshqarish
uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos
keladi.
 Katta ma'lumotlar qabul qilinadigan va o'zgaruvchan ma'lumotlarni qayta ishlashga
mo'ljallangan, bu chuqur o'rganish va interaktivlikni anglatadi. Ba'zi hollarda
natijalar veb -sahifa yuklanishiga qaraganda tezroq hosil bo'ladi.
 Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlashga mo'ljallangan bo'lib,
biz ularni yig'ish va saqlash imkoniyatiga ega bo'lganimizdan keyingina
o'rganishni boshlaymiz va bizga algoritmlar va ushbu massivlar tarkibidagi
tendentsiyalarni qidirishni osonlashtirish uchun muloqot qilish qobiliyati kerak.
Oracle Axborot Arxitekturasi: Arxitektorning Katta Ma'lumotlar Qo'llanmasi
Oracle nashrida chop etilgan ma'lumotlarga ko'ra, biz katta ma'lumotlar bilan
ishlashda biznesni tahlil qilishdan ko'ra boshqacha yondashamiz.
Katta ma'lumotlar bilan ishlash odatiy biznes -razvedka jarayoniga o'xshamaydi,
bu erda ma'lum qiymatlarning qo'shilishi natija beradi: masalan, birgalikda
to'langan veksellarning umumiy miqdori yillik sotuvga aylanadi. Katta ma'lumotlar
bilan ishlashda natija ketma -ket modellashtirish orqali uni tozalash jarayonida
olinadi: birinchidan, gipoteza ilgari suriladi, statistik, vizual yoki semantik model
quriladi, uning asosida taklif qilingan gipotezaning to'g'riligi aniqlanadi.
tekshiriladi, keyin keyingisi oldinga suriladi. Bu jarayon tadqiqotchidan vizual
qiymatlarni talqin qilishni yoki bilimga asoslangan interaktiv so'rovlarni tuzishni
yoki kerakli natijaga erisha oladigan moslashuvchan mashinani o'rganish

algoritmlarini ishlab chiqishni talab qiladi. Bundan tashqari, bunday algoritmning
ishlash muddati juda qisqa bo'lishi mumkin .
Business intelligence ( biznes-analitika ) - aniq strukturaga ega bo'lmagan juda katta
hajmdagi ma'lumotlarni qayta ishlash natijasida muqobil biznes yechimlar izlashga
aytiladi.
Effektiv biznes-analitika ichki va tashqi ma'lumotlarni analiz qiladi - ham bozor
axborotlarini, ham mijoz-kompaniyaning hisobotlarini hisobga oladi. Bu biznesni
butunlay tushunishga yordam beradi, shu bilan birga, strategik va operatsion
qarorlar qabul qilishga zamin yaratadi(mahsulot narxini aniqlashda, kompaniya
rivojlanishining asosiy yo'nalishlarini belgilab olishda).
Bu atama 1958-yilda IBM taqdiqotchisi Xans Piter Lun maqolasida birinchi bo'lib
ko'rsatilgan. 1996-yilda axborot texnologiyalari bozorini o'rganishga asoslangan
Gartner analitik agentligi business intelligence tarkibiga data mining metodikasini
ham qo'shgan.
Katta ma'lumotlarga misollar
Big Data texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish,
dunyoning taniqli kompaniyalari dunyoning deyarli har bir burchagida o'z
mijozlariga ega bo'lganlaridan foydalanishni boshlaganidan keyin boshlandi.
Bu Facebook va Google, IBM. Kabi ijtimoiy gigantlar, shuningdek Master
Card, VISA va Bank of America singari moliyaviy tuzilmalardir.
Masalan, IBM davom etayotgan kassa operatsiyalariga katta ma'lumotlar
usullarini qo'llaydi. Ularning yordami bilan 15 foizga ko'proq soxta bitimlar
aniqlandi, bu esa himoyalangan mablag'lar miqdorini 60 foizga oshirish imkonini
berdi. Shuningdek, tizimning noto'g'ri signallari bilan bog'liq muammolar hal
qilindi - ularning soni yarmidan ko'piga kamaytirildi.

VISA shu kabi yoki boshqa operatsiyani amalga oshirish uchun qilingan
firibgarliklarni kuzatib, Big Data-dan foydalangan. Buning yordamida ular har yili
2 milliard dollardan ko'proq mablag'ni tejashga imkon beradi.
Germaniya Mehnat vazirligi ishsizlik bo'yicha nafaqa berish bo'yicha katta
ma'lumot tizimini joriy etish orqali xarajatlarni 10 milliard evroga kamaytirishga
muvaffaq bo'ldi. Shu bilan birga, fuqarolarning beshdan biri bu imtiyozlarni hech
qanday sababsiz olayotganligi aniqlandi.
Gartnerning kuzgi 2014 yilgi siyosati qisqacha ma'lumotida CIOlar orasida
Big Data haqidagi keng tarqalgan afsonalar keltirilgan va ularni rad etadi.
 Hamma katta ma'lumotlarni qayta ishlash tizimlarini bizdan tezroq amalga
oshiradi
Big Data texnologiyalariga qiziqish rekord darajada yuqori: bu yil Gartner
tahlilchilari tomonidan so'rov o'tkazilgan tashkilotlarning 73 foizi allaqachon
tegishli loyihalarga sarmoya kiritmoqdalar. Ammo bu tashabbuslarning aksariyati
hali boshlang'ich bosqichida va so'ralganlarning atigi 13 foizi bunday echimlarni
amalga oshirgan. Eng qiyin qismi - Big Data -dan qanday daromad olishni,
qaerdan boshlash kerakligini hal qilish. Ko'pgina tashkilotlar sinov bosqichida
qolib ketishadi, chunki ular yangi texnologiyalarni muayyan biznes jarayonlariga
bog'lay olmaydilar.
 Bizda shunchalik ko'p ma'lumotlar borki, undagi kichik xatolar haqida
xavotirlanishga hojat yo'q.
Ba'zi CIOlar ma'lumotlarning kichik bo'shliqlari katta hajmdagi tahlillarning
umumiy natijalariga ta'sir qilmaydi, deb hisoblaydilar. Ma'lumotlar ko'p bo'lganda,
har bir individual xato haqiqatan ham natijaga kamroq ta'sir qiladi, deydi
tahlilchilar, lekin xatolarning o'zi ko'payib ketadi. Bundan tashqari, tahlil qilingan
ma'lumotlarning aksariyati tashqi, tuzilishi yoki kelib chiqishi noma'lum, shuning

uchun xatolar ehtimoli oshadi. Shunday qilib, Big Data dunyosida sifat haqiqatdan
ham muhimroq.
 Katta ma'lumot texnologiyalari ma'lumotlarni birlashtirishga bo'lgan
ehtiyojni yo'q qiladi
Big Data o'qish paytida avtomatik sxema yaratish bilan ma'lumotlarni asl
formatida qayta ishlash qobiliyatini va'da qiladi. Bu bir xil ma'lumot manbalarini
bir nechta ma'lumotlar modellari yordamida tahlil qilishga imkon beradi deb
ishoniladi. Ko'pchilik, bu, shuningdek, oxirgi foydalanuvchilarga har qanday
ma'lumotlar to'plamini o'z xohishiga ko'ra talqin qilish imkonini beradi, deb
hisoblaydi. Aslida, ko'pchilik foydalanuvchilarga an'anaviy tarzda sxemaga
asoslangan yondashuv kerak bo'ladi, bu erda ma'lumotlar to'g'ri formatlanadi va
ma'lumotlarning yaxlitligi darajasi va ulardan foydalanish holati bilan qanday
bog'liqligi to'g'risida kelishuvlar mavjud.
 Ma'lumotlar omborini murakkab tahlil uchun ishlatishning ma'nosi yo'q
Ko'pgina axborotni boshqaruvchi tizim ma'murlari, murakkab tahliliy
tizimlar yangi turdagi ma'lumotlardan foydalangan holda, ma'lumotlar omborini
qurishda vaqt yo'qotishning ma'nosi yo'q deb hisoblaydilar. Aslida, ko'plab
murakkab tahlil tizimlari ma'lumotlar omboridan olingan ma'lumotlardan
foydalanadi. Boshqa hollarda, Big Data ishlash tizimlarida tahlil qilish uchun yangi
turdagi ma'lumotlarni qo'shimcha ravishda tayyorlash kerak; siz ma'lumotlarning
mosligi, yig'ilish tamoyillari va kerakli sifat darajasi to'g'risida qaror qabul
qilishingiz kerak - bunday tayyorgarlik ombor tashqarisida bo'lishi mumkin.
 Ma'lumotlar omborlari o'rnini ma'lumotlar ko'llari egallaydi
Aslida, sotuvchilar ma'lumotlar ko'llarini saqlash joyi yoki muhim tahliliy
infratuzilma sifatida joylashtirish orqali xaridorlarni yo'ldan ozdirmoqda.
Ma'lumotlar ko'lining asosiy texnologiyalari saqlashga xos bo'lgan funktsional
imkoniyatlarning kamolotiga va kengligiga ega emas. Shuning uchun,

ma'lumotlarni boshqarish bo'yicha rahbarlar, ko'llar bir xil rivojlanish darajasiga
yetguncha kutishlari kerak, deydi Gartner.
Accenture: katta ma'lumotlar tizimlarini joriy qilganlarning 92% natijadan
mamnun
Katta ma'lumotlarning asosiy afzalliklari orasida respondentlar quyidagilarni
nomlashdi:
 "Yangi daromad manbalarini qidirish" (56%),
 "Mijozlar tajribasini yaxshilash" (51%),
 "Yangi mahsulotlar va xizmatlar" (50%) va
 "Yangi mijozlar oqimi va eskilarining sodiqligini saqlab qolish" (47%).
Ko'pgina kompaniyalar yangi texnologiyalarni joriy etishda an'anaviy
qiyinchiliklarga duch kelishdi. 51% uchun qoqinish - xavfsizlik, 47% - byudjet,
41% - kerakli kadrlar etishmasligi, 35% - mavjud tizim bilan
integratsiyalashuvdagi qiyinchiliklar. So'rovda qatnashgan kompaniyalarning
deyarli barchasi (taxminan 91%) tez orada kadrlar etishmasligi muammosini hal
qilishni va katta ma'lumotli mutaxassislarni yollashni rejalashtirmoqda.
Big Data o'yin sanoatini qo'ldan boy bermadi. Shunday qilib, World of
Tanks-ning ishlab chiquvchilari barcha o'yinchilar haqida ma'lumotni o'rganishdi
va ularning faoliyatining mavjud ko'rsatkichlarini solishtirishdi. Bu kelajakda
o'yinchilarning ketishini taxmin qilishda yordam berdi - qilingan taxminlarga
asoslanib, tashkilot vakillari foydalanuvchilar bilan yanada samarali aloqada
bo'lishdi.
Taniqli yirik ma'lumotlar tashkilotlariga HSBC, Nasdaq, Coca-Cola,
Starbucks va AT&T kiradi.

Katta ma'lumotlarning eng katta muammosi - uni qayta ishlashning narxi.
Bunga qimmatbaho uskunalar va katta miqdordagi ma'lumotlarga xizmat
ko'rsatadigan malakali mutaxassislarning ish haqi xarajatlari ham kirishi mumkin.
Shubhasiz, uskunalar doimiy ravishda yangilanib turilishi kerak, shunda u
ma'lumotlarning ko'payishi bilan minimal ish qobiliyatini yo'qotmaydi.
Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan juda ko'p ma'lumotlar
bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni
beradigan bo'lsa, ob'ektiv bo'lib qolish va umumiy ma'lumot oqimidan faqat
hodisaning holatiga real ta'sir ko'rsatadigan narsalarni tanlash juda qiyin.
Katta ma'lumotlarning maxfiyligi muammosi. Ko'pgina mijozlarning
xizmatlari onlayn ma'lumotlardan foydalanishga o'tishlari sababli, kiber
jinoyatchilar uchun boshqa maqsadga aylanish juda oson. Hatto biron bir onlayn
tranzaksiya qilmasdan shaxsiy ma'lumotlarni oddiy saqlash ham bulutli saqlash
mijozlari uchun nomaqbul oqibatlarga olib kelishi mumkin.
Axborotni yo'qotish muammosi. Ehtiyot choralar oddiy bitta ma'lumotni
zaxiralash bilan cheklanmaydi, lekin kamida 2-3 ta zaxira nusxasini talab qiladi.
Biroq, hajmning o'sishi bilan, zaxira bilan bog'liq qiyinchiliklar kuchaymoqda - va
IT-mutaxassislari ushbu muammoning maqbul echimini topishga harakat
qilmoqdalar.
Big Data nima?
Aslida, atamaning ta'rifi yuzaga chiqadi: "katta ma'lumotlar" juda katta
hajmdagi ma'lumotlarni boshqarish va ularni tahlil qilishni anglatadi. Agar siz
kengroq qarasangiz, bu juda katta hajm tufayli klassik usullar bilan qayta
ishlanmaydigan ma'lumotlar.
Big Data atamasi o'zi nisbatan yaqinda paydo bo'lgan. Google Trends
ma'lumotlariga ko'ra, ushbu mashhurlikning faol o'sishi 2011 yil oxiriga to'g'ri
keladi:

2010 yilda katta ma'lumotlarni qayta ishlash bilan bevosita bog'liq bo'lgan
birinchi mahsulotlar va echimlar paydo bo'ldi. 2011 yilga kelib, eng yirik IT-
kompaniyalar, shu jumladan IBM, Oracle, Microsoft va Hewlett-Packard, o'z
biznes strategiyalarida Big Data atamasidan faol foydalanmoqdalar. Asta-sekin,
axborot texnologiyalari bozori tahlilchilari ushbu kontseptsiya bo'yicha faol
izlanishlarni boshlaydilar.
Hozirgi vaqtda ushbu atama katta shuhrat qozondi va turli sohalarda faol
qo'llanilmoqda. Ammo Katta Ma'lumotlar bu mutlaqo mutlaqo yangi hodisa, deb
aniq aytish mumkin emas, aksincha, katta ma'lumotlar manbalari ko'p yillar
davomida mavjud bo'lgan. Marketingda ularni mijozlar xaridlari, kredit tarixlari,
turmush tarzi va hokazolarning ma'lumotlar bazasi deb atash mumkin. Yillar
davomida tahlilchilar ushbu ma'lumotlardan kompaniyalarga mijozlarning
kelajakdagi ehtiyojlarini bashorat qilish, xatarlarni baholash, iste'molchilarning
xohish-istaklarini shakllantirish va h.k.
Hozirgi vaqtda vaziyat ikki jihatdan o'zgargan:
- turli xil ma'lumotlar to'plamlarini tahlil qilish va taqqoslash uchun yanada
murakkab vositalar va usullar paydo bo'ldi;
- Tahlil vositalari turli xil yangi ma'lumotlar manbalari bilan to'ldirildi, bu raqamli
texnologiyalarga keng o'tish bilan bog'liq, shuningdek ma'lumotlarni yig'ish va
o'lchashning yangi usullari.
Tadqiqotchilar Big Data texnologiyalaridan ishlab chiqarish, sog'liqni
saqlash, savdo, davlat boshqaruvi va boshqa turli sohalar va sohalarda eng faol
foydalanilishini taxmin qilishmoqda.
Big Data bu ma'lum bir ma'lumotlar to'plami emas, balki ularni qayta ishlash
usullari to'plami. Katta ma'lumotlar uchun aniqlovchi xususiyat nafaqat uning
hajmi, balki ma'lumotlarni qayta ishlash va tahlil qilishning og'ir jarayonlarini
tavsiflovchi boshqa toifalardir.

Big Data asosiy tamoyillari:
- Landshaft kengaytirilishi - ma'lumotlar massivlari juda katta bo'lishi
mumkin va bu katta ma'lumotlarni qayta ishlash tizimining dinamik ravishda
kengayib borishi kerakligini anglatadi.
- Xatolarga bardoshlik - uskunaning ba'zi elementlari ishdan chiqsa ham,
butun tizim ishlashi kerak.
- ma'lumotlarning joylashuvi. Katta taqsimlangan tizimlarda ma'lumotlar
odatda juda ko'p sonli mashinalarda tarqatiladi. Ammo, iloji boricha va resurslarni
tejash maqsadida ma'lumotlar ko'pincha o'sha serverda saqlanadi.
Uchala tamoyilning barqaror ishlashi va shunga mos ravishda katta
ma'lumotlarni saqlash va qayta ishlashning yuqori samaradorligi uchun, masalan,
blockchain kabi yangi katta texnologiyalar kerak.
Katta ma'lumotlar nima uchun?
Big Data doirasi doimiy ravishda kengayib bormoqda:
- Katta ma'lumotlardan tibbiyotda foydalanish mumkin. Shunday qilib,
bemorga tashxisni nafaqat tibbiy tarix ma'lumotlari asosida, balki boshqa
shifokorlar tajribasi, bemorning yashash joyining ekologik holati to'g'risidagi
ma'lumotlar va boshqa ko'plab omillarni hisobga olgan holda aniqlash mumkin.
- Katta ma'lumot texnologiyalaridan uchuvchisiz transport vositalarining
harakatini tashkil qilish uchun foydalanish mumkin.
- Katta hajmdagi ma'lumotlarni qayta ishlash paytida fotosuratlar va video
materiallardagi yuzlarni tanib olish mumkin.
- Big Data texnologiyalaridan chakana sotuvchilar foydalanishlari mumkin -
savdo kompaniyalari o'zlarining reklama kampaniyalarini samarali sozlash uchun

ijtimoiy tarmoqlardan ma'lumotlar qatoridan faol foydalanishlari mumkin, ular
ma'lum bir iste'molchilar segmentiga maksimal darajada yo'naltirilishi mumkin.
- Ushbu texnologiya saylovoldi tashviqotlarini tashkil etishda, shu jumladan
jamiyatdagi siyosiy imtiyozlarni tahlil qilishda faol qo'llaniladi.
- Big Data texnologiyalaridan foydalanish daromadlarni kafolatlash (RA)
klassi echimlari uchun juda muhimdir, ularda moliyaviy natijalarning pasayishiga
olib keladigan ehtimoliy yo'qotishlarni yoki buzilishlarni o'z vaqtida aniqlashga
imkon beradigan ma'lumotlarni chuqur tahlil qilish kiradi.
- Telekommunikatsion provayderlar katta ma'lumotlarni, shu jumladan
geolokatsiya to'g'risida ham ma'lumot to'plashlari mumkin; o'z navbatida, bu
ma'lumot reklama agentliklari uchun maqsadli va mahalliy reklama namoyish
qilishda foydalanishi mumkin bo'lgan tijorat qiziqishlari bo'lishi mumkin,
shuningdek, chakana sotuvchilar va banklar uchun.
- Katta ma'lumotlar ma'lum bir joyda odamlarning kuchli maqsadli
oqimining mavjudligiga asoslanib, savdo nuqtasini ochishda muhim rol o'ynashi
mumkin.
Shunday qilib, Big Data texnologiyalarini amaliy qo'llash marketing
sohasida yotadi. Internetning rivojlanishi va barcha turdagi aloqa vositalarining
tarqalishi tufayli xatti-harakatlar ma'lumotlari (masalan, qo'ng'iroqlar soni, xarid
qilish odatlari va xaridlar) real vaqtda mavjud bo'ladi.
Katta ma'lumot texnologiyalaridan moliya, sotsiologik tadqiqotlar va boshqa
ko'plab sohalarda samarali foydalanish mumkin. Mutaxassislarning ta'kidlashicha,
katta ma'lumotlardan foydalanishning barcha imkoniyatlari bu aysbergning
ko'rinadigan qismidir, chunki bu texnologiyalar katta hajmlarda razvedka va kontr-
razvedkada, harbiy ishlarda, shuningdek, axborot urushi deb ataladigan barcha
narsalarda qo'llaniladi.

Umuman olganda, Big Data bilan ishlashning ketma-ketligi ma'lumotlarni
to'plash, hisobotlar va boshqaruv paneli yordamida olingan ma'lumotlarni tuzish,
shuningdek harakatlar bo'yicha tavsiyalarni shakllantirishdan iborat.
Marketingda Big Data texnologiyalaridan foydalanish imkoniyatlarini
qisqacha ko'rib chiqing. Ma'lumki, marketolog uchun ma'lumot bashorat qilish va
strategiyani tuzishning asosiy vositasidir. Ma'lumotlarning katta tahlili uzoq
vaqtdan beri maqsadli auditoriya, qiziqish, talab va iste'molchilarning faolligini
aniqlash uchun muvaffaqiyatli ishlatilgan. Katta ma'lumotlarni tahlil qilish,
xususan, reklama (RTB kim oshdi savdosi modeli asosida - Real vaqt savdosi)
faqat mahsulot yoki xizmatga qiziqqan iste'molchilarga namoyish qilish imkonini
beradi.
Marketingda Big Data-dan foydalanish ishbilarmonlarga:
- iste'molchilar bilan tanishish, Internetda shunga o'xshash auditoriyani jalb
qilish yaxshiroqdir;
- mijozlarning qoniqishini baholash;
- taklif etilayotgan xizmat istiqbol va ehtiyojlarga javob berishini tushunish;
- mijozlar ishonchini oshiradigan yangi usullarni topish va amalga oshirish;
- talabga javob beradigan loyihalarni yaratish va boshqalar.
Masalan, Google.trends xizmati sotuvchiga ma'lum bir mahsulotga
mavsumiy talab faolligi, tebranishlar va chertish geografiyasini bashorat qilishi
mumkin. Agar siz ushbu ma'lumotni o'z saytingizdagi tegishli plagin tomonidan
to'plangan statistika bilan taqqoslasangiz, oylik, mintaqa va boshqa parametrlar
bilan reklama byudjetini taqsimlash rejasini tuzishingiz mumkin.
Kompaniyalar katta ma'lumotlar texnologiyalarining kelajagiga umid bilan
qarashadi. 89% biznesni internet kabi o'zgartiradi deb ishonishadi.
Respondentlarning 79 foizi katta ma'lumot bermaydigan kompaniyalar
raqobatbardoshligini yo'qotishini ta'kidladilar.

Biroq, respondentlar aynan nimani katta ma'lumot deb hisoblash kerakligi haqida
kelisha olishmadi. Respondentlarning 65% "katta ma'lumotlar fayllari", 60%
"ilg'or tahlil va tahlil", 50% "vizualizatsiya vositalaridan olingan ma'lumotlar" deb
hisoblashadi.
Madrid katta ma'lumotlarni boshqarishga 14,7 million evro sarflaydi
2014 yil iyul oyida Madrid shahar infratuzilmasini boshqarish uchun katta
ma'lumotlar texnologiyalaridan foydalanishi ma'lum bo'ldi. Loyiha qiymati - 14,7
million evro, amalga oshirilgan echimlar asosini katta ma'lumotlarni tahlil qilish va
boshqarish texnologiyalari tashkil etadi. Ularning yordami bilan shahar
ma'muriyati har bir xizmat ko'rsatuvchi provayder bilan ishni boshqaradi va
xizmatlar darajasiga qarab, shunga muvofiq to'laydi.
Gap ko'chalar, yorug'lik, sug'orish, ko'kalamzorlarning holatini kuzatadigan,
hududni tozalaydigan va olib tashlaydigan, shuningdek chiqindilarni qayta
ishlaydigan ma'muriyatning pudratchilari haqida bormoqda. Loyiha davomida
maxsus ajratilgan inspektorlar uchun shahar xizmatlarining 300 ta asosiy
ko'rsatkichlari ishlab chiqilgan bo'lib, ular asosida har kuni 1,5 ming xil tekshiruv
va o'lchovlar o'tkaziladi. Bundan tashqari, shahar Madrid iNTeligente (MiNT) -
Smarter Madrid nomli innovatsion texnologik platformadan foydalana boshlaydi.
2013
Mutaxassislar: Big Data Peak Fashion
Istisnosiz, ma'lumotlarni boshqarish bozorining barcha sotuvchilari hozirda
Big Data boshqaruv texnologiyasini ishlab chiqmoqdalar. Bu yangi texnologik
tendentsiya ham professional hamjamiyat tomonidan, ham ishlab chiqaruvchilar,
ham sanoat tahlilchilari va bunday echimlarning potentsial iste'molchilari
tomonidan faol muhokama qilinmoqda.
Datashift bilganidek, 2013 yil yanvar holatiga ko'ra "atrofida munozara
to'lqini bo'lgan. katta ma'lumotlar "U barcha mumkin bo'lgan o'lchamlardan oshib

ketdi. Ijtimoiy tarmoqlarda Big Data haqida eslatmalar sonini tahlil qilib bo'lgach,
Datashift 2012 yilda butun dunyo bo'ylab 1 millionga yaqin turli xil mualliflar
yaratgan postlarda bu atama taxminan 2 milliard marta ishlatilganligini hisoblab
chiqdi. Bu soatiga 260 ta xabarga teng, eng yuqori cho'qqisi soatiga 3070 ta.
Gartner: Har ikkinchi CIO katta ma'lumotlarga pul sarflashga tayyor
Gartnerning taxmin qilishicha, Big Data texnologiyalari bo'yicha bir necha
yillik tajribalar va 2013 yildagi birinchi amaliyotlardan so'ng, bunday echimlarning
moslashuvi sezilarli darajada oshadi. Tadqiqotchilar butun dunyo bo'ylab IT -
etakchilarini so'rov qilishdi va respondentlarning 42 foizi Big data texnologiyasiga
sarmoya kiritganligini yoki keyingi yil ichida bunday investitsiyalarni kiritishni
rejalashtirganini aniqladilar (ma'lumotlar 2013 yil mart holatiga).
Kompaniyalar qayta ishlash texnologiyalariga pul sarflashga majbur katta
ma'lumotlar chunki axborot landshafti tez o'zgarib bormoqda, men axborotni
qayta ishlashga yangi yondashuvlarni talab qilaman. Ko'pgina kompaniyalar katta
ma'lumotlar muhimligini allaqachon anglab etishgan va ular bilan ishlash an'anaviy
ma'lumot manbalari va uni qayta ishlash usullari yordamida mavjud bo'lmagan
afzalliklarga erishishga imkon beradi. Bundan tashqari, ommaviy axborot
vositalarida "katta ma'lumotlar" mavzusining doimiy ravishda bo'rttirib ko'rsatilishi
tegishli texnologiyalarga qiziqishni kuchaytirmoqda.
Gartner vitse -prezidenti Frank Buytendijk hatto kompaniyalarni shijoatli bo'lishga
chaqirdi, chunki ba'zilar Big Data olishda raqobatchilardan ortda qolishidan
xavotirda.
"Xavotirlanishga hojat yo'q, katta ma'lumotlar texnologiyalariga asoslangan
g'oyalarni amalga oshirish imkoniyatlari deyarli cheksizdir", dedi u.
Gartnerning taxmin qilishicha, 2015 yilga kelib Global 1000 kompaniyalarining
20% i "axborot infratuzilmasi" ga strategik e'tibor qaratadi.

Katta ma'lumotni qayta ishlash texnologiyalari yangi imkoniyatlarni kutar ekan,
ko'plab tashkilotlar har xil ma'lumotlarni to'plash va saqlash jarayonini allaqachon
tashkil qilishmoqda.
Ta'lim va davlat tashkilotlari, shuningdek, sohadagi kompaniyalar uchun biznesni
o'zgartirishning eng katta salohiyati to'plangan ma'lumotlarning qorong'i
ma'lumotlar ("qora ma'lumotlar") bilan birlashuvida, ikkinchisiga elektron pochta,
multimediya va boshqalar kiradi. o'xshash tarkib. Gartnerning so'zlariga ko'ra,
ma'lumotlar poygasida g'olib bo'ladigan turli xil axborot manbalarini boshqarishni
o'rganganlar bo'ladi.
Cisco Survey: Katta ma'lumotlar IT byudjetini ko'paytirishga yordam beradi
2013 yil bahorida o'tkazilgan so'rovda InsightExpress mustaqil tahlil firmasi
tomonidan 18 mamlakatda o'tkazilgan Cisco Connected World Technology Report
hisobotida 1800 ta kollej talabalari va shunga o'xshash 18 dan 30 yoshgacha
bo'lgan yosh mutaxassislar so'rov o'tkazildi. So'rov IT bo'limlarining loyihalarni
amalga oshirishga tayyorlik darajasini aniqlash maqsadida o'tkazildi Katta
ma'lumotlar va ular bilan bog'liq muammolar, texnologik kamchiliklar va bunday
loyihalarning strategik ahamiyati to'g'risida tushuncha olish.
Aksariyat kompaniyalar ma'lumotlarni to'playdi, yozadi va tahlil qiladi. Shunga
qaramay, hisobotda aytilishicha, ko'plab kompaniyalar Big Data bilan bog'liq
biznes va axborot texnologiyalari bilan bog'liq bir qator qiyinchiliklarga duch
kelishadi. Masalan, so'ralganlarning 60 foizi Big Data yechimlari qarorlar qabul
qilish jarayonlarini yaxshilashi va raqobatbardoshligini oshirishi mumkinligini tan
olishadi, lekin faqat 28 foizi to'plangan ma'lumotlardan haqiqiy strategik foyda
olishlarini aytishgan.
So'ralgan IT -rahbarlarining yarmidan ko'pi Big Data loyihalari o'z
tashkilotlarida IT -byudjetini ko'paytirishga yordam beradi, deb hisoblaydilar,
chunki texnologiya, kadrlar va kasbiy mahoratga talablar oshadi. Shu bilan birga,
respondentlarning yarmidan ko'pi bunday loyihalar o'z kompaniyalarining IT -

byudjetini 2012 yilning boshidayoq ko'paytiradi deb umid qiladilar. 57 foizi Big
Data kelgusi uch yil mobaynida byudjetini ko'payishiga ishonadi.
Respondentlarning 81 foizi Big Data -ning barcha (yoki hech bo'lmaganda
ba'zi) loyihalari bulutli hisoblashni talab qilishini aytishdi. Shunday qilib, bulutli
texnologiyalarning tarqalishi Big Data echimlarini tarqatish tezligiga va biznes
uchun ushbu echimlarning qiymatiga ta'sir qilishi mumkin.
Kompaniyalar tuzilgan va tuzilmagan har xil turdagi ma'lumotlarni to'playdi
va ishlatadi. Bu erda so'rov ishtirokchilari o'z ma'lumotlarini oladigan manbalar
(Cisco Connected World Technology Report):

CIOlarning deyarli yarmi (48 foizi) kelgusi ikki yil ichida ularning tarmoqlariga
yuk ikki baravar ko'payishini taxmin qilmoqda. (Bu, ayniqsa, Xitoyda to'g'ri
keladi, u erda so'ralganlarning 68 foizi, Germaniyada esa 60 foiz).
Respondentlarning 23 foizi kelgusi ikki yil ichida tarmoq yuki uch barobar

ko'payishini kutmoqda. Shu bilan birga, respondentlarning atigi 40 foizi tarmoq
trafigi hajmining keskin o'sishiga tayyorligini bildirgan.
So'rovda qatnashganlarning 27 foizi IT -siyosati va axborot xavfsizligi choralarini
yaxshilash kerakligini tan olishdi.
21 foizga ko'proq tarmoqli kengligi kerak.
Big Data IT -bo'limlari uchun daromadlarni ko'paytirish va kompaniyaning
moliyaviy holatini mustahkamlash imkonini beradigan bo'linmalar bilan
mustahkam aloqa o'rnatish uchun yangi imkoniyatlar ochadi. Big Data loyihalari
IT bo'limlarini biznes bo'linmalarining strategik sherigiga aylantiradi.
Respondentlarning 73 foiziga ko'ra, aynan IT bo'limi Big Data strategiyasining
asosiy harakatlantiruvchi kuchiga aylanadi. Shu bilan birga, respondentlar bu
strategiyani amalga oshirishda boshqa bo'limlar ham ishtirok etishiga ishonishadi.
Bu, birinchi navbatda, moliya (respondentlarning 24 foizi tomonidan nomlangan),
tadqiqot va ishlab chiqish (20 foiz), operatsiyalar (20 foiz), muhandislik (19 foiz),
shuningdek marketing (15 foiz) va sotish (14 foiz).
Gartner: Katta ma'lumotlarni boshqarish uchun millionlab yangi ish o'rinlari
kerak
Jahon IT -xarajatlari 2013 yilga kelib 3,7 milliard dollarga etadi, bu 2012 yildagi
axborot texnologiyalari xarajatlaridan 3,8 foizga ko'p (yil oxiri prognozi 3,6
milliard dollar). Segment katta ma'lumotlar (katta ma'lumotlar) ancha tez sur'atlar
bilan o'sadi, deyiladi Gartner hisobotida.
2015 yilga kelib, katta ma'lumotlarga xizmat ko'rsatish uchun axborot
texnologiyalari sohasida 4,4 million ish o'rni yaratiladi, shundan 1,9 million ish
o'rinlari bo'ladi. Bundan tashqari, har bir bunday ish IT -sektoridan tashqari uchta
qo'shimcha ish o'rinlarini yaratishga olib keladi, shuning uchun faqat AQShda
keyingi to'rt yilda 6 million kishi axborot iqtisodiyotini qo'llab -quvvatlash uchun
ishlaydi.

Gartner ekspertlarining fikricha, asosiy muammo shundaki, buning uchun sohada
yetarli iqtidor yo'q: xususiy ham, davlat ta'lim tizimlari ham, masalan, AQShda
ham sanoatni yetarli darajada malakali kadrlar bilan ta'minlay olmaydilar.
xodimlar. Shunday qilib, IT sohasida aytilgan yangi ish o'rinlaridan faqat
uchtasidan bittasi kadrlar bilan ta'minlanadi.
Tahlilchilarning fikricha, malakali IT -kadrlarni etishtirish rolini to'g'ridan -to'g'ri
ularga muhtoj bo'lgan kompaniyalar olishlari kerak, chunki bunday xodimlar ular
uchun kelajakdagi yangi axborot iqtisodiyoti eshigiga aylanadi.

Katta ma’lumotlarni ularni qayta ishlash Reja: 1.Katta ma’lumotlar haqida 2. Big Data nima 3 . Katta ma'lumot texnologiyalari ma'lumotlarni birlashtirishga bo'lgan ehtiyoji

Biroq, " katta ma'lumotlar "faqat katta hajmdagi ma'lumotlarni tahlil qilishni o'z ichiga olmaydi. Muammo tashkilotlarning katta hajmdagi ma'lumotni yaratishda emas, balki ularning ko'p qismi veb -bloglar, videolar, matnli hujjatlar, mashina kodlari kabi an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etilishida. , geografik ma'lumotlar. ... Bularning barchasi turli xil omborlarda, ba'zida hatto tashkilot tashqarisida saqlanadi. Natijada, korporatsiyalar o'z ma'lumotlarining katta miqdoriga ega bo'lishlari mumkin va bo'lmasligi mumkin zarur vositalar bu ma'lumotlar o'rtasida munosabatlar o'rnatish va ulardan mazmunli xulosalar chiqarish. Bunga ma'lumotlarning tez -tez yangilanib borayotganini qo'shing va siz ma'lumotni tahlil qilishning an'anaviy usullari katta hajmdagi doimiy yangilanib tura olmaydigan vaziyatga duch kelasiz, natijada texnologiyaga yo'l ochiladi. katta ma'lumotlar . Avstraliyaning Fujitsu kompaniyasi marketing bo'yicha bosh direktori va texnologiya bo'yicha bosh direktori Kreyg Batei shuni ta'kidladiki, biznesni tahlil qilish - bu ma'lum vaqt mobaynida biznes erishgan natijalarni tahlil qilishning tezligi. katta ma'lumotlar tahlilni bashoratli qilish, kelajak uchun biznes tavsiyalarini berishga imkon beradi. Katta ma'lumotlar, shuningdek, biznes - razvedka vositalaridan ko'ra ko'proq ma'lumot turlarini tahlil qilish imkonini

beradi, bu sizga faqat tizimli saqlashdan ko'ra ko'proq e'tibor berishga imkon beradi. Metil Slocum "O" Reilly Radar ishonadi katta ma'lumotlar va biznes razvedkasi bir maqsadga ega (savolga javob topish), ular bir -biridan uch jihatdan farq qiladi.  Katta ma'lumotlar biznes ma'lumotlariga qaraganda ko'proq ma'lumotni boshqarish uchun mo'ljallangan va bu, albatta, katta ma'lumotlarning an'anaviy ta'rifiga mos keladi.  Katta ma'lumotlar qabul qilinadigan va o'zgaruvchan ma'lumotlarni qayta ishlashga mo'ljallangan, bu chuqur o'rganish va interaktivlikni anglatadi. Ba'zi hollarda natijalar veb -sahifa yuklanishiga qaraganda tezroq hosil bo'ladi.  Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlashga mo'ljallangan bo'lib, biz ularni yig'ish va saqlash imkoniyatiga ega bo'lganimizdan keyingina o'rganishni boshlaymiz va bizga algoritmlar va ushbu massivlar tarkibidagi tendentsiyalarni qidirishni osonlashtirish uchun muloqot qilish qobiliyati kerak. Oracle Axborot Arxitekturasi: Arxitektorning Katta Ma'lumotlar Qo'llanmasi Oracle nashrida chop etilgan ma'lumotlarga ko'ra, biz katta ma'lumotlar bilan ishlashda biznesni tahlil qilishdan ko'ra boshqacha yondashamiz. Katta ma'lumotlar bilan ishlash odatiy biznes -razvedka jarayoniga o'xshamaydi, bu erda ma'lum qiymatlarning qo'shilishi natija beradi: masalan, birgalikda to'langan veksellarning umumiy miqdori yillik sotuvga aylanadi. Katta ma'lumotlar bilan ishlashda natija ketma -ket modellashtirish orqali uni tozalash jarayonida olinadi: birinchidan, gipoteza ilgari suriladi, statistik, vizual yoki semantik model quriladi, uning asosida taklif qilingan gipotezaning to'g'riligi aniqlanadi. tekshiriladi, keyin keyingisi oldinga suriladi. Bu jarayon tadqiqotchidan vizual qiymatlarni talqin qilishni yoki bilimga asoslangan interaktiv so'rovlarni tuzishni yoki kerakli natijaga erisha oladigan moslashuvchan mashinani o'rganish

algoritmlarini ishlab chiqishni talab qiladi. Bundan tashqari, bunday algoritmning ishlash muddati juda qisqa bo'lishi mumkin . Business intelligence ( biznes-analitika ) - aniq strukturaga ega bo'lmagan juda katta hajmdagi ma'lumotlarni qayta ishlash natijasida muqobil biznes yechimlar izlashga aytiladi. Effektiv biznes-analitika ichki va tashqi ma'lumotlarni analiz qiladi - ham bozor axborotlarini, ham mijoz-kompaniyaning hisobotlarini hisobga oladi. Bu biznesni butunlay tushunishga yordam beradi, shu bilan birga, strategik va operatsion qarorlar qabul qilishga zamin yaratadi(mahsulot narxini aniqlashda, kompaniya rivojlanishining asosiy yo'nalishlarini belgilab olishda). Bu atama 1958-yilda IBM taqdiqotchisi Xans Piter Lun maqolasida birinchi bo'lib ko'rsatilgan. 1996-yilda axborot texnologiyalari bozorini o'rganishga asoslangan Gartner analitik agentligi business intelligence tarkibiga data mining metodikasini ham qo'shgan. Katta ma'lumotlarga misollar Big Data texnologiyalarini bozorga va zamonaviy hayotga faol joriy etish, dunyoning taniqli kompaniyalari dunyoning deyarli har bir burchagida o'z mijozlariga ega bo'lganlaridan foydalanishni boshlaganidan keyin boshlandi. Bu Facebook va Google, IBM. Kabi ijtimoiy gigantlar, shuningdek Master Card, VISA va Bank of America singari moliyaviy tuzilmalardir. Masalan, IBM davom etayotgan kassa operatsiyalariga katta ma'lumotlar usullarini qo'llaydi. Ularning yordami bilan 15 foizga ko'proq soxta bitimlar aniqlandi, bu esa himoyalangan mablag'lar miqdorini 60 foizga oshirish imkonini berdi. Shuningdek, tizimning noto'g'ri signallari bilan bog'liq muammolar hal qilindi - ularning soni yarmidan ko'piga kamaytirildi.

VISA shu kabi yoki boshqa operatsiyani amalga oshirish uchun qilingan firibgarliklarni kuzatib, Big Data-dan foydalangan. Buning yordamida ular har yili 2 milliard dollardan ko'proq mablag'ni tejashga imkon beradi. Germaniya Mehnat vazirligi ishsizlik bo'yicha nafaqa berish bo'yicha katta ma'lumot tizimini joriy etish orqali xarajatlarni 10 milliard evroga kamaytirishga muvaffaq bo'ldi. Shu bilan birga, fuqarolarning beshdan biri bu imtiyozlarni hech qanday sababsiz olayotganligi aniqlandi. Gartnerning kuzgi 2014 yilgi siyosati qisqacha ma'lumotida CIOlar orasida Big Data haqidagi keng tarqalgan afsonalar keltirilgan va ularni rad etadi.  Hamma katta ma'lumotlarni qayta ishlash tizimlarini bizdan tezroq amalga oshiradi Big Data texnologiyalariga qiziqish rekord darajada yuqori: bu yil Gartner tahlilchilari tomonidan so'rov o'tkazilgan tashkilotlarning 73 foizi allaqachon tegishli loyihalarga sarmoya kiritmoqdalar. Ammo bu tashabbuslarning aksariyati hali boshlang'ich bosqichida va so'ralganlarning atigi 13 foizi bunday echimlarni amalga oshirgan. Eng qiyin qismi - Big Data -dan qanday daromad olishni, qaerdan boshlash kerakligini hal qilish. Ko'pgina tashkilotlar sinov bosqichida qolib ketishadi, chunki ular yangi texnologiyalarni muayyan biznes jarayonlariga bog'lay olmaydilar.  Bizda shunchalik ko'p ma'lumotlar borki, undagi kichik xatolar haqida xavotirlanishga hojat yo'q. Ba'zi CIOlar ma'lumotlarning kichik bo'shliqlari katta hajmdagi tahlillarning umumiy natijalariga ta'sir qilmaydi, deb hisoblaydilar. Ma'lumotlar ko'p bo'lganda, har bir individual xato haqiqatan ham natijaga kamroq ta'sir qiladi, deydi tahlilchilar, lekin xatolarning o'zi ko'payib ketadi. Bundan tashqari, tahlil qilingan ma'lumotlarning aksariyati tashqi, tuzilishi yoki kelib chiqishi noma'lum, shuning

O'xshashlar

METEOROLOGIK MA’LUMOTLARNI TO‘PLASH, QAYTA ISHLASH VA SAQLASHNING ZAMONAVIY TIZIMI

Katta ma’lumotlarni Big Data qo’llaniladigan sohalar.

PYTHON DASTURLASH TILI TARKIBIDA GRAFIKLAR CHIZISH VA ULARNI QAYTA ISHLASH

Axborotlarni qayta ishlash texnologiyalari

KOMPYUTERDA MATNLARNI QAYTA ISHLASH TIZIMLARI