logo

Hozir dunyoda katta ma'lumotlarni qayta ishlash texnologiyalar

Yuklangan vaqt:

12.08.2023

Ko'chirishlar soni:

0

Hajmi:

427.7265625 KB
O’ZBEKISTON RESPUBLIKASI	 	
OLIY VA O’RTA	-MAXSUS TA’LIM 	
VAZIRLIGI	 	
SAMARQAND DAVLAT UNIVERSITETI	 	
RAQAMLI TEXNOLOGIYALAR 	
FAKULTETI	 	
AXBOROT TIZIMLARINI MATEMATIK VA	 	
DASTURIY TA’MINOTI YO’NALISHI	 	
310	-guruh talabasi	 Tohirov Muhriddinning	 	
BIG DATA FANIDAN 	 	
MUSTAQI	L ISHI	                                                 	                	 	
 
 
                                               	SAMARQAND	-2022	  Mavzu : Hozir dunyoda katta ma'lumotlarni qayta ishlash 	
texnologiyalari	 	
Reja:	 	
Kirish…………………………………………………………………………….......	 	
1.	 Kattta malumotlar haqida tushuncha.......………………………………………...	 	
2.	 Katta ma'lumotlarni tahlil qilish usullari…………………………………………	 	
3.	 Katta ma'lumotlarni tahlil qilish texnologiyalari……………………………...	....	 	
Xulosa………………………………………………………………………….....	....	 	
Foydalanilgan adabiyotla	r………………………………………………………...	...	 	
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  Kirish	 	
 	Zamonaviy  tadqiqot  markazlari,  moliya  institutlari,  ijtimoiy  tarmoqlar 	
tomonidan  ishlab  chiqarilgan  va  to'plangan  ma'lumotlar  miqdori  allaqachon 
petabaytlarda  o'lchanadi	 .  Shunday  qilib,  15  millia	rddan  ortiq  rasm  allaqachon 	
Facebook  ma'lumotlar  markazlarida  saqlanadi,  Nyu	-York  fond  birjasi  NYSE  har 	
kuni  taxminan  1  Tb  ma'lumot  yaratadi  va  takrorlaydi,  Katta  adron  kollayderi 
soniyada taxminan 1 Pb ma'lumot oladi.	 	
 	Shunday  qilib,  zamonaviy  dunyoda  kat	ta  ma'lumotlar  yoki  Big  Data 	
muammosi paydo bo'ldi.	 IT va biznes sohasidagi jahon yetakchilari doimiy ravishda 	
keladigan  katta  hajmdagi  axborotni  boshqarish  va  tahlil  qilish  uchun  eng  yaxshi 
yechimni  qidirmoqda.	 Ular  o'z  ixtiyoridagi  ma'lumotlardan  foydala	nish  yo'llarini 	
qidirmoqdalar.	 	
 	Katta  ma'lumotlar  mavzusi  amaliy  va  nazariy  nuqtai  nazardan 	
qiziqarli.	 Texnologiyalarning  o'zi  uzluksiz  rivojlanish  holatida  bo'lib,  bu  ularni 	
amalga  oshirish  va  takomillashtirish  jarayonini  real  vaqt  rejimida  kuzatish, 
shun	ingdek,  katta  ma'lumotlar  massivlarini  qayta  ishlash  uchun  yangi 	
texnologiyalarni yaratishda bevosita ishtirok etish imkonini beradi.	 	
Shuni  ham  qayd  etishni  istardimki,  Big  Data  sohasidagi  bilim  va  ko‘nikmalarni 
kengaytirish  biznes  informatika  yo‘nalishida	 tahsil  olayotgan  talabalar  uchun 	
ayniqsa dolzarbdir.	 	
 
 
 
 
 
 
 
 
 
  Kattta malumotlar haqida tushuncha	 	
 	Katta ma'lumotlarning o'ziga xos xususiyatlarini tavsiflab, ular eslatib o'tgan 	
birinchi narsa 3V: "hajm, xilma	-xillik va tezlik" yoki hajm, xilma	-xillik va	 tezlik.	 	
Hajmi  nafaqat  saqlangan  ma'lumotlarning  katta  miqdorini,  balki  uning  qo'shilishi, 
o'sishi, vaqt o'tishi bilan o'zgarishini ham nazarda tutadi.	 	
 	Axborot  turlari  va  manbalarining  xilma	-xilligi  ularni  bitta  ma'lumotlar 	
to'plamiga  birlashtirishda  doim	o  katta  muammo  bo'lib  kelgan.	 Bugungi  kunda  bu 	
xilma	-xillik tobora ortib bormoqda.	 	
 	Tezlik  axborotni  yaratishda  ham,  uni  qayta  ishlashda  ham 	
baholanadi.Relyatsion  ma'lumotlar  bazalari  ma'lumotlar  massivlari  bilan 
ishlashning  an'anaviy  usuli  hisoblanadi.	 Bi	roq,  yuzlab  terabaytli  relyatsion 	
ma'lumotlar  bazasi  bilan  ishlash  hali  Big  Data  emas,  balki,  masalan,  "oddiy" 
yuklangan ma'lumotlar bazasi.	 Bu holda farq ma'lumotlar bazasi arxitekturasida va 	
DBMS va saqlangan ma'lumotlar o'rtasidagi o'zaro ta'sir mantig'	ida yotadi.	 	
 	Relyatsion  ma'lumotlar  bazalarida  ma'lumotlar  dispersiv  ravishda 	
taqsimlanadi, ya'ni.	 dastlab o'rnatilgan aniq tuzilma mavjud bo'lib, uning allaqachon 	
ishlaydigan  ma'lumotlar  bazasida  o'zgarishi  ko'plab  muammolar  bilan 
bog'liq.	 Shunday  qilib, 	arxitekturasi  tufayli  relyatsion  ma'lumotlar  bazalari  bir  xil 	
turdagi  oqimga  amal  qiladigan  qisqa,  tezkor  so'rovlar  uchun  eng  mos 
keladi.	 Murakkab  so'rovlar  ma'lumotlar  bazasi  strukturasini  qayta  qurishni  yoki 	
tezlikni  oshirish  uchun  hisoblash  quvvatini  os	hirishni  talab  qiladi.	 Bu  an'anaviy 	
ma'lumotlar  bazalari  bilan  bog'liq  yana  bir  muammoga,  ya'ni  ularning 
kengaytirilishining murakkabligiga ishora qiladi.	 	
 	Shunday qilib, murakkab moslashuvchan so'rovlar bilan ishlash uchun sizga 	
tuzilmagan  ma'lumotlarni  s	aqlash  va  qayta  ishlash  imkonini  beradigan, 	
kengaytiriladigan va taqsimlangan hisoblashlardan foydalanishga imkon beradigan 
muhit  kerak,  bu  erda  ma'lumotlarni  qayta  ishlash  uchun  bitta  yuqori  unumdorlikli 
mashina  emas,  balki  butun  guruh  ishlatiladi.  klaste	rga  birlashtirilgan  bunday 	
mashinalar.	 Ko'pgina katta ma'lumotlar loyihalari juda qorong'i bo'lsa	-da, odamlar,  kompaniyalar  va  hukumatlarning  kundalik  hayotiga  ta'sir  ko'rsatadigan  katta 
ma'lumotlarning muvaffaqiyatli namunalari mavjud:	 	
 	Virus  epidemiyalar	ini  bashorat  qilish:	 ijtimoiy	-siyosiy  ma'lumotlar,  ob	-havo 	
va  iqlim  ma'lumotlari  va  shifoxona  ma'lumotlarini  o'rganish  orqali  bu  olimlar  4 
haftalik oldindan ogohlantiruvchi dag'al isitma epidemiyasini taxmin qilmoqdalar.	 	
 	Homicide  Watch:	 bu  katta  ma'lumot 	loyihasi  profsoyuz  Vashingtondagi 	
qotillik  qurbonlari,  gumondorlari  va  jinoyatchilar  profilini  tashkil  qiladi.  Ham, 
marhumni  hurmat  qilish  va  odamlar  uchun  xabardorlik  manbai  sifatida,  bu  katta 
ma'lumot loyihasi ajoyibdir.	 	
 	Tranzitni  Sayohat  Rejalashtirish	,  NYC:	 WNYC  radio  dasturchisi  Stiv 	
Melendez  onlayn  metro  rejasini  sayohat  sayohati  dasturi  bilan  birlashtirdi.  Uning 
yaratilishi  Nyu	-Yorkchilar  xaritada  o'z  manzillarini  bosish  imkonini  beradi  va 	
poezdlar va metro uchun sayohat vaqtini taxmin qilish mumkin	. 	
 	Xerox  ish  kuchini  yo'qotdi:	 chaqiriq  markazi  ishi  hissiy  jihatdan  toliqdi. 	
Xerox professional tahlilchilar yordamida ma'lumotlarni to'plamini o'rganib chiqdi 
va  hozirda  ular  qaysi  chaqiriq  markazi  ishlayotganini  kompaniyaga  eng  uzoq 
muddat qolishi mumki	nligini taxmin qilishlari mumkin.	 	
 	Terrorizmga qarshi kurashni qo'llab	-quvvatlash:	 Ijtimoiy axborot vositalarini, 	
moliyaviy  hisobotlarni,  parvozlar  buyurtmalarini  va  xavfsizlik  ma'lumotlarini 
o'rganish orqali huquqni muhofaza qilish organlari terroristik g	umondorlarni yovuz 	
ishlarini qilmasdan oldindan aniqlashi va topishi mumkin.	 	
 	Tovarlarni  marketingni  ijtimoiy  media  sharhlar  asosida	 tuzish	 : odamlar 	
ochiq	-oydin  va  tezda  pub,  restoran  yoki  fitness  klubida  onlayn  fikrlarini  baham 	
ko'rishadi. Ushbu millionl	ab ijtimoiy media lavozimlarini o'rganish va kompaniyaga 	
o'zlarining  xizmatlariga  nisbatan  qanday  fikrda  ekanligi  haqida  ma'lumot  berish 
mumkin.	 	
 	1.  Ma'lumotlar  katta.	 U	 bir  qattiq  diskda	 , USB  xotirasida	 kamroq  mos 	
kelmaydi.  Ma'lumotlarning  miqdori  inson  aqliga  qanchalik  ta'sir  qilishi 
mumkinligini  (milliard  milliard  megabaytni  o'ylab,  undan  keyin  milliardlab  dollar 
ko'payishi mumki	n) oshib ketadi.	   	2.  Ma'lumotlar  tarqoq  va  tuzilmaga  ega  emas.	 Katta  hajmdagi 	
ma'lumotlarning 50% dan 80% gacha bo'lgan ma'lumotni o'zgartiradi va tozalanadi, 
natijada qidirish mumkin va tartibga solinadi. Sayyoramizdagi bir necha ming nafar 
mutaxassis  bu 	ma'lumotni  qanday  qilib  tozalashni  biladi.  Ushbu  mutaxassislar, 	
shuningdek,  HPE  va  Hadoop  kabi  juda  ko'p  maxsus  uskunalarga  ega  bo'lishlari 
kerak.  Ehtimol,  10  yil  ichida  katta  ma'lumotlar  mutaxassislari  o'nlab  kishiga 
aylanadi, ammo hozirgi vaqtda ular jud	a kam uchraydigan tahlilchi va ularning ishi 	
hali juda qorong'i va zerikarli.	 	
 	3. Ma'lumot sotilgan va sotib olinadigan tovarga aylangan.	 Kompaniyalar va 	
shaxslar  ijtimoiy  media  va  boshqa  ma'lumotlarni  terabayt  sotib  olishlari  mumkin 
bo'lgan  ma'lumotlar  bo	zorlari  mavjud.  Ma'lumotlarning  aksariyati  bulutga 	
asoslangan  bo'lib,  u  har  qanday  bitta  qattiq  diskka  joylashish  uchun  juda  katta. 
Ma'lumotlarni  xarid  qilish,  odatda,  bulutli  serverlar  fermasiga  ulangan  abonent 
to'lovini o'z ichiga oladi.	 	
 	Katta  ma'lumot 	vositalari  va  g'oyalar  Amazon,  Google,  Facebook  va 	
Yahoo.	 Ushbu  kompaniyalar  onlayn  xizmatlar  bilan  millionlab  kishilarga  xizmat 	
qilganligi sababli ular katta ma'lumotlar tahlillari ortida yig'ish nuqtasi va tuyuluvchi 
bo'lar edi.	 	
 	4.  Katta  ma'lumotlarning	 imkoniyatlari  cheksizdir.	 Ehtimol,  shifokorlar  bir 	
kunda  bir  necha  hafta  oldin  yurak  xurujlari  va  qon  tomirlarini  taxmin 
qilishadi.	 Parvoz  va  avtoulovlar  mexanik  ma'lumot  va  transport  va  ob	-havo 	
naqshlarining  taxminiy  tahlili  bilan  kamayishi  mumkin.	 Onlay	n  dating  sizning 	
kimgadir  mos  keluvchi  shaxslarning  katta  ma'lumotlarini  oldindan 
aniqlaydiganlarga  ega  bo'lishi  mumkin.	 Musiqiy  tinglovchilar  musiqa 	
kompozitsiyasi  maqsadli  auditoriyalarning  o'zgaruvchan  ta'mi  uchun  eng 
yoqimlidir.	 Oziqlantirishchilar do'	kondan sotib olingan oziq	-ovqat mahsulotlarining 	
qaysi kombinatsiyasini yanada kuchaytirishi yoki insonning tibbiy holatiga yordam 
berishini  taxmin  qilishlari  mumkin.	 Sirt  faqat  chizilgan  va  katta  ma'lumotlarda 	
kashfiyotlar har hafta sodir bo'ladi.	 	
  Katta 	ma'lumotlarni tahlil qilish usullari	 	
 	Hozirgi vaqtda katta ma'lumotlar klasterlarini tahlil qilishning ko'plab usullari 	
ishlab chiqilmoqda.	 Quyida ulardan ba'zilari keltirilgan.	Birlashtirish va ma'lumotlar 	
integratsiyasi	  (Ma'lumotlarni  birlashtirish  va  ma	'lumotlar  integratsiyasi).	  Bitta 	
manbadan ko'ra ishonchli va potentsial foydali ma'lumotlarni olish uchun bir nechta 
manbalardan  olingan  ma'lumotlarni  birlashtiradigan  va  tahlil  qiladigan  texnikalar 
to'plami.	 Buning  uchun  raqamli  signalni  qayta  ishlashdan	  foydalanish 	
mumkin	  . Masalan,	  tabiiy  tilda  ishlov  berish	 yordamida	  tahlil  qilingan  va  savdo 	
ma'lumotlari  bilan  taqqoslangan  media  ma'lumotlari  reklama  kampaniyalari  va 
boshqa  ma'lumotlarning  iste'molchilar  xatti	-harakatlariga  ta'sir  qilish  mexanizmini	 	
ochib  berishi  mumkin.	Ma'lumotlarni	  qazib  olish  (Data  Mining).	 Statistik 	
ma'lumotlardan	  tortib	  mashinani	  o'rganish  va	  ma'lumotlar 	
bazasini	  boshqarishgacha	 bo'lgan  turli  usullarni  birlashtirgan  holda  katta 	
ma'lumotlar  to'plamidan  potentsial  foydali  ma	'lumotlarni  olish  uchun  texnikalar 	
to'plami	  . Ularga	  assotsiativ  ta'lim	  (assotsiatsiya  qoidalarini  o'rganish),	  klaster 	
tahlili	  (klaster tahlili), tasniflash va regressiya kiradi.	 	
 	Genetik  algoritmlar	  . Optimallashtirish  uchun  ishlatiladigan  va  tabiiy	 	
evolyutsiya tamoyiliga asoslangan usul: "eng kuchlilarning omon qolishi".	 Bu erda 	
potentsial echimlar xromosomalar kabi kodlangan va birlashtirilishi va mutatsiyaga 
uchragan bo'lishi mumkin.	 Shuningdek, ko'pincha chiziqli bo'lmagan muammolarni 	
hal  qilish 	uchun  juda  mos  bo'lgan  evolyutsion  algoritm  turi  sifatida 	
tavsiflanadi.	 Misol tariqasida ish jadvalingizni yaxshilash yoki investitsiya portfelini 	
optimallashtirish mumkin.	 	
 	Neyron  tarmoqlari	  (neyron  tarmoqlari).	 Odamlar  va  hayvonlarning  asab 	
tizimidan il	homlangan hisoblash modellari.	 Ular murakkab naqshlarni topish uchun 	
juda  mos  keladi  va  tanib  olish  va  optimallashtirish  uchun  ishlatilishi 
mumkin.	 Nazorat  ostidagi  o'rganish  yoki	  nazoratsiz  o'rganishni  o'z  ichiga  olishi 	
mumkin	 Oqimni qayta ishlash.	 Ko'p 	sonli real vaqtda voqealar ma'lumotlar oqimini 	
qayta ishlash texnologiyalari.	    	Vizualizatsiya  usuli  va  boshqalar  ham  keng  qo'llaniladi.	 	Ma'lumotlar 	
to'plamini  tahlil  qilishning  turli  xil  usullari  mavjud  bo'lib,  ular  statistikadan  va 
informatikadan  olingan	 asboblarga  asoslangan  (masalan,  mashinasozlik).  Ro'yxat 	
to'liq  deb  da'vo  qilmaydi,  lekin  u  turli  sohalarda  eng  mashhur  yondashuvlarni  aks 
ettiradi.  Shu  bilan  birga,  tadqiqotchilar  yangi  texnika  yaratish  va  mavjudlarini 
takomillashtirish ustida ishlashda d	avom etishini tushunish kerak. Bundan tashqari, 	
yuqorida sanab o'tilgan usullarning ba'zilari faqat katta ma'lumotlarga taalluqli emas 
va ularni kichikroq massivlar uchun muvaffaqiyatli ishlatish mumkin (masalan, A / 
B testi, regressiya tahlili). Albatta, 	massiv qanchalik katta va xilma 	-xil tahlil qilinsa, 	
chiqishda shunchalik aniq va tegishli ma'lumotlarni olish mumkin.	 	
 	A  /  B  sinovlari	...  Boshqaruv  namunasi  boshqalar  bilan  birma 	-bir 	
taqqoslanadigan usul. Shunday qilib, masalan, iste'molchilarning market	ing taklifiga 	
eng  yaxshi  javob  berishiga  erishish  uchun  ko'rsatkichlarning  optimal 
kombinatsiyasini  aniqlash  mumkin.	 Katta  ma'lumotlar	 juda  ko'p  sonli  takrorlashni 	
amalga oshirishga va shu bilan statistik ishonchli natijaga erishishga imkon beradi.	 	
 	Uyushm	a  qoidalarini  o'rganish	...  O'zaro  munosabatlarni  aniqlash  usullari 	
to'plami, ya'ni. katta ma'lumotlar to'plamidagi o'zgaruvchilar o'rtasida assotsiatsiya 
qoidalari. Yilda ishlatilgan	 ma'lumotlarni qazib olish	. 	
 	Tasniflash	...  Muayyan  bozor  segmentida  iste'm	olchilarning  xatti 	-	
harakatlarini  bashorat  qilish  imkonini  beradigan  texnikalar  to'plami  (sotib  olish, 
chiqib  ketish,  iste'mol  qilish  va  boshqalar  to'g'risida  qaror  qabul  qilish).  Yilda 
ishlatilgan	 ma'lumotlarni qazib olish	. 	
 	Klasterlar  tahlili	...  Oldin  no	ma'lum  bo'lgan  umumiy  xususiyatlarni  aniqlash 	
orqali  ob'ektlarni  guruhlarga  ajratishning  statistik  usuli.  Yilda 
ishlatilgan	 ma'lumotlarni qazib olish	. 	
 	Crowdsourcing	...  Ko'p  sonli  manbalardan  ma'lumotlarni  yig'ish 	
metodologiyasi.	 	
 	Ma'lumotlarni birlashtiri	sh va ma'lumotlarni birlashtirish	... Ijtimoiy tarmoqlar 	
foydalanuvchilarining  sharhlarini  tahlil  qilish  va  real  vaqtda  sotish  natijalari  bilan 
taqqoslash imkonini beradigan texnikalar to'plami.	   	Ma'lumotlarni qazib olish	... Targ'ib qilinayotgan mahsulot yo	ki xizmatni eng 	
yaxshi  qabul  qiladigan  iste'molchilar  toifalarini  aniqlash,  eng  muvaffaqiyatli 
xodimlarning  xususiyatlarini  aniqlash  va  iste'molchilarning  xulq 	-atvor  modelini 	
bashorat qilish imkonini beradigan usullar to'plami.	 	
 	Ansamblni  o'rganish	...  Bu 	usulda  turli  xil  bashoratli  modellardan 	
foydalaniladi va shu bilan bashoratlar sifati yaxshilanadi.	 	
 	Genetika  algoritmlari	...  Ushbu  texnikada  mumkin  bo'lgan  echimlar 	
"xromosomalar"  shaklida  taqdim  etiladi,  ular  birlashishi  va  mutatsiyaga  uchrashi 
mumkin.  T	abiiy  evolyutsiya  jarayonida  bo'lgani  kabi,  eng  munosiblari  ham  omon 	
qoladi.	 	
 	Mashinani  o'rganish	...  Informatika  yo'nalishi  (tarixan  unga  "sun'iy  intellekt" 	
nomi  berilgan),  u  empirik  ma'lumotlarni  tahlil  qilish  asosida  o'z	-o'zini  o'rganish 	
algoritmlarini y	aratishga qaratilgan.	 	
 	Tabiiy  tilni  qayta  ishlash	 (NLP	).  Informatika  va  tilshunoslikdan  qarz  olgan 	
odamning tabiiy tilini tanib olish texnikasi.	 	
Tarmoq  tahlili	...  Tarmoqdagi  tugunlar  orasidagi  aloqalarni  tahlil  qilish  texnikasi. 	
Ijtimoiy tarmoqlarda qo'lla	nilishi sizga individual foydalanuvchilar, kompaniyalar, 	
jamoalar va boshqalar o'rtasidagi munosabatlarni tahlil qilishga imkon beradi.	 	
Optimallashtirish	...  Bir  yoki  bir  nechta  ko'rsatkichlarni  takomillashtirish  uchun 	
murakkab  tizimlar  va  jarayonlarni  qayt	a  loyihalashning  raqamli  usullari  to'plami. 	
Strategik  qarorlar  qabul  qilishda  yordam  beradi,  masalan,  bozorga  chiqariladigan 
mahsulot turining tarkibi, investitsiya tahlilini o'tkazish va h.k.	 	
Naqshni aniqlash	... Iste'molchilarning xulq	-atvorini bashorat q	ilish uchun o'z	-o'zini 	
o'qitish elementlari bo'lgan texnikalar to'plami.	 	
 	Bashoratli  modellashtirish	...  Voqealar  rivojlanishi  uchun  oldindan  taxmin 	
qilingan  ssenariyning  matematik  modelini  yaratishga  imkon  beradigan  usullar 
to'plami. Masalan, CRM tiziminin	g ma'lumotlar bazasini abonentlarni provayderni 	
o'zgartirishga majbur qiladigan mumkin bo'lgan sharoitlar uchun tahlil qilish.	 	
 	Regressiya	...  Bog'liq  o'zgaruvchining  o'zgarishi  va  bir  yoki  bir  nechta 	
mustaqil  o'zgarishi  o'rtasidagi  qonuniyatlarni  aniqlash 	uchun  statistik  usullar  to'plami.  Ko'pincha  bashorat  qilish  va  bashorat  qilish  uchun  ishlatiladi. 
Ma'lumotlarni qidirishda ishlatiladi.	 	
 	Hissiy tahlil	... Iste'molchilarning his 	-tuyg'ularini baholash usullari insonning 	
tabiiy tilini tanib olish texnologiya	lariga asoslangan. Ular sizga qiziqish mavzusiga 	
tegishli  xabarlarni  (masalan,  iste'molchi  mahsuloti)  umumiy  axborot  oqimidan 
ajratishga  imkon  beradi.  Keyinchalik,  hukmning  qutbliligini  (ijobiy  yoki  salbiy), 
hissiylik darajasini va boshqalarni baholang.	 	
Si	gnalni  qayta  ishlash	...  Shovqin  fonida  signalni  tanib  olish  va  uni  keyingi  tahlil 	
qilish maqsadini ko'zlagan radiotexnikadan olingan texnikalar to'plami.	 	
Kosmik  tahlil	...  Qisman  statistikadan  olingan  fazoviy  ma'lumotlarni  tahlil  qilish 	
usullari  to'plami 	- er  topologiyasi,  geografik  koordinatalar,  ob'ektlar  geometriyasi. 	
Manba	 katta ma'lumotlar	 bunda geografik axborot tizimlari (GIS) tez 	-tez ishlatiladi.	 	
Statistika	...  Ma'lumot  yig'ish,  tartibga  solish  va  talqin  qilish,  shu  jumladan 	
so'rovnomalar tuzish va t	ajribalar o'tkazish fani. Statistik usullar ko'pincha ma'lum 	
hodisalar o'rtasidagi munosabatlar to'g'risida baho berish uchun ishlatiladi.	 	
Nazorat  ostida  o'qitish	...  Tahlil  qilinayotgan  ma'lumotlar  to'plamidagi  funktsional 	
munosabatlarni  aniqlashga  imkon  b	eradigan  mashinasozlik  texnologiyalariga 	
asoslangan metodlar to'plami.	 	
Simulyatsiya	... Murakkab tizimlarning xatti 	-harakatlarini modellashtirish ko'pincha 	
rejalashtirishda  turli  xil  stsenariylarni  bashorat  qilish,  bashorat  qilish  va  ishlab 
chiqish uchun i	shlatiladi.	 	
Vaqt seriyasini tahlil qilish	... Vaqt o'tishi bilan statistikadan va raqamli signallarni 	
qayta  ishlashdan  olingan  takrorlanadigan  ma'lumotlar  ketma 	-ketligini  tahlil  qilish 	
usullari  to'plami.  Aniq  maqsadlardan  ba'zilari  fond  bozorini  yoki  bemor	larning 	
kasallanishini kuzatishdir.	 	
Nazorat  qilinmagan  o'rganish	...  Tahlil  qilinayotgan  ma'lumotlar  majmuasida 	
yashirin funktsional munosabatlarni ochib berishga imkon beradigan mashinasozlik 
texnologiyalariga asoslangan metodlar to'plami. Bilan ulushlar	 K	lasterlar tahlili	. 	
 
  Katta ma'lumotlarni tahlil qilish texnologiyalari.	 	
 	Ushbu  sohani  rivojlantirish  istiqbollari  va  yuqori  tijorat  rentabelligi  tufayli 	
tahlil  texnologiyalari  ham  keng  tarqalgan  bo'lib,  ularning  soni  o'sishda  davom 
etmoqda.	 Quyida  eng  mash	hurlari  ro'yxati  va  tavsifi  keltirilgan.	Biznes  razvedkasi 	
(BI).	 Ma'lumotlarni yig'ish, tahlil qilish va taqdim etish uchun mo'ljallangan amaliy 	
dasturiy ta'minot.	 IB vositalari ko'pincha standart hisobotlarni yaratish yoki asboblar 	
panelida real vaqtda ma'	lumotlarni ko'rsatish uchun ishlatiladi.	 	
 	Kassandra.	 Taqsimlangan tizimda katta hajmdagi ma'lumotlarni qayta ishlash 	
uchun mo'ljallangan bepul ochiq kodli DBMS.	 Dastlab Facebook tomonidan ishlab 	
chiqilgan,  hozirda  Apache  Software  fondi  tomonidan  loyiha  sif	atida  ro'yxatga 	
olingan	 	Chiqarish,  o'zgartirish  va  yuklash  (ETL).	 Tashqi  manbalardan 	
ma'lumotlarni olish, tizim standartiga moslashtirish va ma'lumotlar bazasiga yuklash 
uchun dasturiy vositalar.	 	
 	Google  fayl  tizimi.	 Google	-ning  xususiy  taqsimlangan  fayl 	
tizimi.Hadoop.	 Katta hajmdagi ma'lumotlarni qayta ishlash va taqsimlangan tizimlar 	
asosida  muayyan  turdagi  muammolarni  hal  qilish  uchun  bepul  dasturiy  ta'minot 
muhiti.	 Ishlanma  Google  MapReduce  va  Google  fayl  tizimidan 	
ilhomlangan.	 Dastlab Yahoo! tomonidan 	ishlab chiqilgan, hozirda Apache Software 	
fondi tomonidan loyiha sifatida kiritilgan.	 	
 	Faqat tashqi dunyo bilan hech qanday tashqi aloqasi bo'lmagan odam bugungi 	
kunda  katta  ma'lumotlar  haqida  eshitmagan.	 Habré	-da  Katta  ma'lumotlar  tahlili 	
mavzusi  va  tegis	hli  mavzular  mashhur.	 Ammo  katta  ma'lumotlarni  o'rganishga 	
o'zini  bag'ishlamoqchi  bo'lgan  mutaxassis  bo'lmaganlar  uchun  bu  soha  qanday 
istiqbollarga ega ekanligi, Big Data tahlilini qayerda qo'llash mumkinligi va yaxshi 
tahlilchi  nimaga  ishonishi  har  doim 	ham  aniq  emas.	 Keling,  buni  tushunishga 	
harakat  qilaylik.Har  yili  inson  tomonidan  yaratilgan  ma'lumotlar  miqdori  ortib 
bormoqda.	 2020  yilga  kelib  saqlangan  ma'lumotlar  hajmi  40	-44  zettabaytgacha  (1 	
ZB ~ 1 milliard GB) oshadi.	 2025 yilga kelib, taxminan 400	 zettabaytgacha.	 Shunga 	
ko'ra,  zamonaviy  texnologiyalardan  foydalangan  holda  tuzilgan  va  tuzilmagan 
ma'lumotlarni boshqarish tobora muhim ahamiyat kasb etayotgan sohadir.	   	 Ham  alohida  kompaniyalar,  ham  butun  shtatlar  katta  ma'lumotlardan 	
manfaatdor.Aytgan	cha, axborot bumi va inson tomonidan yaratilgan ma'lumotlarni 	
qayta  ishlash  usullarini  muhokama  qilish  jarayonida  Big  Data  atamasi  paydo 
bo'ldi.	 Bu  birinchi  marta  2008  yilda  Nature  muharriri  Klifford  Linch  tomonidan 	
taklif qilingan deb ishoniladi.O'shandan	 beri Big Data bozori har yili bir necha o'n 	
foizga  o'sib  bormoqda.	 Va  bu  tendentsiya,  ekspertlarning  fikriga  ko'ra,  davom 	
etadi.	 Shunday  qilib,  Frost  &  Sullivan  ma'lumotlariga  ko'ra,  2021  yilda  yirik 	
ma'lumotlar  tahlili  global  bozorining  umumiy  hajmi  67,2	 milliard  dollargacha 	
oshadi, yillik o'sish taxminan 35,9 foizni tashkil qiladi.	 	
Katta  ma'lumotlarni  tahlil  qilish  uchun  ishlatiladigan  texnologiyalar  va  tahlil 
usullari:	 	
 	ma'lumotlarni qazib olish;	 	
 	kraudsorsing;	 	
 	ma'lumotlarni aralashtirish va integratsiya 	qilish;	 	
 	mashinani o'rganish;	 	
 	sun'iy neyron tarmoqlari;	 	
 	naqshni aniqlash;	 	
 	bashoratli tahlil;	 	
 	simulyatsiya modellashtirish;	 	
 	fazoviy tahlil;	 	
 	statistik tahlil;	 	
 	analitik ma'lumotlarni vizualizatsiya qilish	 	
Hozirda  katta  ma'lumotlar  tahlili  butun  dunyo  bo'ylab  k	ompaniyalarning  50%  dan 	
ortig'ida  qo'llaniladi.	 2015  yilda  bu  ko'rsatkich  atigi  17  foizni  tashkil  etganiga 	
qaramay.	 Big  Data  telekommunikatsiya  va  moliyaviy  xizmatlar  sohasida 	
ishlaydigan kompaniyalar tomonidan eng faol foydalaniladi.	 Keyin sog'liqni saqla	sh 	
sohasida texnologiyaga ixtisoslashgan kompaniyalar bor.	   	
"Katta  ma'lumotlar"  deb  nomlangan  narsadan  nimani  kutish  kerakligini  tushunish 
uchun  siz  zamonaviy  "IT"  dunyoqarashining  chegaralaridan  chiqib,  nima 
bo'layotganini  kengroq  tarixiy  va  texnologik  r	etrospektivda  ko'rishga  harakat  qilishingiz kerak, masalan, o'xshashliklarni topishga harakat qiling. uzoq tarixga ega 
bo'lgan  texnologiyalar.  Axir,  biz  o'z  faoliyatimizning  mavzusini  texnologiya  deb 
atagan  holda,  unga  texnologiya  sifatida  qarashimiz  kerak	.  Deyarli  barcha  ma'lum 	
moddiy texnologiyalar sifat jihatidan yangi mahsulot olish uchun o'ziga xos bo'lgan 
xom  ashyoni  qayta  ishlash,  qayta  ishlash  yoki  yig'ishga  aylanadi 	- texnologik 	
jarayonning kirishida bir narsa bor, chiqishda esa.	 	
 	Nomoddiy  axborot 	texnologiyalarining  o'ziga  xos  xususiyati  shundaki,  bu 	
erda  texnologik  zanjir  unchalik  ravshan  emas,  xom  ashyo  nima,  natijasi  nima, 
kirishda  nima  bo'ladi  va  chiqishda  nima  olinadi,  aniq  emas.  Aytishning  eng  oson 
usuli 	- bu  kirish  ma'lumoti,  chiqish  esa  foy	dali  ma'lumot.  Umuman  olganda,  bu 	
deyarli  haqiqat,  lekin  ular  orasidagi  munosabatlar  nihoyatda  murakkab;  agar  biz 
sog'lom  pragmatizm  darajasida  qolsak,  o'zimizni  quyidagi  mulohazalar  bilan 
cheklashimiz  mumkin.  Ma'lumotlar 	- bu  turli  xil  shakllarda  ifodalan	gan,  ular 	
kontekstga  joylashtirilmaguncha,  to'g'ri  tartibga  solinmaguncha  va  ishlov 
berilayotganda  buyurtma  qilinmaguncha  foydali  ma'noga  ega  bo'lmagan  xom 
faktlar.  Axborot  inson  tomonidan  qayta  ishlangan  ma'lumotlarni  tahlil  qilish 
natijasida paydo bo'lad	i, bu tahlil ma'lumotlarga ma'no beradi va ularni iste'molchi 	
sifatlari bilan ta'minlaydi. Ma'lumotlar 	- bu ma'lumotga aylantirilishi kerak bo'lgan 	
tartibsiz faktlar. 	 	
 	So'nggi paytgacha,  haqida  fikrlar	 ma'lumotlarni qayta  ishlash	(ma'lumotlarni 	
qayta  ishla	sh) nisbatan  kichik hajmdagi  ma'lumotlar  bo'yicha algoritmik,  mantiqiy 	
yoki  statistik  operatsiyalarning  organik  doirasiga  tushirildi.  Biroq,  kompyuter 
texnologiyalari real dunyoga yaqinlashganda, real dunyodan ma'lumotlarni haqiqiy 
dunyo  haqidagi  ma'lumotl	arga  aylantirish  zarurati  ortadi,  ishlov  berilgan 	
ma'lumotlar kattalashadi va ishlov berish tezligiga talablar oshadi.	 	
 	Mantiqan,  axborot  texnologiyalari  moddiy  texnologiyalardan,  ma'lumotlarni 	
kiritishda, chiqishda 	- odamlarning idrok qilishlari uchun qul	ayroq shaklda, ulardan 	
ma'lumot  olish  va  ma'lumotni  aql  kuchi  bilan  foydali  bilimlarga  aylantirishdan 
unchalik farq qilmaydi. 	   	Kompyuterlarni hisoblash qobiliyati uchun kompyuter deb atashgan, ENIAC 	
uchun birinchi dasturni eslaydilar 	- o'q otish ma'lumotl	arini qayta ishlaydi va ularni 	
artilleriya jadvaliga aylantiradi. Ya'ni, kompyuter xom ma'lumotlarni qayta ishladi, 
foydali ma'lumotlarni chiqarib oldi va foydalanishga yaroqli shaklda yozdi. Bizning 
oldimizda  oddiy  texnologik  jarayondan  boshqa  narsa  yo'q.	 Umuman  aytganda, 	
"Axborot texnologiyalari" atamasi o'rniga aniqroq ma'lumotlarni qayta ishlash tez 	-	
tez ishlatilishi kerak.	 	
 	Axborot texnologiyalari umumiy qonunlarga bo'ysunishi kerak, unga muvofiq 	
boshqa barcha texnologiyalar rivojlanadi va bu, birinchi	 navbatda, qayta ishlangan 	
xom  ashyo  miqdorining  ko'payishi  va qayta  ishlash  sifatining  yaxshilanishidir.  Bu 
hamma joyda sodir bo'ladi, nima bo'lishidan qat'i nazar, xom ashyo nimaga xizmat 
qiladi  va  natijasi  metallurgiya,  neft  kimyosi,  biotexnologiya,  yar	imo'tkazgichli 	
texnologiyalar  va  boshqalar  bo'ladimi,  keyinchalik  tez  rivojlanish,  sakrashlar 
bo'ladi.  Agar  ehtiyoj  tashqi  tomondan  paydo  bo'lsa  va  texnologiya  ichida  uni 
qondirish  imkoniyati  mavjud  bo'lsa,  tez  o'tish  mumkin.  Vakuumli  naychalarga 
kompyuter	lar  qurib  bo'lmaydi 	- va  yarimo'tkazgichlar  paydo  bo'ldi,  mashinalarga 	
ko'p  benzin  kerak 	- yorilish  jarayoni  aniqlandi  va  bunday  misollar  ko'p.  Shunday 	
qilib,  Big  Data  nomi  ostida  kompyuter  texnologiyasida  jiddiy  o'zgarishlarga  olib 
kelishi  mumkin  bo'lgan 	sifatli  o'tish  sodir  bo'lmoqda,  bu  tasodifan  yangi  sanoat 	
inqilobi  deb  nomlanmagan.  Big  Data 	- bu  boshqa  oqibatlarga  olib  keladigan  yana 	
bir texnik inqilob.	 	
 	Ma'lumotni qayta ishlash bo'yicha birinchi tajriba miloddan avvalgi 4 	-ming 	
yillikda,  piktografik 	yozuv  paydo  bo'lgan  paytga  to'g'ri  keladi.  O'shandan  beri 	
ma'lumotlar bilan ishlashning bir nechta asosiy yo'nalishlari ishlab chiqildi, ularning 
eng kuchlisi birinchi loydan yasalgan planshetlardan SSDgacha, miloddan avvalgi 1 
-ming  yillikning  o'rtalarida	gi  kutubxonalardan  zamonaviy  kutubxonalargacha, 	
so'ngra  har  xil  turdagi  matematik  raqamli  matnli  matnli  matn  bo'lib  kelgan  va 
qolmoqda.  Pifagor  teoremasi  isbotla	ngan  papiruslardan  tortib  hisob	-kitoblarni 	
zamonaviy kompyuterlarga soddalashtirish usullari pa	ydo bo'ldi. 	  Xulosa	 	
Katta ma'lumotlar tahlili butun dunyo bo'ylab kompaniyalarni boshqarishdagi 	
asosiy tendentsiyalardan biridir. Ko'pgina kompaniyalar o'zlarining qarorlari sifatini 
yaxshilash  uchun  bunday  texnologiyalarni  joriy  qilishni  boshlaydilar.  Tur	li 	
konsalting  va  tadqiqot  agentliklari  katta  ma'lumotlar  tahlilini  kompaniyalarni 
boshqarish  usullarini  butunlay  o'zgartiradigan  tendentsiyalardan  biri  sifatida 
ta'kidlaydi.  Qolaversa,  ilmiy  jamoatchilikning  ham  ushbu  mavzuga  qiziqishi  ortib 
bormoqda.  Biro	q,  ko'pchilikning  fikriga  ko'ra,  katta  ma'lumotlar  tahlili  yirik 	
kompaniyalarning  vakolati  bo'lib  qolmoqda.  Kichik  va  o'rta  biznesda  katta 
ma'lumotlar  tahlili  muammosi  amalda  yoritilmagan.  Xuddi  shu  narsa  logistika 
sohasiga ham tegishli.	 	
Ushbu  tadqiqot  ish	ining  bir  qismi  sifatida,  xususan,  Rossiyadagi  kichik  va 	
o'rta  logistika  kompaniyalarida  katta  ma'lumotlar  tahlilidan  foydalanish 
imkoniyatlari va cheklovlari tahlil qilindi.	 	
Jahon  amaliyotida  logistikada  bunday  texnologiyalar  qanday  qo‘llanilishini 	
aniqla	sh  maqsadida  tadqiqot  uchun  tanlangan  20  ta  turli  holatlar  tahlili  o‘tkazildi. 	
Tahlillar  asosida  uch  guruh  holatlar  aniqlandi:  1)  yirik  logistika  kompaniyalari 
holatlari, 2) innovatsion biznes modeliga ega platforma kompaniyalari holatlari va 
3)  logistika 	sohasida  katta  maʼlumotlar  tahlili  uchun  yechimlar  ishlab  chiquvchi 	
kompaniyalar.  Bundan  tashqari,  holatlar  tahlili  shuni  ko'rsatdiki,  eng  ommabop 
texnologiyalar avtomobilni kuzatish, avtomobilga o'rnatilgan sensorlar va datchiklar 
ma'lumotlarini  tahlil  qi	lish,  ushbu  texnologiyalarning  kombinatsiyasi,  shuningdek, 	
talabni bashoratli tahlil qilish texnologiyalari.	 	
Keyinchalik  kichik  va  o'rta  logistika  kompaniyalarining  ikki  turi  aniqlandi. 	
Birinchi  tur  an'anaviy  biznes  modeliga  ega  bo'lgan  kompaniyalar  bo'lib	,  ularning 	
asosiy  aktivi  transport  vositalaridir.  Ikkinchi  tur 	- yuk  egalari  va  tashuvchilarni 	
birlashtirgan  platforma  kompaniyalari.  Bunday  kompaniyalarning  asosiy  aktivi 
uning  ishtirokchilari  va  ularning  resurslaridir.  Keyinchalik,  ikki  turdagi 
kompaniya	lar alohida o'rganildi.	  Shundan  so'ng,  kichik  va  o'rta  logistika  kompaniyalarida  katta  ma'lumotlar 	
tahlilidan  foydalanish  imkoniyatlari  va  to'siqlari  tahlil  qilindi.  Buning  uchun 
Rossiyadagi  kichik  va  o'rta  biznesning  hozirgi  holati  tahlil  qilindi,  mutaxas	sislar 	
bilan  suhbatlar  o'tkazildi.  Natijada,  har  ikki  turdagi  kompaniyalarga  ta'sir  etuvchi 
to'siq  qator  iqtisodiy  omillar  ta'sirida  bunday  loyihalarni  moliyalashtirishning 
qiyinligi  ekanligi  aniqlandi.  Bundan  tashqari,  an'anaviy  kompaniyalarga  Platon 
tizi	mi  bilan  bog'liq  qo'shimcha  xarajatlar,  shuningdek,  axborot  tizimlarining 	
etishmasligi to'sqinlik qiladi. Ma'lum bo'lishicha, innovatsion turdagi kompaniyalar 
uchun o'ziga xos to'siqlar "kulrang" tashuvchilarning yuqori ulushi, B2B sektoridagi 
mijozlarni  p	latformaga  jalb  qilishning  qiyinligi  va  B2C  segmentiga  kirishning 	
cheklanganligi,  raqobatdosh  tahdidlardir.  yirik  kompaniyalar,  shuningdek, 
mahsulotingizni bozorga birinchi bo'lib kiritish huquqi uchun majburiy poyga.	 	
Shundan  so'ng,  tanlangan  ikkita  kichik	 va  o'rta  logistika  kompaniyalariga 	
tegishli  ikkita  kompaniya  misolida  aniqlangan  to'siqlarning  ahamiyati  baholandi. 
Faqatgina  pasayish  bilan  bog'liq  to'siqlar  haqiqatan  ham  muhim  ekanligi 
ko'rsatilgan.  Shuning  uchun  bugungi  kunda  bunday  texnologiyalardan 
foydalanishning asosiy cheklovi faqat mamlakatdagi iqtisodiy vaziyatdir. Shu bilan 
birga,  aslida  kichik  va  o'rta  biznesning  bunday  texnologiyalarni  joriy  etishiga 
to'sqinlik qiladigan boshqa jiddiy cheklovlar yo'q.	 	
Hozirgi vaqtda logistika biznesini yuriti	sh kontseptsiyasi qayta ko'rib chiqish 	
bosqichida.  Ushbu  maqolada  biz  kompaniyalar  uchun  raqobatdosh  ustunlikka 
erishish uchun katta ma'lumotlar tahlilidan qanday foydalanish mumkinligini ko'rib 
chiqdik.  Biroq,  mashinani  o'rganish  texnologiyalari  va  muhand	islik  sohasidagi 	
yutuqlar  bilan  birgalikda,  katta  ma'lumotlar  logistika  biznesini  yuritish  usulini 
o'zgartirishi  mumkin.  Uber  va  Google  kabi  yirik  kompaniyalar  allaqachon 
avtomobillarni  uchuvchisiz  boshqarish  texnologiyalarini  ishlab  chiqishmoqda. 
Fuqaroli	k  logistikasidagi  Internet  platformalarining  muvaffaqiyati  biznes 	
yuritishning  an'anaviy  usullaridan  ustunligini  isbotladi.  Agar  biz  ushbu  ikki 
tendentsiyani  birlashtirib,  ularni  logistika  biznesiga  qo'llasak,  uning  kelajakdagi 
rivojlanishining mumkin bo'l	gan yo'nalishini tasavvur qilishimiz mumkin. 	  Foydalanilgana adabiyotlar	 	
1.	 Hilbert, Martin; López, Priscila (2011).	 "Axborotni saqlash, tarqatish va hisoblash 	
bo'yicha  dunyoning  texnologik  sa	lohiyati"	. Ilm	-fan.	 332	 (6025):  60	–	
65.	 Bibcode	:2011Sci...332...60H	. doi	:10.1126/science.1200970	. PMID	 21310967	. 	
S2CID	 206531385	. Olingan	 13 aprel	 2016	. 	
2.	  Breur, T	om (July 2016).	 "Statistical Power Analysis and the contemporary "crisis" 	
in  social  sciences"	. Journal  of  Marketing  Analytics.	 4 (2	–3):  61	–	
65.	 doi	:10.1057/s41270	-016	-0001	-3. ISSN	 2050	-3318	. 	
3.	  boyd,  dana;  Crawford,  Kate  (21  September  2011).	 "Six  Provocations  for  Big 	
Data"	. Social  Science  Research  Network:  A  Decade  i	n  Internet  Time:  Symposium 	
on  the  Dynamics  of  the  Internet  and 
Society.	 doi	:10.2139/ssrn.1926431	. S2CID	 148610111	. 	
4.	  a b v d e f g "Data,  data  everywhere"	. Iqtisodchi.  25  fevral  2010  yil	.  Olingan	 9 	
dekabr	 2012	. 	
5.	  "Community  cleverness  required"	. Tabiat	. 455	 (7209):  1.  September 	
2008.	 Bibcode	:2008Natur.455....1.	. doi	:10.1038/455001a	. PMID	 18769385	. 	
6.	  Reichman  OJ,  Jones  MB,  Schildhauer  MP  (February  2011).	 "Challenges  and 	
opportunities  of  open  data  in  e	cology"	. Ilm	-fan.	 331	 (6018):  703	–5.	 Bibcode	:2011 	
yil  ...  331..703R	. doi	:10.1126  / 	
science.1197962	. PMID	 21311007	. S2CID	 22686503	. 	
7.	  Hellerstein,  Joe  (9  November  2008).	 "Parallel  Programming  in  the  Age  of  Big 	
Data"	. Gigaom Blog.	 	
8.	  Segaran,  Tobi;  Hammerbacher,  Jeff  (2009).	 Beautiful  Data:  The  Stories  Behind 	
Elegant Data Solutions	. O'Reilly Media. p. 257.	 ISBN	 978	-0-596	-15711	-1. 	
9.	  a b Hilbert  M,  López  P  (April  2011).	 "The world's technological  capacity  to store, 	
communicate,  and  compute  information"	 (PDF)	. Ilm	-fan.	 332	 (6025):  60	–	
5.	 Bibcode	:2011Sci...332...60H	. doi	:10.1126/science.1200970	. PMID	 21310967	. S	
2CID	 206531385	. 	
10.	  "IBM What is big data? 	– Bringing big data to the enterprise"	. ibm.com	. Olingan	 26 	
avg	ust	 2013	. 	
11.	  Reinsel, David; Gantz, John; Rydning, John (13 April 2017).	 "Data Age 2025: The 	
Evolution  of  Data  to  Life	-Critical"	 (PDF)	. seagate.com.  Framingham,  MA, 	
US:	 Xalqaro ma'lumotlar korporatsiyasi	. Olingan	 2 noyabr	 2017	. 	
12.	  Oracle  and  FSN,	 "Mastering  Big  Data:  CFO  St	rategies  to  Transform  Insight  into 	
Opportunity"	 Arxivlandi	 2013  yil  4	-avgust	 Orqaga  qaytish  mashinasi	,  2012  yil 	
dekabr	 	
13.	  Jacobs, A. (6 July 2009).	 "The Pathologies of Big Data"	. ACMQueue.	 	
14.	  Magoulas,  Roger;  Lorica,  Ben  (February  2009).	 "Introduction  t	o  Big  Data"	. 2.0 	
versiyasi. Sebastopol CA: O'Reilly Media (11).	 	
15.	  John  R.  Mashey  (25  April  1998).	 "Big  Data	 	...  and  the  Next  Wave  of 	
InfraStress"	 (PDF)	. Slides from invited talk. Usenix	. Olingan	 28 sentyabr	 2016	. 	
16.	  Steve  Lohr  (1  February  2013).	 "The  Origins  of  'Big  Data':  An  Etymological 	
Detective Story"	. The New York Times	. Olingan	 28 sentyabr	 2016

O’ZBEKISTON RESPUBLIKASI OLIY VA O’RTA -MAXSUS TA’LIM VAZIRLIGI SAMARQAND DAVLAT UNIVERSITETI RAQAMLI TEXNOLOGIYALAR FAKULTETI AXBOROT TIZIMLARINI MATEMATIK VA DASTURIY TA’MINOTI YO’NALISHI 310 -guruh talabasi Tohirov Muhriddinning BIG DATA FANIDAN MUSTAQI L ISHI SAMARQAND -2022

Mavzu : Hozir dunyoda katta ma'lumotlarni qayta ishlash texnologiyalari Reja: Kirish……………………………………………………………………………....... 1. Kattta malumotlar haqida tushuncha.......………………………………………... 2. Katta ma'lumotlarni tahlil qilish usullari………………………………………… 3. Katta ma'lumotlarni tahlil qilish texnologiyalari……………………………... .... Xulosa…………………………………………………………………………..... .... Foydalanilgan adabiyotla r………………………………………………………... ...

Kirish Zamonaviy tadqiqot markazlari, moliya institutlari, ijtimoiy tarmoqlar tomonidan ishlab chiqarilgan va to'plangan ma'lumotlar miqdori allaqachon petabaytlarda o'lchanadi . Shunday qilib, 15 millia rddan ortiq rasm allaqachon Facebook ma'lumotlar markazlarida saqlanadi, Nyu -York fond birjasi NYSE har kuni taxminan 1 Tb ma'lumot yaratadi va takrorlaydi, Katta adron kollayderi soniyada taxminan 1 Pb ma'lumot oladi. Shunday qilib, zamonaviy dunyoda kat ta ma'lumotlar yoki Big Data muammosi paydo bo'ldi. IT va biznes sohasidagi jahon yetakchilari doimiy ravishda keladigan katta hajmdagi axborotni boshqarish va tahlil qilish uchun eng yaxshi yechimni qidirmoqda. Ular o'z ixtiyoridagi ma'lumotlardan foydala nish yo'llarini qidirmoqdalar. Katta ma'lumotlar mavzusi amaliy va nazariy nuqtai nazardan qiziqarli. Texnologiyalarning o'zi uzluksiz rivojlanish holatida bo'lib, bu ularni amalga oshirish va takomillashtirish jarayonini real vaqt rejimida kuzatish, shun ingdek, katta ma'lumotlar massivlarini qayta ishlash uchun yangi texnologiyalarni yaratishda bevosita ishtirok etish imkonini beradi. Shuni ham qayd etishni istardimki, Big Data sohasidagi bilim va ko‘nikmalarni kengaytirish biznes informatika yo‘nalishida tahsil olayotgan talabalar uchun ayniqsa dolzarbdir.

Kattta malumotlar haqida tushuncha Katta ma'lumotlarning o'ziga xos xususiyatlarini tavsiflab, ular eslatib o'tgan birinchi narsa 3V: "hajm, xilma -xillik va tezlik" yoki hajm, xilma -xillik va tezlik. Hajmi nafaqat saqlangan ma'lumotlarning katta miqdorini, balki uning qo'shilishi, o'sishi, vaqt o'tishi bilan o'zgarishini ham nazarda tutadi. Axborot turlari va manbalarining xilma -xilligi ularni bitta ma'lumotlar to'plamiga birlashtirishda doim o katta muammo bo'lib kelgan. Bugungi kunda bu xilma -xillik tobora ortib bormoqda. Tezlik axborotni yaratishda ham, uni qayta ishlashda ham baholanadi.Relyatsion ma'lumotlar bazalari ma'lumotlar massivlari bilan ishlashning an'anaviy usuli hisoblanadi. Bi roq, yuzlab terabaytli relyatsion ma'lumotlar bazasi bilan ishlash hali Big Data emas, balki, masalan, "oddiy" yuklangan ma'lumotlar bazasi. Bu holda farq ma'lumotlar bazasi arxitekturasida va DBMS va saqlangan ma'lumotlar o'rtasidagi o'zaro ta'sir mantig' ida yotadi. Relyatsion ma'lumotlar bazalarida ma'lumotlar dispersiv ravishda taqsimlanadi, ya'ni. dastlab o'rnatilgan aniq tuzilma mavjud bo'lib, uning allaqachon ishlaydigan ma'lumotlar bazasida o'zgarishi ko'plab muammolar bilan bog'liq. Shunday qilib, arxitekturasi tufayli relyatsion ma'lumotlar bazalari bir xil turdagi oqimga amal qiladigan qisqa, tezkor so'rovlar uchun eng mos keladi. Murakkab so'rovlar ma'lumotlar bazasi strukturasini qayta qurishni yoki tezlikni oshirish uchun hisoblash quvvatini os hirishni talab qiladi. Bu an'anaviy ma'lumotlar bazalari bilan bog'liq yana bir muammoga, ya'ni ularning kengaytirilishining murakkabligiga ishora qiladi. Shunday qilib, murakkab moslashuvchan so'rovlar bilan ishlash uchun sizga tuzilmagan ma'lumotlarni s aqlash va qayta ishlash imkonini beradigan, kengaytiriladigan va taqsimlangan hisoblashlardan foydalanishga imkon beradigan muhit kerak, bu erda ma'lumotlarni qayta ishlash uchun bitta yuqori unumdorlikli mashina emas, balki butun guruh ishlatiladi. klaste rga birlashtirilgan bunday mashinalar. Ko'pgina katta ma'lumotlar loyihalari juda qorong'i bo'lsa -da, odamlar,

kompaniyalar va hukumatlarning kundalik hayotiga ta'sir ko'rsatadigan katta ma'lumotlarning muvaffaqiyatli namunalari mavjud: Virus epidemiyalar ini bashorat qilish: ijtimoiy -siyosiy ma'lumotlar, ob -havo va iqlim ma'lumotlari va shifoxona ma'lumotlarini o'rganish orqali bu olimlar 4 haftalik oldindan ogohlantiruvchi dag'al isitma epidemiyasini taxmin qilmoqdalar. Homicide Watch: bu katta ma'lumot loyihasi profsoyuz Vashingtondagi qotillik qurbonlari, gumondorlari va jinoyatchilar profilini tashkil qiladi. Ham, marhumni hurmat qilish va odamlar uchun xabardorlik manbai sifatida, bu katta ma'lumot loyihasi ajoyibdir. Tranzitni Sayohat Rejalashtirish , NYC: WNYC radio dasturchisi Stiv Melendez onlayn metro rejasini sayohat sayohati dasturi bilan birlashtirdi. Uning yaratilishi Nyu -Yorkchilar xaritada o'z manzillarini bosish imkonini beradi va poezdlar va metro uchun sayohat vaqtini taxmin qilish mumkin . Xerox ish kuchini yo'qotdi: chaqiriq markazi ishi hissiy jihatdan toliqdi. Xerox professional tahlilchilar yordamida ma'lumotlarni to'plamini o'rganib chiqdi va hozirda ular qaysi chaqiriq markazi ishlayotganini kompaniyaga eng uzoq muddat qolishi mumki nligini taxmin qilishlari mumkin. Terrorizmga qarshi kurashni qo'llab -quvvatlash: Ijtimoiy axborot vositalarini, moliyaviy hisobotlarni, parvozlar buyurtmalarini va xavfsizlik ma'lumotlarini o'rganish orqali huquqni muhofaza qilish organlari terroristik g umondorlarni yovuz ishlarini qilmasdan oldindan aniqlashi va topishi mumkin. Tovarlarni marketingni ijtimoiy media sharhlar asosida tuzish : odamlar ochiq -oydin va tezda pub, restoran yoki fitness klubida onlayn fikrlarini baham ko'rishadi. Ushbu millionl ab ijtimoiy media lavozimlarini o'rganish va kompaniyaga o'zlarining xizmatlariga nisbatan qanday fikrda ekanligi haqida ma'lumot berish mumkin. 1. Ma'lumotlar katta. U bir qattiq diskda , USB xotirasida kamroq mos kelmaydi. Ma'lumotlarning miqdori inson aqliga qanchalik ta'sir qilishi mumkinligini (milliard milliard megabaytni o'ylab, undan keyin milliardlab dollar ko'payishi mumki n) oshib ketadi.