BIG DATA ULAR YORDAMIDA JUDA KATTA MA'LUMOTLAR MASSIVIDAN INSONLARGA FOYDALI TAMONLAR Re’ja 1. Katta ma'lumotlar tizimlari nima. 2. Big Data nima 3. xususiyatlari, tasnifi, misollar. 4. Katta ma'lumotlar bilan bog'liq muammolar.

Katta ma'lumotlar – ingliz. "katta ma'lumotlar". Ushbu atama DBMSga muqobil sifatida paydo bo'ldi va ko'pchilik sanoat gigantlari - IBM, Microsoft, HP, Oracle va boshqalar ushbu kontseptsiyani o'z strategiyalarida qo'llashni boshlaganlarida, IT infratuzilmasining asosiy tendentsiyalaridan biriga aylandi. Katta ma'lumotlar deganda an'anaviy usullar bilan qayta ishlanib bo'lmaydigan ulkan (yuzlab terabaytlar) ma'lumotlar to'plami tushuniladi; ba'zan - bu ma'lumotlarni qayta ishlash vositalari va usullari. Katta ma'lumotlar manbalariga misollar: RFID hodisalari, ijtimoiy tarmoqlardagi xabarlar, meteorologik statistika, mobil uyali aloqa tarmoqlari abonentlarining joylashuvi to'g'risidagi ma'lumotlar va audio / video yozish qurilmalaridan olingan ma'lumotlar. Shu sababli, “katta ma’lumotlar” ishlab chiqarish, sog‘liqni saqlash, davlat boshqaruvi, internet-biznesda – xususan, maqsadli auditoriyani tahlil qilishda keng qo‘llaniladi. Katta ma'lumotlarning belgilari "uch Vs" sifatida belgilanadi: Hajmi - hajm (haqiqatan ham katta); xilma-xillik - bir xillik, to'plam; tezlik - tezlik (juda tez ishlov berishni talab qiladi). Katta ma'lumotlar ko'pincha tuzilmagan va uni qayta ishlash uchun maxsus algoritmlar kerak bo'ladi. Katta ma'lumotlarni tahlil qilish usullari quyidagilarni o'z ichiga oladi:  ("ma'lumotlar qazib olish") - standart usullar bilan olish mumkin bo'lmagan yashirin foydali bilimlarni aniqlash uchun yondashuvlar to'plami;  Kraudsorsing (olomon - "olomon", manba sifatida foydalanish - manba sifatida foydalanish) - majburiy mehnat shartnomasi va munosabatlariga ega bo'lmagan ko'ngillilarning birgalikdagi sa'y-harakatlari bilan muhim vazifalarni hal qilish, AT vositalaridan foydalangan holda faoliyatni muvofiqlashtirish;  Data Fusion & Integration ("ma'lumotlarni aralashtirish va kiritish") - chuqur tahlilning bir qismi sifatida bir nechta manbalarni ulash usullari to'plami;  Mashinani o rganish (“mashinalarni o rganish”) - statistik tahlildan ʻ ʻ foydalanish va asosiy modellar asosida prognozlarni olish usullarini o rganuvchi sun iy intellekt tadqiqotining kichik bo limi; ʻ ʼ ʻ  naqshni aniqlash (masalan, kamera yoki videokameraning vizörida yuzni aniqlash);

 fazoviy tahlil - ma'lumotlarni qurish uchun topologiya, geometriya va geografiyadan foydalanish;  ma'lumotlarni vizualizatsiya qilish - natijalarni kuzatish va keyingi monitoring uchun asos yaratish uchun interfaol vositalar va animatsiyalardan foydalangan holda illyustratsiya va diagrammalar ko'rinishidagi tahliliy ma'lumotlarni chiqarish. Axborotni saqlash va tahlil qilish ko'p sonli yuqori samarali serverlarda amalga oshiriladi. Asosiy texnologiya Hadoop bo'lib, u ochiq manba hisoblanadi. Axborot miqdori faqat vaqt o ' tishi bilan ortib borishi sababli , qiyinchilik ma ' lumotlarni olishda emas , balki uni maksimal foyda bilan qayta ishlashda . Umuman olganda, Big Data bilan ishlash jarayoni quyidagilarni o'z ichiga oladi: ma'lumot to'plash, uni tizimlashtirish, tushunchalar va kontekstlarni yaratish va harakatlar bo'yicha tavsiyalar ishlab chiqish. Birinchi bosqichdan oldin ham, ishning maqsadini aniq belgilash muhimdir: ma'lumotlar aniq nima uchun kerak, masalan, mahsulotning maqsadli auditoriyasini aniqlash. Aks holda, ulardan qanday qilib aniq foydalanish mumkinligini tushunmasdan ko'p ma'lumotlarni olish xavfi mavjud. Biz muntazam so'zlar va ta'riflarga duch kelamiz, ularning ma'nosi bizga intuitiv ravishda tushunarli bo'lib tuyuladi, lekin bizda bu narsa nima va u qanday ishlashi haqida aniq tasavvurga ega emasmiz. Ushbu tushunchalardan biri Big Data bo'lib, rus tilida siz ba'zan so'zma-so'z tarjimasini topishingiz mumkin - "katta ma'lumotlar", lekin ko'pincha odamlar shunday deb aytadilar va yozadilar: Big Data. Ehtimol, bu iborani hamma eshitgan yoki hech bo'lmaganda Internetda uchratgan va bu oddiy bo'lib tuyuladi, ammo aniq nimani anglatishini raqamli dunyoning nozikliklaridan uzoqda bo'lgan ofis gumanistlari har doim ham tushunmaydi. Eng keng foydalanuvchilarning miyasidagi ushbu bo'shliqni to'ldirishga qaratilgan ajoyib urinish - bizning sevimli mualliflarimizdan biri Bernard Marrning maqolasi. “Big Data nima? Hamma uchun juda oddiy tushuntirish" . Ta'lim va faoliyat sohasidan qat'i nazar, hamma uchun ushbu hodisaning asosiy g'oyalarini tushuntirish uchun yagona jargonsiz. Darhaqiqat, so'nggi bir necha yil davomida biz katta ma'lumotlar bilan to'lib- toshgan dunyoda yashayapmiz, ammo biz bu nima ekanligini tushunishda chalkashishda davom etamiz. Bu qisman Big Data kontseptsiyasining o'zi doimiy ravishda o'zgartirilayotgani va qayta ko'rib chiqilayotgani bilan bog'liq, chunki yuqori texnologiyalar olami va katta hajmdagi ma'lumotlarni qayta ishlash juda tez o'zgarib bormoqda, shu jumladan tobora ko'proq yangi variantlar. Va bu ma'lumotlarning hajmi doimiy ravishda o'sib bormoqda.

Hozirda Big Dataga asoslangan loyihalar yordam beradi: - Kasalliklarni davolash va saraton kasalligini oldini olish . Katta ma'lumotlarga asoslangan tibbiyot juda ko'p miqdordagi tibbiy yozuvlar va tasvirlarni tahlil qiladi, bu juda erta tashxis qo'yish imkonini beradi va yangi davolash usullarini yaratishga yordam beradi. - Ochlik bilan kurashing . Qishloq xo‘jaligi haqiqiy Big Data inqilobini boshdan kechirmoqda, bu esa resurslardan ekotizimga minimal aralashuvlar bilan maksimal rentabellikga erishish va mashina va uskunalardan foydalanishni optimallashtirish imkonini beradi. - Uzoq sayyoralarni kashf eting . Masalan, NASA katta hajmdagi ma'lumotlarni tahlil qiladi va ularning yordami bilan uzoq olamlarga bo'lajak missiyalarning modellarini yaratadi. - Favqulodda vaziyatlarni bashorat qilish turli tabiat va mumkin bo'lgan zararni minimallashtirish. Bir nechta datchiklardan olingan ma'lumotlar keyingi zilzila qayerda va qachon sodir bo'lishini yoki favqulodda vaziyatda odamlar qanday munosabatda bo'lishini oldindan aytib berishi mumkin, bu esa omon qolish imkoniyatini oshiradi. - Jinoyatning oldini olish resurslarni yanada samaraliroq taqsimlash va ularni eng kerakli joyga yo‘naltirish imkonini beruvchi texnologiyalardan foydalanish orqali. Big Data oddiy odamning hayotini oson va qulayroq qiladi - bu onlayn xarid qilish, sayohatni rejalashtirish va metropolda navigatsiya. Aviachiptalarni sotib olish uchun eng yaxshi vaqtni tanlash va qaysi film yoki serialni tomosha qilishni tanlash Big Data ishi tufayli ancha osonlashdi. U qanday ishlaydi? Big Data printsipi asosida ishlaydi , siz biror narsa haqida qanchalik ko ' p bilsangiz , kelajakda nima bo ' lishini shunchalik aniqroq bashorat qila olasiz . Shaxsiy ma'lumotlarni va ular o'rtasidagi munosabatlarni taqqoslash (biz katta hajmdagi ma'lumotlar va ular orasidagi aql bovar qilmaydigan darajada katta miqdordagi mumkin bo'lgan ulanishlar haqida gapiramiz) ilgari yashiringan naqshlarni ochib beradi. Bu muammoning ichiga qarash va oxir-oqibat u yoki bu jarayonni qanday boshqarishimiz mumkinligini tushunish imkonini beradi. Ko ' pincha , katta hajmdagi ma ' lumotlarni qayta ishlash jarayoni to ' plangan ma ' lumotlarga asoslangan modellarni qurish va ishlaydigan simulyatsiyalarni o ' z ichiga oladi , bunda asosiy sozlamalar doimiy ravishda o ' zgarib turadi , shu bilan

birga tizim har safar " sozlama o ' zgarishi " mumkin bo ' lgan natijaga qanday ta ' sir qilishini nazorat qiladi . Bu jarayon to'liq avtomatlashtirilgan, chunki biz millionlab simulyatsiyalarni tahlil qilish, naqsh (kerakli sxema) topilmaguncha yoki "ma'rifat" paydo bo'lgunga qadar barcha mumkin bo'lgan variantlarni saralash haqida bormoqda, bu esa hamma narsa boshlangan muammoni hal qilishga yordam beradi. Bizga tanish bo ' lgan ob ' ektlar va hisob - kitoblar dunyosidan farqli o ' laroq , ma ' lumotlar tuzilmagan shaklda qabul qilinadi , ya ' ni uni bizga , odamlarga tanish bo ' lgan hujayralar va ustunlar bilan jadvallarga surish qiyin . Katta hajmdagi ma'lumotlar tasvir yoki video sifatida uzatiladi: sun'iy yo'ldosh tasvirlaridan tortib Instagram yoki Facebook-da joylashtirgan selfilargacha - xuddi elektron pochta va messenjer yozuvlari yoki telefon qo'ng'iroqlari kabi. Ushbu cheksiz va rang - barang ma ' lumotlar oqimiga amaliy ma ' no berish uchun Big Data ko ' pincha sun ' iy intellekt va mashinani o ' rganishni o ' z ichiga olgan eng ilg ' or tahlil texnologiyalaridan foydalanadi ( bu kompyuterdagi dastur boshqa dasturlarni o ' rgatadi ). Kompyuterlarning o ' zlari u yoki bu ma ' lumotlar nimani anglatishini aniqlashni o ' rganadilar - masalan , tasvirlarni , tilni tanib olish - va ular buni odamlarga qaraganda tezroq bajarishlari mumkin . SHAXSIY MA'LUMOTLARNING MAXFIYLIGI. Big Data bizning shaxsiy hayotimiz haqida juda ko'p ma'lumot to'playdi. Biz sir saqlamoqchi bo'lgan juda ko'p ma'lumotlar mavjud. XAVFSIZLIK. Agar biz barcha shaxsiy ma'lumotlarimizni o'zimiz uchun foydali bo'lgan biron bir maqsad uchun mashinaga o'tkazishda hech qanday yomon narsa yo'q deb qaror qilsak ham, ma'lumotlarimiz xavfsiz joyda saqlanganiga amin bo'lamizmi? Bunga kim va qanday kafolat bera olamiz? DISKRIMINA. Hamma narsa ma'lum bo'lsa, Big Data tufayli odamlarni ular haqida ma'lum bo'lgan narsalarga asoslanib kamsitish mumkinmi? Banklar sizning kredit tarixingizdan foydalanadilar va sug'urta kompaniyalari siz haqingizda bilgan narsalarga asoslanib, avtoulov sug'urtasini baholaydilar. Bu qanchalik uzoqqa borishi mumkin? Taxmin qilish mumkinki, xavflarni minimallashtirish uchun kompaniyalar, davlat idoralari va hatto jismoniy shaxslar biz haqimizda bilib olishlari mumkin bo'lgan narsalaridan foydalanadilar va negadir resurslar va ma'lumotlarga kirishimizni cheklaydilar.