Katta maʼlumotlar tahlili maʼlumotlariga oʻz maʼlumotlaridan yuklab olish va undan yangi maʼlumotlardan foydalanishga yordam beradi. Bu, biznesning harakatlanishiga, samaraliroq ishlab chiqarishga, daromadli va barqarorga olib keladi. IIA tadqiqot direktori Tom Davenport o'zining "Katta kompaniyalaridagi Big Data" hisobotida katta ma'lumotlardan qanday yuk tashish biznesi uchun 50 dan ortiq bilan suhbatlashdi. U hisob yo'llar bilan qiymatga ega bo'lgan aniqladi:
         Xarajatlarni almashtirish. Hadoop va bulutga foydali analitik kabi ma'lumotlar texnologiyalari bo'yicha katta hajmdagi ma'lumotlarni saqlashda katta hajmdagi harajat ishlab chiqarishni ishlab chiqarish mumkin - bundan tashqari ular bilan ishlashni yanada samarali usullarni boshqarish mumkin.
         Tezroq, qaror qabul qilish. Hadoop manba va xotiradagi tahlillar, yangi ma'lumotlar manbalarini tahlil qilish bilan ma'lumotni tezda qabul qilish va o'rgangan holda qarorlar chiqarish mumkin.
         Yangi mahsulotlar va mahsulotlar. Mijozlarning sog'lig'ini va qoniqishini tahlil qilish orqali o'lchash bilan ularni berish kuchi keladi. Davenportning ta' yukicha, katta ma'lumot bilan ko'proq ma'lumotlarni tahlil qilish jarayoni uchun yangi mahsulotlarni yaratmoqda.

Big Data platformalari. Katta hajmli ma'lumotlar platformalari tizimlariga yuqori tezlikda va keng navlarda aql bovar qilmaydigan hajmdagi ma'lumotlarni qayta ishlash uchun maxsus ishlab chiqariladi. Ushba hajmli ma'lumotlar platformalari turli xil turdagi serverlar, ma'lumotlar bazalari va biznes katta ma'lumotlardan iborat bo'lib, ular ma'lumotlar olimlariga tendentsiyalar va naqshlarni topish uchun ma'lumotlarni manipulyatsiya qilish imkonini beradi. Katta maʼlumotlarga koʻra tushunchaga ega boʻlish uchun har bir atributni koʻrib chiqish foydali boʻladi.

Masshtabdagi farqning ulkanligini oshirish uchun Berkeley Axborot maktabidagi ushbu reytingshni ko'rib chiqing: bir gigabayt HD formatidagi yetti daqiqali videoga teng, bir zettabayt esa 250 milliard DVDga teng. Bu aysbergning faqat uchi. EMC hisobotiga ko'ra, raqamli olam har ikki yilda ikki baravar o'sib va ​​2020 yilda 44 trillion zettabaytga yetgan.

Katta hajmli ma'lumotlar ushbu turdagi ma'lumotlarni qayta ishlash arxitekturasini ta'minlash. Saqlash va qayta ishlash bo'yicha tegishli yechimlarsiz, tegiga yetish qiyinchilik tug'dirardi.

Tezlik. Uni yaratish tezligidan tortib, tahlil qilish uchun zarur bo'lgan vaqtgacha, katta hajmli ma’lumotlar haqida hamma narsa tez. Ba'zilar buni yong'in shlangidan ichishga urinish deb ta'riflashgan. Kompaniyalar va tashkilotlar ushbu ma'lumotlardan real vaqt rejimida foydalanish va undan tushunchalar yaratish qobiliyatiga ega bo'lishi kerak, aks holda bu unchalik foydali emas. Haqiqiy vaqtda ishlov berish qaror qabul qiluvchilarga tezkorlik bilan harakat qilish imkonini beradi, bu esa ularga raqobatda ustunlik beradi.

Ma'lumotlarning ba'zi shakllari ommaviy qayta ishlanishi va vaqt o'tishi bilan dolzarb bo'lib qolishi mumkin bo'lsa-da, katta hajmli ma’lumotlarning aksariyati klipda tashkilotlarga oqib tushadi va eng yaxshi natijalar uchun darhol harakat qilishni talab qiladi. Sog'liqni saqlash qurilmalaridan olingan sensor ma'lumotlari ajoyib misoldir. Sog'liqni saqlash ma'lumotlarini bir zumda qayta ishlash qobiliyati foydalanuvchilar va shifokorlarga hayotni saqlab qolishi mumkin bo'lgan ma'lumotlarni taqdim etishi mumkin.

Turli xillik. Barcha katta hajmli ma’lumotlarning taxminan 95% tuzilmagan, ya'ni ular oddiy, an'anaviy modelga osongina mos kelmaydi. Elektron pochta va videolardan tortib ilmiy va meteorologik ma'lumotlargacha bo'lgan hamma narsa katta hajmli ma’lumotlar oqimini tashkil qilishi mumkin, ularning har biri o'ziga xos atributlarga ega.

2019 yilda tushunish va eng muhimi, axborot massivlari bilan ishlashning ahamiyati o'n yillik boshiga nisbatan 4-5 barobar oshdi. Katta ma'lumotlarning kichik va o'rta biznes sohalariga integratsiyalashuvi, startaplar katta nisbatda bo'ldi:

Bulutli saqlash. Onlayn makonda ma'lumotlarni saqlash va ular bilan ishlash texnologiyalari kichik va o'rta biznes uchun ko'plab muammolarni hal qilishi mumkin: ma'lumotlar markaziga xizmat ko'rsatishdan ko'ra bulutni sotib olish arzonroq, xodimlar masofadan ishlashi mumkin va ofis kerak emas. .

Chuqur o'rganish, sun'iy intellekt. Analitik mashinalar inson miyasini taqlid qiladi, ya'ni sun'iy neyron tarmoqlardan foydalaniladi. O'rganish katta hajmdagi ma'lumotlar asosida mustaqil ravishda amalga oshiriladi.

Dark Data - kompaniya to'g'risidagi raqamlashtirilmagan ma'lumotlarni to'plash va saqlash, ular biznesni rivojlantirishda muhim rol o'ynamaydi, lekin ular texnik va qonunchilik rejalarida zarur.

Blokcheyn. Internet tranzaktsiyalarini soddalashtirish, bu operatsiyalarning narxini pasaytirish.

O'z-o'ziga xizmat ko'rsatish tizimlari - 2016 yildan boshlab kichik va o'rta biznes uchun maxsus platformalar joriy etildi, ularda siz mustaqil ravishda ma'lumotlarni saqlashingiz va tartibga solishingiz mumkin.

3.2.§ BIG DATA KAMCHILIKLARI

Katta ma'lumotlar bilan bog'liq eng katta muammo - uni qayta ishlash narxi. Bu qimmat uskunalar va katta hajmdagi ma'lumotlarga xizmat ko'rsatishga qodir bo'lgan malakali mutaxassislarga ish haqi xarajatlarini o'z ichiga olishi mumkin. Shubhasiz, ma'lumotlar miqdori oshgani sayin minimal ishlashni yo'qotmaslik uchun uskunani muntazam yangilab turish kerak bo'ladi.

Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan katta hajmdagi ma'lumotlar bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni bersa, ob'ektiv bo'lib qolish va umumiy ma'lumotlar oqimidan faqat har qanday hodisaning holatiga haqiqiy ta'sir ko'rsatadiganlarini tanlash juda qiyin.

Katta ma'lumotlarning maxfiyligi muammosi. Aksariyat mijozlarga xizmat ko'rsatuvchi provayderlar ma'lumotlardan onlayn foydalanishga o'tishlari bilan kiberjinoyatchilarning navbatdagi nishoniga aylanish juda oson. Hech qanday onlayn tranzaktsiyalarsiz shaxsiy ma'lumotlarni oddiy saqlash ham bulutli saqlash mijozlari uchun nomaqbul oqibatlarga olib kelishi mumkin.

Axborotni yo'qotish muammosi. Ehtiyot choralari oddiy bir martalik ma'lumotlarni zaxiralash bilan cheklanib qolmaslikni, balki saqlashning kamida 2-3 zaxira nusxasini yaratishni talab qiladi. Biroq, hajm oshgani sayin, ortiqcha ish bilan bog'liq qiyinchiliklar o'sib bormoqda - va IT mutaxassislari ushbu muammoning maqbul echimini topishga harakat qilmoqdalar.

Katta maʼlumotlardan unchalik kam foydalanilmayotganining sabablaridan biri katta maʼlumotlar va katta maʼlumotlar texnologiyalari ham koʻp muammolarni keltirib chiqaradi. Bir tadqiqot shuni ko'rsatdiki, katta ma'lumotlar loyihalarining 55 foizi hech qachon tugallanmagan. Ushbu topilma ikkinchi so'rovda takrorlandi, natijada mahalliy yirik ma'lumotlar loyihalarining aksariyati muvaffaqiyatli emas.

Masshtablilik. Katta ma'lumotlar bilan talab bo'yicha kattalashtirish va pasaytirish juda muhim. Ko'pgina tashkilotlar katta ma'lumotlar loyihasi qanchalik tez o'sishi va rivojlanishini hisobga olmaydilar. Qo'shimcha resurslarni qo'shish uchun loyihani doimiy ravishda to'xtatib turish ma'lumotlarni tahlil qilish vaqtini qisqartiradi. Katta ma'lumotlarning ish yuklari ham tez sur'atda bo'ladi, bu esa resurslarni qaerga taqsimlash kerakligini oldindan aytishni qiyinlashtiradi. Ushbu katta ma'lumotlar muammosining darajasi yechimga qarab farq qiladi. Bulutdagi yechim mahalliy yechimga qaraganda ancha oson va tezroq masshtablanadi.

Iste'dodning amalga oshirish: harakat ma'lumotlarning harakatini amalga oshiradi. Nafaqat ma'lumotlar bo'yicha tadqiqotchilarning ishlashi, balki katta ma'lumotlar loyihasini foydali amalga oshirish uchun qimmatli dasturiy ta'minot uchun dasturiy ta'minot do bilimiga ega bo'lgan ishlab chiqarish ishlab chiquvchilari, ma'lumotlar bo'yicha olimlar va tahllarning murakkab jamoasi talab. Ko'pgina ma'lumotlar sotuvchilari o'zlarining ta'lim resurslarini taqdim etish yoki boshqarishning asosiy ma'lumotlarini ta'minlash orqali bu katta ma'lumotlar muammolarini engishga intilishadi.

Hadoop qiyin. Hadoop va uning atrofidagi energiya ekotizimining katta hajmdagi resurslari va tuzilmagan ma'lumotlar bilan ishlash maqtovga olingan bo'lsa-da, ta'minotni boshqarish yoki oson emas. Texnologiyaga nisbatan yangi bo'lganligi sababli, ko'plab ma'lumotlar tekshiruvi Hadoopni qanday tekshirishni bilishmaydi. Bundan tashqari, Hadoop ko'pincha qo'llab-quvvatlash uchun keng ichki resurslarni talab qiladi va ko'plab kompaniyalar o'z resurslarini olishning katta qismini hal qilmoqchi bo'lgan haqiqiy katta ma'lumotlar muammosiga emas, balki texnologiyaga bag'ishlaydilar . Yuqorida aytib o'tilgan so'rovda respondentlarning 73% katta ma'lumotlar platformasini ko'paytirish katta ma'lumotlar loyihasining eng muhim muammolari ta'kidladi.

KATTA HAJMLI MA'LUMOTLAR AFZALLIKLARI VA KAMCHILIKLARI

BIG DATA AFZALLIKLARI

Katta maʼlumotlar tahlili tashkilotlarga oʻz maʼlumotlaridan foydalanishda va undan yangi imkoniyatlarni aniqlashda foydalanishda yordam beradi. Bu, o'z navbatida, biznesning oqilona harakatlanishiga, samaraliroq operatsiyalarga, yuqori daromad va baxtli mijozlarga olib keladi. IIA tadqiqot direktori Tom Davenport o'zining "Katta kompaniyalardagi Big Data" hisobotida katta ma'lumotlardan qanday foydalanishini tushunish uchun 50 dan ortiq biznes bilan suhbatlashdi. U quyidagi yo'llar bilan qiymatga ega ekanligini aniqladi:
         Xarajatlarni kamaytirish. Hadoop va bulutga asoslangan analitik kabi katta ma'lumotlar texnologiyalari katta hajmdagi ma'lumotlarni saqlashda sezilarli xarajat afzalliklarini keltirib chiqaradi - bundan tashqari ular biznesni yuritishning yanada samarali usullarini aniqlashlari mumkin.
         Tezroq, yaxshiroq qaror qabul qilish. Hadoop tezligi va xotiradagi tahlillar, yangi ma'lumotlar manbalarini tahlil qilish qobiliyati bilan korxonalar ma'lumotni darhol tahlil qilishlari va o'rganganlari asosida qarorlar qabul qilishlari mumkin.
         Yangi mahsulotlar va xizmatlar. Mijozlarning ehtiyojlari va qoniqishini tahlil qilish orqali o'lchash qobiliyati bilan mijozlarga ular xohlagan narsani berish kuchi keladi. Davenportning ta'kidlashicha, katta ma'lumotlar tahlili bilan ko'proq kompaniyalar mijozlar ehtiyojlarini qondirish uchun yangi mahsulotlarni yaratmoqda.

Big Data platformalari. Katta hajmli ma’lumotlar platformalari tizimga yuqori tezlikda va keng navlarda keladigan aql bovar qilmaydigan hajmdagi ma'lumotlarni qayta ishlash uchun maxsus ishlab chiqilgan. Ushbu katta hajmli ma’lumotlar platformalari odatda turli xil serverlar, ma'lumotlar bazalari va biznes razvedka vositalaridan iborat bo'lib, ular ma'lumotlar olimlariga tendentsiyalar va naqshlarni topish uchun ma'lumotlarni manipulyatsiya qilish imkonini beradi. Katta maʼlumotlar mohiyatiga koʻra tushunchaga ega boʻlish uchun har bir atributni batafsil koʻrib chiqish foydali boʻladi.

Masshtabdagi farqning ulkanligini tushunish uchun Berkeley Axborot maktabidagi ushbu taqqoslashni ko'rib chiqing: bir gigabayt HD formatidagi yetti daqiqali videoga teng, bir zettabayt esa 250 milliard DVDga teng. Bu aysbergning faqat uchi. EMC hisobotiga ko'ra, raqamli olam har ikki yilda ikki baravar o'sib boradi va 2020 yilda 44 trillion zettabaytga yetgan.

Katta hajmli ma’lumotlar ushbu turdagi ma'lumotlarni qayta ishlash arxitekturasini ta'minlaydi. Saqlash va qayta ishlash bo'yicha tegishli yechimlarsiz, tushunchalar tagiga yetish qiyinchilik tug’dirardi.

Tezlik. Uni yaratish tezligidan tortib, tahlil qilish uchun zarur bo'lgan vaqtgacha, katta hajmli ma’lumotlar haqida hamma narsa tez. Ba'zilar buni yong'in shlangidan ichishga urinish deb ta'riflashgan. Kompaniyalar va tashkilotlar ushbu ma'lumotlardan real vaqt rejimida foydalanish va undan tushunchalar yaratish qobiliyatiga ega bo'lishi kerak, aks holda bu unchalik foydali emas. Haqiqiy vaqtda ishlov berish qaror qabul qiluvchilarga tezkorlik bilan harakat qilish imkonini beradi, bu esa ularga raqobatda ustunlik beradi.

Ma'lumotlarning ba'zi shakllari ommaviy qayta ishlanishi va vaqt o'tishi bilan dolzarb bo'lib qolishi mumkin bo'lsa-da, katta hajmli ma’lumotlarning aksariyati klipda tashkilotlarga oqib tushadi va eng yaxshi natijalar uchun darhol harakat qilishni talab qiladi. Sog'liqni saqlash qurilmalaridan olingan sensor ma'lumotlari ajoyib misoldir. Sog'liqni saqlash ma'lumotlarini bir zumda qayta ishlash qobiliyati foydalanuvchilar va shifokorlarga hayotni saqlab qolishi mumkin bo'lgan ma'lumotlarni taqdim etishi mumkin.

Turli xillik. Barcha katta hajmli ma’lumotlarning taxminan 95% tuzilmagan, ya'ni ular oddiy, an'anaviy modelga osongina mos kelmaydi. Elektron pochta va videolardan tortib ilmiy va meteorologik ma'lumotlargacha bo'lgan hamma narsa katta hajmli ma’lumotlar oqimini tashkil qilishi mumkin, ularning har biri o'ziga xos atributlarga ega.

2019 yilda tushunish va eng muhimi, axborot massivlari bilan ishlashning ahamiyati o'n yillik boshiga nisbatan 4-5 barobar oshdi. Katta ma'lumotlarning kichik va o'rta biznes sohalariga integratsiyalashuvi, startaplar katta nisbatda bo'ldi:

Bulutli saqlash. Onlayn makonda ma'lumotlarni saqlash va ular bilan ishlash texnologiyalari kichik va o'rta biznes uchun ko'plab muammolarni hal qilishi mumkin: ma'lumotlar markaziga xizmat ko'rsatishdan ko'ra bulutni sotib olish arzonroq, xodimlar masofadan ishlashi mumkin va ofis kerak emas. .

Chuqur o'rganish, sun'iy intellekt. Analitik mashinalar inson miyasini taqlid qiladi, ya'ni sun'iy neyron tarmoqlardan foydalaniladi. O'rganish katta hajmdagi ma'lumotlar asosida mustaqil ravishda amalga oshiriladi.

Dark Data - kompaniya to'g'risidagi raqamlashtirilmagan ma'lumotlarni to'plash va saqlash, ular biznesni rivojlantirishda muhim rol o'ynamaydi, lekin ular texnik va qonunchilik rejalarida zarur.

Blokcheyn. Internet tranzaktsiyalarini soddalashtirish, bu operatsiyalarning narxini pasaytirish.

O'z-o'ziga xizmat ko'rsatish tizimlari - 2016 yildan boshlab kichik va o'rta biznes uchun maxsus platformalar joriy etildi, ularda siz mustaqil ravishda ma'lumotlarni saqlashingiz va tartibga solishingiz mumkin.

3.2.§ BIG DATA KAMCHILIKLARI

Katta ma'lumotlar bilan bog'liq eng katta muammo - uni qayta ishlash narxi. Bu qimmat uskunalar va katta hajmdagi ma'lumotlarga xizmat ko'rsatishga qodir bo'lgan malakali mutaxassislarga ish haqi xarajatlarini o'z ichiga olishi mumkin. Shubhasiz, ma'lumotlar miqdori oshgani sayin minimal ishlashni yo'qotmaslik uchun uskunani muntazam yangilab turish kerak bo'ladi.

Ikkinchi muammo yana qayta ishlanishi kerak bo'lgan katta hajmdagi ma'lumotlar bilan bog'liq. Agar, masalan, tadqiqot 2-3 emas, balki ko'p sonli natijalarni bersa, ob'ektiv bo'lib qolish va umumiy ma'lumotlar oqimidan faqat har qanday hodisaning holatiga haqiqiy ta'sir ko'rsatadiganlarini tanlash juda qiyin.

Katta ma'lumotlarning maxfiyligi muammosi. Aksariyat mijozlarga xizmat ko'rsatuvchi provayderlar ma'lumotlardan onlayn foydalanishga o'tishlari bilan kiberjinoyatchilarning navbatdagi nishoniga aylanish juda oson. Hech qanday onlayn tranzaktsiyalarsiz shaxsiy ma'lumotlarni oddiy saqlash ham bulutli saqlash mijozlari uchun nomaqbul oqibatlarga olib kelishi mumkin.

Axborotni yo'qotish muammosi. Ehtiyot choralari oddiy bir martalik ma'lumotlarni zaxiralash bilan cheklanib qolmaslikni, balki saqlashning kamida 2-3 zaxira nusxasini yaratishni talab qiladi. Biroq, hajm oshgani sayin, ortiqcha ish bilan bog'liq qiyinchiliklar o'sib bormoqda - va IT mutaxassislari ushbu muammoning maqbul echimini topishga harakat qilmoqdalar.

Katta maʼlumotlardan unchalik kam foydalanilmayotganining sabablaridan biri katta maʼlumotlar va katta maʼlumotlar texnologiyalari ham koʻp muammolarni keltirib chiqaradi. Bir tadqiqot shuni ko'rsatdiki, katta ma'lumotlar loyihalarining 55 foizi hech qachon tugallanmagan. Ushbu topilma ikkinchi so'rovda takrorlandi, natijada mahalliy yirik ma'lumotlar loyihalarining aksariyati muvaffaqiyatli emas.

Masshtablilik. Katta ma'lumotlar bilan talab bo'yicha kattalashtirish va pasaytirish juda muhim. Ko'pgina tashkilotlar katta ma'lumotlar loyihasi qanchalik tez o'sishi va rivojlanishini hisobga olmaydilar. Qo'shimcha resurslarni qo'shish uchun loyihani doimiy ravishda to'xtatib turish ma'lumotlarni tahlil qilish vaqtini qisqartiradi. Katta ma'lumotlarning ish yuklari ham tez sur'atda bo'ladi, bu esa resurslarni qaerga taqsimlash kerakligini oldindan aytishni qiyinlashtiradi. Ushbu katta ma'lumotlar muammosining darajasi yechimga qarab farq qiladi. Bulutdagi yechim mahalliy yechimga qaraganda ancha oson va tezroq masshtablanadi.

Iste'dodning amalga oshirish: harakat ma'lumotlarning harakatini amalga oshiradi. Nafaqat ma'lumotlar bo'yicha tadqiqotchilarning ishlashi, balki katta ma'lumotlar loyihasini foydali amalga oshirish uchun qimmatli dasturiy ta'minot uchun dasturiy ta'minot do bilimiga ega bo'lgan ishlab chiqarish ishlab chiquvchilari, ma'lumotlar bo'yicha olimlar va tahllarning murakkab jamoasi talab. Ko'pgina ma'lumotlar sotuvchilari o'zlarining ta'lim resurslarini taqdim etish yoki boshqarishning asosiy ma'lumotlarini ta'minlash orqali bu katta ma'lumotlar muammolarini engishga intilishadi.

Hadoop qiyin. Hadoop va uning atrofidagi energiya ekotizimining katta hajmdagi resurslari va tuzilmagan ma'lumotlar bilan ishlash maqtovga olingan bo'lsa-da, ta'minotni boshqarish yoki oson emas. Texnologiyaga nisbatan yangi bo'lganligi sababli, ko'plab ma'lumotlar tekshiruvi Hadoopni qanday tekshirishni bilishmaydi. Bundan tashqari, Hadoop ko'pincha qo'llab-quvvatlash uchun keng ichki resurslarni talab qiladi va ko'plab kompaniyalar o'z resurslarini olishning katta qismini hal qilmoqchi bo'lgan haqiqiy katta ma'lumotlar muammosiga emas, balki texnologiyaga bag'ishlaydilar . Yuqorida aytib o'tilgan so'rovda respondentlarning 73% katta ma'lumotlar platformasini ko'paytirish katta ma'lumotlar loyihasining eng muhim muammolari ta'kidladi.