Big Data

Big Data

У сучасному світі навіть маленький датчик може передавати гігабайти інформації в день. Фраза «Великі дані – це нова нафта» стала гаслом великої сфери науки та бізнесу, об’єднаної терміном Big Data. Тепер необхідно зрозуміти, що з цими даними робити. І як на них заробити.

Зміст статті:

  1. Паливо для розвитку суспільства;
  2. Як вони є;
  3. Даних мало не буває;
  4. На тверезу голову.

Паливо для розвитку суспільства

Звичайно, Big Data не є новою нафтою: інформація – ресурс нескінченний, більш того, з безперервно зростаючими обсягами «видобутку». Технологічний розвиток дає все більше її джерел. Компанія Cloudera може збирати 1 гігабайт інформації в день з одного (!) напульсника. Baker Hughes, одна з найбільших нафтогазових обслуговуючих компаній, в одному зі своїх досліджень збирала терабайти інформації в день з однієї вантажівки.

Як і сиру нафту, «сирі» дані мало хто зміг би використовувати ефективно. Але як «чорне золото» перетворюється в бензин, пластмасу, каучук, так і масиви даних перетворюються у вкрай корисну аналітику. А головне – Big Data, як і нафта за минуле сторіччя, може стати «паливом» для розвитку суспільства.

Чи можна заробити мільярди на даних, як на вуглеводнях? Принаймні їх можна заощадити. Neo4j, система управління базами даних, тільки в одному кейсі NASA заощадила 2 роки роботи інженера і, відповідно, мільйони доларів: серед величезного масиву наявної інформації вдалося розшукати результати дослідженні, які в іншому випадку довелося б проводити з нуля.

Таких користувачів – від Adidas до Всесвітнього економічного форуму – у одній тільки однойменної компанії Neo4j близько 80 (при статусі «невеликого стартапу»!). Скільки ж економлять такі команди!

Big Data

Big Data: Як вони є

Можливо, ви чули про те, що вантажівки кур’єрської служби UPS рідко звертають на перехрестях наліво. Якщо чули, то напевно знаєте і про причини. У США, як і в багатьох інших країнах, навіть на червоний сигнал світлофора можна повертати направо, пристроюючись до рухомого потоку, тоді як для повороту наліво доведеться почекати зеленого сигналу. В інших випадках при повороті наліво водієві доведеться спочатку пропустити трафік в обидві сторони. Таким чином лівий поворот – втрати бензину та часу.

Але ж така логістична стратегія не зі стелі взялася – вона пройшла ретельну наукову перевірку. UPS сильна в технологіях обробки даних: 2 дата-центри в США, 21 тисяча серверів, понад 230 тисяч підключених «робочих станцій», носії на 25 пікобайт (в 6 разів більше, ніж річні дослідженні Великого адронного коллайдера). Завдяки логістичним дослідженням вдалося почати вибудовувати економічні та швидкі маршрути. За оцінкою самої UPS, її економія – 38 млн. літрів палива на рік. А згадана вище Baker Hughes тепер зможе скоротити витрати на експлуатацію вантажного транспорту на 30-40%.

Відео «Hadoop. Введення в Big Data і MapReduce» (рос.):

Big Data

Даних мало не буває

Для нашої країни Big Data – поки лише трендова тема для ЗМІ. Як такого вітчизняного ринку ще не існує, частково – через відсутність цих даних.

Олександр Нікс, творець Cambridge Analytica, яка працювала з Big Data для кампанії Дональда Трампа, в кінці вересня відвідав конференцію IT Arena. В одному з інтерв’ю він розповів, що на кожного американця можна зібрати 4-5 тисяч «елементів даних», від політичних уподобань до хобі. Цьому сприяють законодавство США та глибока діджіталізація.

Олександра тим часом всюди супроводжують паперові картотеки. При цьому, за даними СЕDOS, до 30% проживають не за адресою реєстрації, більшість користується на умовах передплати, тобто частково передплаченим, мобільним зв’язком.

Не можна сказати, що у нас не затребувані великі дані. Навпаки. Торгівля найрізноманітнішими базами – справа прибуткова та часто незаконна. Незатребуваними залишаються послуги з їх обробки, аналітики. Верхня планка роботи з Big Data: купити базу поштових адрес з іменами мешканців, «виявити» серед них жінок і відправити їм однакові рекламні пропозиції.

Інтерес до даної сфери мінімальний: на найбільшому рекрутинговому інтернет-ресурсі ми знайшли лише близько 100 вакансій, як-то пов’язаних з Big Data. Жоден з цих роботодавців не спеціалізується на великих даних. Взагалі у нас фірми з такою або близькою спеціалізацією по пальцях перерахуєш. Навіть на Data-конференціях в нашій країні спікери швидше або гості, або аналітики, що працюють на компанії іншого профілю (телекомунікації або, наприклад, ритейл).

Втім, на це вам можуть змовницьки відповісти, що в нашій країні най-най фахівці працюють з Big Data «тихо» і конференцій не відвідують…

Користь big data

На тверезу голову

Для кого дані дійсно стали «новою нафтою», так це вітчизняні вузи. Основа революційної Big Data криється в старій нудній математиці. Вузам залишалося лише трохи модернізувати спеціальність «Прикладна математика». Так напрямок, що ще десяток років тому ледь набирав абітурієнтів за держзамовленням, «раптово» виявився перспективним: маса зацікавлених, високий цінник (понад $ 3000 за магістерську півторарічну програму в одному з приватних вузів), готовність ІТ-компаній оплачувати навчання таких фахівців.

Скептики називають Big Data черговою мильною бульбашкою, пророкуючи таке ж швидке падіння інтересу, яким швидким було зростання. Можливо, великі дані дійсно підуть з топ-тем спеціалізованих ЗМІ, а їх роль буде оцінена більш тверезо (Трамп переміг аж ніяк не завдяки аналізу відомостей про виборців). Але мильні бульбашки не виникають на базі математичної науки та не допомагають NASA економити по парі мільйонів за один захід …

Rating
( No ratings yet )
Like this post? Please share to your friends:
Роби Бізнес, Укр
Залишити відповідь

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: