Blue Origin показала дизайн капсули для космічних туристів
2 Квітня , 2017
У Голландії влаштують перегони на виживання між дронами (відео)
3 Квітня , 2017

Про “Big data”

«Той, хто володіє інформацією, володіє світом». Схоже, ніколи ще ця фраза не звучала так вірно, як сьогодні. У другому десятилітті 21 століття інформація стала не тільки сировиною, інструментом та зброєю, але й самим головним активом, за володіння яким б’ються корпорації і уряди. Про це ми сьогодні і поговоримо.

У сучасному діловому середовищі,  володіння даними є найважливішим показником успіху підприємства. Багато компаній почали усвідомлювати важливість навичок використання інформації. Сьогодні так звані «великі дані» — це найважливіший тренд, який поширюється на самі різні напрями бізнесу і технологій.

Термін «Великі дані» (Big data) використовується для позначення ініціатив та технологій, які включають в себе різноманітні і стрімко зростаючі активи даних різних категорій. Різноманіття цієї інформації ускладнює їх обробку, і ті, кому вдається це робити на благо свого бізнесу, належать сьогодні до числа успішних.

Big Data передбачає створення великих обсягів складних даних, їх зберігання, вилучення та аналіз. Дисципліна «великі дані» ґрунтується на принципі трьох V — Volume (обсяг), Velocity (швидкість) і Variety (різноманіття).

Обсяг. Двадцять років тому звичайний комп’ютер мав жорсткий диск з середнім об’ємом 10 гб. Сьогодні соціальні платформи, такі як Facebook, щодня обробляють понад півмільярда терабайт даних. Повітряні судна Boeing генерують сотні терабайт льотних даних за один-єдиний рейс. Широке використання смартфонів і планшетів забезпечує вироблення мільярдів терабайт,  постійно оновлюється інформації, яка є такою ж строкатою та різноманітною, як і наш світ.

Швидкість. Системи обліку кліків в Інтернеті кожну секунду аналізують мільйони дій користувачів Мережі. Зміни в стані торгів на фондових біржах оновлюються протягом мікросекунд. Ігрові сервери можуть підтримувати одночасне підключення мільйонів користувачів, які за кожну секунду здійснюють багато дій. Це тільки декілька прикладів, що говорять про те, з якими шаленими темпами генеруються нові дані.

Різноманіття. Поняття «великі дані» поширюється не тільки на літери і цифри: він включає в себе аудіо, відео, розрізнений текст, дані з соцмереж і багато іншого. І там, де одні бачать гігантське звалище непотрібних даних, інші бачать безцінний актив, здатний змінити світ.

Термін Big Data вперше був введений главою компанії o’reilly Роджером Мугалусом ще в 2005 році. Проте питанням про те, як обробляти доступні дані, почали задаватись дуже давно. Насправді,  перші записи про спроби використовувати дані для управління діяльністю підприємств мають вік, що перевищує 7000 років.

Саме в ті часи в Месопотамії почали вести облік збору врожаїв та розведення худоби. Принципи обліку продовжували розвиватись і поліпшуватися, і в 1663 році демограф Джон Граунт почав фіксувати та аналізувати показники смертності в Лондоні. Робив він це для того, щоб громадськість оцінила масштаби поширення бубонної чуми в ті часи.

У своїй книзі «Природні і політичні спостереження над списками померлих» Граунт подарував світові перший в історії статистичний аналіз даних. Книга дозволила пролити світло на основні причини смертей в Англії 17-го століття. Завдяки цій роботі Граунт прославився як першопроходець у сфері статистики.

З тих часів,  принципи обліку даних продовжили поліпшуватись, але нічого екстраординарного в цьому напрямку не виникло до тих пір, поки кінець 19-го століття не сповістив про вступ у інформаційну еру. Нова епоха почалась в 1889 році, коли Герман Холлеріт винайшов обчислювальну систему для сортування даних перепису населення.

Наступний помітний стрибок відбувся в 1937 році, коли посаду президента США займав Франклін Рузвельт. Після того як у Конгресі був ухвалений Закон про державну безпеку, від уряду вимагали вести облік мільйонів американців. У підсумку,  уряд звернувся до компанії IBM з проханням розробити систему зчитування перфокарт, які були призначені для зберігання величезних об’ємів даних.

Однак,  першою машиною для обробки даних,  прийнято вважати систему «Колос», яка була розроблена британцями в 1943 році для розшифровки кодів нацистів під час Другої світової війни. Машина займалась, пошуком патернів, які регулярно з’являлись в перехоплених повідомленнях. Система працювала з рекордною швидкістю і змогла обробляти 5000 знаків за секунду, що дозволяло за пару годин виконувати роботу, на яку раніше йшли тижні.

Перший дата-центр був започаткований американським урядом в 1965 році і був призначений для зберігання мільйонів відбитків пальців і записів про сплачені податки. Записи фіксувались на магнітних стрічках, які систематизували і зберігали в спеціальному приміщенні. Вважається, що це було першим електронним сховищем інформації.

У 1989 році британський фахівець з інформатики Тім Бернерс-Лі винайшов всесвітню комп’ютерну мережу, маючи на меті забезпечити обмін інформацією за допомогою гіпертекстової системи. Тоді він навіть уявити не міг, який вплив на світ зробить його винахід, що згодом дістало назву «Інтернет». Після початку дев’яностих,  все більше пристроїв почало підключатись до глобальної мережі, а значить, темпи генерування даних стали рости ще активніше.

В 1995 році був створений перший суперкомп’ютер. Ця машина була здатна за секунди виконувати роботу, на яку у людині були б потрібні тисячі років. А потім настало 21 століття.

Тут ми знову звернемось до 2005 року, коли Роджер Мугалус ввів термін «великі дані». В цьому ж році компанія Yahoo створила нині відкриту платформу Hadoop, мета якої полягала в індексуванні всього Інтернету. Сьогодні Hadoop використовується мільйонами підприємств для отримання і обробки величезних обсягів даних.

За останні 10 років соціальні мережі стрімко розвивались, а обсяги інформації, генерованої користувачами, щоденно зростали. Компанії та уряди один за іншим почали реалізацію проектів у сфері Big Data. Наприклад, в 2009 році уряд Індії створив найбільшу базу біометричних даних, в якій зберігаються відбитки пальців і скани райдужних оболонок очей всіх громадян країни.

У 2010 році глава Google Ерік Шмідт виступив на каліфорнійській конференції Techonomy, розповівши, що за останні сім років компанія накопичила 5 ексабайт даних. Навряд чи він міг уявити, що до 2017 року аналогічний обсяг інформації буде вироблятись щодня. При цьому,  темпи зростання і не думають сповільнюватись.

Погляд у минуле дозволив нам скласти приблизне уявлення про те, які тенденції нас чекають в майбутньому. Якщо два десятиліття тому найуспішнішими були підприємства, які володіють інформацією, то сьогодні успіх мають ті, хто вміють найкращим чином інтерпретувати і використовувати наявну інформацію. Цілком логічно можна очікувати, що в майбутньому успіх буде залежати від здатності змусити великі дані сприяти у прийнятті вірних стратегічних рішень.

Напевно, у більшості з нас при згадці поняття «великі дані» в голові виникає величезне приміщення, заставлене безліччю серверів з миготливими вогниками. Але,  щоб зрозуміти, що мова йде про дійсно важливий феномен, що змінив правила гри, досить звернутись до кількох прикладів.

Нещодавні вибори президента США показали, наскільки ефективним може виявитись застосування новітніх інформаційних технологій. У той час як Хілларі Клінтон вдавалась до традиційних методів і залучала в свій штаб знаменитостей, команда Дональда Трампа вирішила зосередити увагу на вивченні переваг і споживчої поведінки мільйонів американців. Отримавши точні дані про те, чого хоче електорат, штаб кандидата від республіканців зміг більш ефективно відповідати на запити активних користувачів Інтернету. У підсумку,  перемога Трампа не виглядає такою вже несподіваною, якщо взяти до уваги те, яка велика й результативна робота була виконана.

Або,  візьмемо, наприклад, стрімінг-сервіс Netflix, який за останні роки став одним з найбільш популярних виробників контенту. Поставляючи відеоматеріали глядачам, компанія встигла накопичити величезний обсяг статистичних даних, досконально вивчивши уподобання користувачів: які сюжети їм більше до душі, яких акторів вони люблять, які сцени переглядають кілька разів, а які пропускають. В результаті,  кожен новий серіал Netflix потрапляє в точку і заробляє найвищі рейтинги на IMDB. Якщо ви як і раніше вважаєте, що запорука успіху полягає в таланті шоуранерів, то, швидше за все, ви дуже наївні.

В мікроскопічному масштабі великі дані можна поставити на службу вашому самовдосконаленню. Наприклад, ваш фітнес-браслет або розумний годинник може збирати інформацію про потрачені калорії, пройдену відстань, серцевий пульс, а також,  статистику сну. Збір і аналіз цих даних дозволить вам змінити свої звички, що, при належному терпінні,  має позитивно вплинути на ваше здоров’я і довголіття.

До речі, і в глобальному масштабі великі дані активно допомагають медицині. Вже зараз,  обробка накопичених статистичних даних дозволяє не тільки в лічені хвилини з високою точністю діагностувати різні захворювання, але і ефективно прогнозувати їх виникнення. Це має убезпечити людей від прихованої  загрози і врятувати мільйони життів.

Один з яскравих прикладів — платформа ResearchKit, яку компанія Apple запустила в 2016 році. Завдяки використанню мобільних додатків,  медичні фахівці збирають дані про стан здоров’я користувачів. Це дозволяє не тільки поширювати догляд за хворими за межі клініки і забезпечувати їх якнайшвидше одужання, але і накопичувати необхідні дані для підвищення ефективності взаємодії з майбутніми пацієнтами.

Зрозуміло, великими даними активно користуються і правоохоронні органи. Наприклад, Агентство національної безпеки США користується наявними даними для виявлення та попередження терористичної активності. Корпорації давно користуються рішеннями в цій сфері для профілактики кібератак і несанкціонованих проникнень в системи. Поліція теж експериментує з Big Data, намагаючись,  на підставі інформації з публічних профілів визначати потенційну загрозу для правопорядку того чи іншого громадянина.

Тут незайвим буде згадати показову історію 2014 року, коли чиказька поліція за допомогою комп’ютерної системи склала список з 400 жителів міста, які мають всі передумови для того, щоб порушити закон. Поліцейські відвідали цих громадян і провели з ними профілактичні бесіди, проте історія наробила багато галасу, в першу чергу, через безцеремонне вторгнення в особисте життя. Хоча проект зі скандалом закрили, немає ніяких свідоцтв того, що комп’ютерний аналіз потенційних кримінальних нахилів громадян був припинений.

Хоча епоха великих даних все ще знаходиться на початковій стадії, досягненнями цієї дисципліни вже активно користуються як приватні корпорації, так і уряди. Але головне, щоб цей цінний актив не опинився в тих, хто міг би використовувати його на шкоду людству.

Залишити відповідь

Увійти за допомогою: 
Inline
Inline