Карл Маркс и большие данные

В начале научно-технической революции середины ХХ века компьютер помогал человеку в основном в узкоспециализированных направлениях науки, люди собирали необходимые данные и вводили их в компьютер. С началом новой информационной эры количественный объем собираемых и накопленных данных и технологические возможности их обработки вышли на новый уровень, войдя в повседневную жизнь, став составляющей жизни каждого человека.

Сущность технологии Big Data и перспектив ее развития заключается в превращении практически любых данных в информацию. Такое превращение становится возможным благодаря накопленному количеству данных как общей системы, возможности их автоматической обработки и получения новой информации путем, например, нахождения корреляций, зависимостей и закономерностей.

Несмотря на то, что сегодня полноценно датифицирована лишь небольшая часть жизни среднего гражданина (его действия в Интернете и социальных сетях, платежи и переводы, телефонные разговоры и перемещение, больничная карточка, выражение лица перед камерой смартфона и т.д.), этого уже достаточно, чтобы, включив данные сведения в общую систему фактов, знать об индивиде намного больше, чем он знает о себе сам. Точно так же, как один человек, обладающий большими знаниями, может, посмотрев на какую-нибудь математическую формулу, узнать фундаментальные законы мироздания, а для другого эти же данные окажутся всего лишь набором непонятных символов, так и для компаний, владеющих и использующих большие данные, на первый взгляд не имеющие смысл наборы данных после обработки в общей системе обретают конкретное значение и становятся информацией. Например, изменение средней скорости гражданки по пути на работу, сегодня фиксируемой в хронологии гугл-карт каждого владельца смартфона, не скажет ей самой ничего, кроме того, что ей вдруг захотелось идти на работу чуть медленнее. Однако анализ ее недавнего времяпрепровождения, покупок, состояния погоды и нескольких тысяч других факторов, а также данных и корреляций о поведении миллионов других людей, оказавшихся в подобной ситуации, позволит точно установить, к примеру, ее беременность, даже если она еще не сообщила никому о столь важном событии, а то и вовсе сама о нем не знает. Подобное использование данных, кстати, не является фантастикой, а реальным случаем, произошедшим в США в 2012 году: отец беременной девушки узнал о ее беременности позже маркетинговой компании. Этот прецедент принято считать символическим началом эпохи больших данных. Для раннего определения беременности маркетинговой компании даже не потребовалась высокая вариативность данных, основой послужили лишь производимые девушкой покупки.

Многие данные, пока еще не нашедшие своего применения, сегодня сохраняются и будут использоваться в дальнейшем, рано или поздно создавая информацию в соединении с новыми данными. Здесь можно заметить еще одно фундаментальное и по-своему уникальное свойство данных и информации. При сложении собранных данных объем информации, который можно из них извлечь, больше, чем можно извлечь из каждой базы данных по отдельности. Пауло Коэльо говорил, что радость идет против основ математики: она умножается, когда мы ею делимся. Так вот данные, оказывается, обладают примерно таким же свойством. Подробнее об этом мы поговорим во второй главе. А сейчас пришло время рассмотреть несколько серьезных примеров применения больших данных и оценить влияние, которое они уже оказывают на экономику и нашу жизнь.

Как большие данные меняют мир

Итак, автоматизированная обработка огромных массивов данных, даже в отдельно взятых отраслях, уже сегодня дает невообразимые в недавнем прошлом результаты. Это направление активно развивают многие передовые корпорации, государства и научные сообщества, выделяя большие данные в качестве одного из ключевых векторов своего развития. Нахождение значимых корреляций и построение на основе алгоритмов причинно-следственных связей позволяет решать самые разные задачи, оптимизировать многие процессы.