Карл Маркс и большие данные

Недостатком или, скорее, особенностью применения технологии анализа больших данных является то, что, с одной стороны, она позволяет дать ответы на самые трудные вопросы и показать скрытую информацию, а с другой, часто существует сложность в объяснении причин выявления той или иной полученной информации. Проще говоря, анализ больших данных в нынешних условиях (с существующими компьютерами и алгоритмами) в основном отвечает на вопрос «что?», но не «почему?». Это, кстати, стало одной из причин отказа китайских властей от массового использования системы борьбы с коррупцией Zero Trust: алгоритм крайне эффективно находил коррупционеров, но не мог объяснить или доказать их причастность к экономическим преступлениям²⁵.

Сегодня мы находимся лишь на заре новой революции. Многочисленные примеры эффективного использования больших данных имеются еще как минимум с начала ХХ века, но задача получения максимально быстрого и точного ответа на поставленные вопросы диктует мировой экономике и обществу необходимость массового внедрения современных технологий — в первую очередь систем сбора и обработки данных, получения максимально быстрого и точного ответа на поставленные вопросы.

Вместе с тем в наши дни обработка больших данных сопряжена с огромным количеством сложностей. Для того чтобы в наши дни найти ответ на любой поставленный вопрос, в подавляющем большинстве случаев не хватает данных, представляющих различные аспекты исследуемого предмета. Датификация по-прежнему охватывает лишь определенную, не столь значительную часть нашей жизни. Когда же набирается большой объем данных, из них порой становится еще сложнее выделить релевантные значения, отсеяв малозначимые сведения. В итоге решение принимается на основе лишь малой толики реально существующей информации. Ошибки датчиков или других инструментов сбора данных могут остаться незамеченными и испортить целые информационные системы. Наконец, существует проблема ложных корреляций, когда найденные закономерности не всегда могут говорить о реальности взаимосвязей между предметами (вроде корреляции между ежегодным количеством фильмов с Томом Хэнксом и жертв транспортных происшествий), что ставит под угрозу целесообразность всех принятых на основе анализа больших данных решений.

Строительство железных дорог в свое время также проходило с большими трудностями: скептики могли считать, что пройдет год-другой и люди бросят прокладку дорогущих рельсов протяженностью тысячи километров и вернутся к старым добрым лошадям. Однако эффективность новых технологий, огромные прибыли и само время неминуемо ломали старые каноны, изменяя привычный уклад жизни каждого человека до неузнаваемости. В области обработки больших данных прогресс мчится вперед с огромной скоростью, возможно, опережая наше о нем представление. Всего десять лет назад сам термин big data встречался в основном в узкоспециализированной литературе (и в другом значении), тогда как сегодня подобный подход к получению информации и связанные с ним возможности развития экономики и общества вызывают все больший интерес и широко обсуждаются. Совсем недавно обработка больших данных казалась сложным процессом, доступным лишь серьезным ученым и крупным компаниям, а в наши дни уже создан широкий общедоступный инструментарий, позволяющий любому человеку освоить азы работы с большими данными, собирать данные, извлекать из них информацию для продажи или личной пользы. Информационные корпорации вроде Google создают общедоступные интерфейсы, предоставляющие пользователям конечную информацию как результат обработки больших данных (например Google Trends, Correl и т.д.).

Новорожденный ребенок, открывая глаза, получает огромное количество новой информации; для выработки системы ее обработки уходят дни, пока он не научится в полной мере пользоваться новым инструментарием. Так же и человек, получивший доступ к большим данным и компьютеру, еще не в полной мере может разобраться в них, однако с каждым годом их обработка и анализ становятся возможны все более широкому кругу, а инструментарий постоянно упрощается.

Мы можем представить, как в недалеком будущем с развитием технологий и общедоступных инструментов обработки данных человек сможет взглянуть на предмет и сразу получить ответ на многие вопросы, сегодня кажущиеся нам нерешаемыми.

Человек и большие данные