Разберись в Data Science

Все это очень трудно измерить. Благодаря кодированию информации данные позволяют нам приблизиться к ответам на эти вопросы, но в целом используемые нами данные представляют собой некоторую замену того, что мы пытаемся измерить. И степень, в которой такие данные отражают реальность, варьируется[33].

Поскольку измерение таких сложных показателей, как капитал бренда и репутация, требует косвенных приближений, вы должны быть максимально правдивыми и честными в отношении ваших данных.

Сомневайтесь в данных любого размера

Может показаться, что сбор большего количества данных позволяет решить проблемы, присущие ограниченным выборкам. Однако не стоит думать, что чем больше выборка, тем надежнее данные. Если данные собраны должным образом, то большая выборка может помочь, однако в случае наличия предвзятости дополнительные данные вас не спасут.

Недолговечная шумиха вокруг больших данных предполагала, что большее количество данных само по себе может обеспечить большую научную строгость. Не думайте, что набор данных слишком большой для того, чтобы с ним спорить. Статистика не предполагает какого-либо порогового значения для размера выборки, превышение которого автоматически избавляет ее от предвзятости. Статистика предполагает поиск компромиссов между тем, что вы хотите узнать, и имеющимися у вас данными[34].

Подведение итогов

Мы начали эту главу с обсуждения данных о катастрофе шаттла «Челленджер», но перенесли их на пример с автомобилем. Как было сказано в начале этой книги, умные люди и организации нередко допускают ошибки в данных.

Вот почему мы перечислили вопросы, которые вам следует задать, и различные проблемы, которые эти вопросы позволяют выявить. Мы рекомендуем вам использовать эти вопросы, чтобы глубже изучить проблемы, связанные с вашими данными. Вы можете самостоятельно придумать дополнительные вопросы. Мы настоятельно рекомендуем вам поделиться этими вопросами с вашей командой, чтобы согласовать усилия всех ее членов. Постоянно задавая сложные вопросы, главные по данным демонстрируют свою способность анализировать данные и подают хороший пример другим.

Глава 5 Исследуйте данные

«Если вы заставляете дата-сайентиста выуживать данные… то заслуживаете тот плохой анализ, который в итоге получаете»[35].

– Томас Рэдман, «Доктор данных» и автор статей для журнала Harvard Business Review

Реализация проектов по работе с данными никогда не оказывается такой простой, какой ее пытаются представить руководству. Как правило, заинтересованные стороны видят отполированную презентацию в PowerPoint, в которой описан четкий путь от вопроса к данным, необходимым для нахождения ответа. Однако здесь отсутствуют все важные решения и допущения, сделанные аналитиками на этом пути. Хорошая команда дата-сайентистов идет не линейным, а извилистым путем, адаптируясь к совершенным по дороге открытиям. По мере продвижения они возвращаются к более ранним этапам и обнаруживают новые пути.

Этот итеративный процесс обнаружения и тщательного изучения данных известен как разведочный анализ данных (EDA, exploratory data analysis). Он был предложен статистиком Джоном Тьюки в 1970-х годах в качестве способа осмысления данных с помощью сводной статистики и визуализации перед применением более сложных методов[36]. Тьюки рассматривал EDA как работу детектива, полагая, что подсказки скрыты в данных, а их правильный анализ может подсказать следующие шаги. По сути, EDA – это еще один способ «поспорить» с имеющимися у вас данными. Это фундаментальная часть всей работы с данными, которая одновременно задает и меняет направление развития проекта, исходя из сделанных открытий.

Разведочный анализ данных и вы

Идея разведочного анализа данных может показаться кому-то некомфортной, поскольку она обнажает субъективную природу (искусство?) работы с данными. Если поставить перед двумя командами одну и ту же проблему и предоставить им одни и те же данные, то, используя разные методы анализа, они могут прийти к одинаковым или к разным выводам. На этом пути любые две команды (или два специалиста) вряд ли сделают все одинаково, поскольку для решения поставленной проблемы каждый человек будет использовать свой особый опыт, идеи и инструменты.

Поэтому в этой главе мы описываем разведочный анализ данных как непрерывный процесс, поддержание которого – обязанность главного по данным вне зависимости от того, является ли он рядовым специалистом или руководителем высшего звена. Вы узнаете, какие вопросы следует задавать и на что следует обращать внимание при изучении данных.