o fd19e75e1d80dff4

Пэт Ходжилл, профессор, писатель-фантаст

266

На последнем рабочем месте в Procter & Gamble я должен был разработать стратегию

маркетинговых измерений — придумать способ определения эффективности рекламы нашей

компании в сети. Каждый год P&G тратила миллионы долларов на рекламные баннеры,

продвижение в поисковой системе и создание видеороликов. Я должен был понять, стоят ли

результаты затраченных денег.

В процессе работы моя команда выяснила, что система, которую мы использовали для

подсчета уникальных посетителей наших сайтов, работала неправильно. Она учитывала не

только реальных пользователей, но и поисковых роботов, которые заходили на наши интернет-

страницы по несколько раз в день. Иначе говоря, мы попали в ситуацию мусор на входе —

мусор на выходе, и все наши измерения оказались бесполезными.

Естественно, мы рекомендовали модернизировать систему подсчета посетителей. Но наше

предложение не вызвало энтузиазма в компании. Все сотрудники знали, что собираемые

системой данные бесполезны, но, похоже, им было все равно. Странно, правда?

Проблема заключалась вот в чем: установка новой системы подсчета сильно уменьшила бы

количество уникальных посетителей сайта, то есть то, что большинство считало ключевым

показателем деятельности. Будучи более точной, новая система выставила бы их работу

сотрудников в невыгодном свете. Исправлению ошибки они предпочли дальнейшую жизнь во

лжи и сами поставили под сомнение свою способность увеличить эффективность работы сайта.

Аналитическая честность означает беспристрастные измерение и анализ имеющихся у вас

данных. Поскольку мы, люди, существа социальные, нам свойственно переживать из-за того, что

подумают о нас другие, и это заставляет нас приукрашивать реальность. Если вы действительно

хотите произвести улучшения, такое стремление может помешать сбору точных данных и

проведению объективного анализа.

Чтобы сохранить объективность по отношению к данным, лучше всего попросить, чтобы их

оценил человек не заинтересованный, со стороны. Поддаться искажению, вызванному

стимулированием, и предвзятости подтверждения легко, когда на кону стоит ваше

социальное положение. Наличие опытного, но беспристрастного третьего лица, которое проверит

ваши методы измерения и анализа, имеет огромное значение: может быть, вам и не понравятся

его выводы, но по крайней мере вы будете точно знать, как обстоят дела.

Снимите розовые очки и постарайтесь объективно принять те данные, которые в конечном

счете помогут вам совершенствовать вашу систему

Контекст

Чтобы что-то понять, нужно знать контекст.

Ричард Рабкин, психиатр

267

В этом месяце ваш доход составил 200 тысяч долларов. Это хорошо или плохо?

Зависит от обстоятельств. Если в прошлом месяце вы заработали 100 тысяч долларов — это

хорошо. А если в этом месяце вы потратили 400 тысяч долларов — это плохо.

Контекст — это использование соответствующих измерений с целью предоставления

дополнительной информации о данных, которые вы исследуете. Чтобы выбрать между «хорошо»

и «плохо», недостаточно знать свой доход — нужна дополнительная информация. Размер дохода

за предыдущий месяц и расходов в нынешнем месяце и есть тот контекст, который поможет

прояснить всю ситуацию.

Обобщенные измерения практически всегда бесполезны, особенно когда речь идет о

реальных улучшениях, поскольку они лишены контекста. То, что на ваш сайт в этом месяце

зашло 2 миллиона пользователей, ни о чем не говорит. Без контекста вы не можете определить,

было ли внесено в систему какое-либо изменение или насколько эффективно она работает, а

это, в свою очередь, ограничивает вашу способность ее усовершенствовать.

Старайтесь принимать во внимание не только цифры, но и контекст: без него вы рискуете

пропустить какое-нибудь важное изменение в данных. Даже зная «общий показатель качества»

или то, что доход увеличился или уменьшился, вы не сможете понять, важно это или нет и

почему так произошло (случайность это или следствие какого-то изменения в системе или

среде).

Возьмите себе за правило всегда рассматривать каждое измерение в контексте с другими

измерениями.

Выборка

Если вы не верите в теорию выборки, в следующий раз, когда пойдете к врачу, попросите

его взять всю вашу кровь.