Веб-аналитика: анализ информации о посетителях веб-сайтов

Применив простой калькулятор статистической значимости, можно установить, что среднеквадратичное отклонение по двум показателям переходов составляет лишь 0,995 и статистически несущественно. Это означает, что различие, вероятней всего, является шумом, порожденным различием в показателях переходов.

Совет. Вы можете загрузить калькулятор статистической значимости с сайта http://www.teasley.net/free_stuff.htm (или непосредственно с URL: http://www.teasley.net/statcalc.xls). Интерактивный калькулятор статистической значимости от Moore Wallace: http://snipurl.com/calc2. Вы можете также проверить оба интерактивных калькулятора, воспользовавшись инструментом проверки от Analytical Group: http://snipurl.com/sigtest.

Во втором случае вы делаете потенциальным клиентам два предложения в составе кампании электронной почты. Результаты деятельности выглядит так:

ответов на предложение 1: 5 300;

заказов: 46;

показатель переходов: 0,87%;

ответов на предложение 2: 5 200;

заказов: 63;

показатель переходов: 1,21%.

Обработка этих чисел на простом статистическом калькуляторе показывает, что два числа дают среднеквадратичное отклонение 1,74, а коэффициент результатов в 95% статистически существен.

Значение в 95% — это четкий сигнал. На его основании, а также выборки 5 000 и более, чем 60 ответов[49] мы можем уверенно заявить, что предложение 2 лучше предложения 1.

На самом ли деле это настолько трудно сделать? Нет! После того как вы загрузили электронную таблицу (http://www.teasley.net/statcalc.xls), достаточно просто вставить свои числа в соответствующие ячейки (либо вы можете посетить один из указанных выше веб-сайтов и вычислить значение). Данная методика применима ко всем граням вашего анализа, включая следующие:

• маркетинговые кампании в поисковых системах;

• различные кампании прямого маркетинга и предложения;

• все виды процентных показателей (например, процент трафика, который достиг цели из точки входа 1 или точки входа 2, или эффективность рекламной страницы, привлекающей посетителей);

• разницу между результатами проверок A/B или многопараметрических проверок.

Вот несколько мощных, но очень тонких преимуществ современной статистической значимости перед простым показателем переходов.

• Вы устраняете из уравнения себя; достаточно грозно заявить: “Согласно богам статистики имеются такие результаты”.

• Сосредоточение на качестве сигнала означает, что мы становимся более интеллектуальными, чем люди, снабжающие нас аналитикой (это может звучать банально, но в мире, переполненном данными и проблемами, важность качества сигнала (signal quality) трудно переоценить, по крайней мере с точки зрения доверия к вам и вашим числам при достижении серьезных бизнес-результатов).

• Вы устраняете из уравнения вопросы (question) и размышления (thinking). Если нечто статистически существенно, то мы принимаем меры, или, наоборот, говорим, что это несущественно и нужно попытаться придумать что-нибудь еще. Никакого составления отчетов, только действенное понимание.

Совет. Рекомендуется стремиться к 95 и выше процентам достоверности. Это не обязательно, но желательно.

“Статистика, как бикини. То, что они демонстрируют, наводит на размышления, но то, что они скрывают, еще интересней”, — Аарон Левенстейн (Aaron Levenstein). Со временем вы поймете, что статистике никто еще не давал столь компетентного определения.

Статистическая значимость — это всего лишь еще один маленький “инструмент” в арсенале статистики. Желательно, чтобы вы (или по крайней мере ваши аналитики) были хорошо осведомлены о статистических принципах и искали релевантные возможности применить их в собственном анализе. Ныне этот тип осведомленности становится почти обязательным, поскольку мы энергично вторгаемся в такие области, как многопараметрическая проверка.

Используйте удивительную мощь сегментации

В этой книге мы рассмотрели много примеров сегментации, даже если они не были описаны явно. На настоящий момент, опираясь либо на мнение настоящей книги, либо на собственный опыт анализа, вы, вероятно, уяснили, что абсолютные числа (KPI), которые представляют лишь отдельное значение, бывают редко полезны. Например, о чем говорит количество переходов в мае? Само по себе ни о чем.

Поняв, что составление отчетов с одними текущими числами не слишком полезно, все мы переходим к измерению тенденций, которые придали бы более обстоятельный контекст нашим показателям. Например, какова тенденция моего показателя переходов с января по май (или даже лучше с мая прошлого года по май нынешнего)? Полученная в результате таблица или график предоставит хороший контекст для текущей эффективности (она выше или ниже, чем за аналогичный период прошлого года).