Веб-аналитика: анализ информации о посетителях веб-сайтов

Проверка A/B — первое пробное погружение в мир проверки. Ее чрезвычайно просто создать и реализовать (препятствие, как всегда, — найти хорошие идеи для проверки). Если ваша платформа по какой-либо из причин не позволяет проводить параллельные проверки, вам придется делать это последовательно. Пуритан стошнит, конечно, но делать это нужно. Попытайтесь по возможности контролировать внешние факторы, но если не получается, придется подучиться и сформировать у организации правильное мировоззрение относительно направления. Проверка A/B все еще полезна для больших изменений.

Стр. 272

Неделя 2: выход за пределы проверки A/B

Проверка A/B конечно вводит нас в мир проверки, но в мокрых носках. Если вебсайт огромен и необходимо большое количество проверок, то самое время организовать проверку нескольких вариантов одновременно, а с простой проверкой A/B это сделать трудно. Это связано со сложностью процессов, множеством препятствий, которые придется преодолевать, чтобы получить достаточно ресурсов, и временем, необходимым на проверку всех ваших идей (осуществляемую, по сути, последовательно). Если находите, что это связывает вам руки, значит, пришло время выходить за пределы проверок A/B.

Понедельник: краткий обзор многопараметрической проверки

В настоящее время многопараметрическая проверка (multivariate testing) — это прекрасное дитя на пьедестале, вызывающее много шума и разговоров. В приведенной выше проверке A/B предстояло создать три страницы. Теперь вообразите, что страница разделена на модули (т.е. части). В результате имеется только одна страница, но она может изменяться динамически, в зависимости от отображаемых ею модулей и ее трафика. Затем представьте, что все это можно поместить в сложный математический процессор, который сообщит вам не только версию сработавшей страницы, но и корреляции.

Рис. 10.2 демонстрирует, как такая проверка могла бы выглядеть и работать. Можно взять стандартную домашнюю страницу и разделить ее на логические элементы (некоторые производители называют их зонами (zone)). Страница на рисунке имеет четыре элемента (их может быть сколько угодно). Используя многопараметрическую проверку, можно проверять содержимое по каждому элементу, но что важнее всего, можно проверять несколько фрагментов содержимого каждого элемента. Ну разве это не замечательно!

Так, например, вы могли бы иметь три части содержимого или новшеств в каждом из четырех элементов (рис. 10.3) и экспериментировать с тремя различными частями содержимого в элементе #1, представленном на рис. 10.2.

Реальные многопараметрические проверки сразу и радикально меняют многие вещи. Это основное различие между ними и проверками A/B.

В примере на рис. 10.2, если применять по три альтернативы для каждого из четырех элементов, получится 81 возможная комбинация. Используя имеющиеся в наличии решения производителя по многопараметрической проверке (Multivariate Testing, MVT), вам не придется создавать 81 страницу. Платформа проверки сама позаботится о создании комбинаций. Кроме того, вам даже не придется проверять все разнообразные перестановки и комбинации; вы можете применить метод Тагучи (Taguchi), который в приведенном выше случае мог проверять только восемь версии (называемых также рецептами (recipe)) и все равно вычислить результат, как будто проверен все 81 вариант.

Рис. 10.2. Многопараметрическая проверка

Рис. 10.3. Преимущество многопараметрической проверки: несколько версий на каждый элемент

В конце проверки можете получить данные, которые отобразят статистическую значимость ее результатов. Рис. 10.4 демонстрирует результаты изменения трех разных вариантов исследуемой веб-страницы: Subheading (Подзаголовок), Hero shot (Снимок героя) (главное изображение на странице), наличие кнопки Buy Now (Купить сейчас) или ее отсутствие. Эти результаты указывают, что первые два варианта многообещающи, а третий фактически вреден. Весь математический комплекс применяется самостоятельно, а результаты предоставляются в простом и наглядном виде.

Рис. 10.4. Статистическая значимость результатов проверки

Вторник: преимущества и недостатки многопараметрической проверки

Поскольку это очень важно, резервируем целый день, чтобы рассмотреть все преимущества и недостатки многопараметрической проверки. Из всех методик, находящихся в вашем распоряжении, вы, вероятней всего, реализуете именно эту как самую быструю. Хотя это чрезвычайно хорошая и полезная методика, она имеет ряд недостатков, которые следует учитывать, чтобы не преувеличивать перед руководством полученные результаты и оптимально реализовать возможности многопараметрической проверки.

Преимущества многопараметрической проверки