Причины, по которым проведенное "А/Б-тестирование" обманывает вас

- Важно провести тестирование! – кричат одни.
- Да, без тестирования никуда! – повторяют за ними другие.
Но что же в итоге? В этой статье мы расскажем правду про А/Б.

Теория проведения тестов проста как 2 пальца:

1. 
   Гипотеза: «Одно изменение – гарантия увеличения конверсии»;
2. 
   Делаем «Б»- версию сайта, повторяющую «А», после чего вносим изменения в определенную деталь;
3. 
   Делим всем пользователей на 2 части: одной показываем версию «А», другой – версию «Б»;
4. 
   Считаем конверсию и видим, какая из страниц сработала лучше
   

Но вся теоретическая красота разбивается в пух и прах, когда начинаются нормальные работы над проектом. И приходит осознание, что цепь «тест-замер-результат-следующий тест» - полная фигня.

Конверсия - переменная величина. Поэтому она распределяется в заданном интервале с расчетной вероятностью (зависит от количества "приходов" и заказов). В общем-то, это вы знали и без нас.

Но в ходе осуществления работы над сайтами мы столкнулись с проблемами и нюансами, которые важно принимать к сведению. Если ваш тест провели с ошибкой, то вы получите неверное решение. А после этого «влетите» на серьезные суммы убытков.

Мы собрали наиболее типичные ошибки, на которых набивали шишки мы и наши клиенты.

1. 
   Процент аудитории
   

В чем суть этой распространенной ошибки? При запуске тестирования не проверяют, какая аудитория (или ее часть) принимают участие в тесте. Вам важно сделать так, чтобы вся аудитория, прошедшая через тест, была в одном сегменте рынка. В противном случае вы получите неправильные результаты.

1. 
   Равномерное распределение вашей целевой аудитории
   

Думали, что сможете просчитать долю аудитории - и хватит с вас? НЕТ! Вам важно сделать так, чтобы аудитория сайта была распределена равномерно между сегментами теста. Если в настройках установлено банальное деление по половинкам, есть повод серьезно задуматься и переживать. Вполне возможно, что трафик распределился не так, как нужно.

Кстати! Бывает и такое, что на одну страницу идет одна целевая аудитория, а на вторую – другая. В результате вы получаете примерно такую картину: на страницу «А» идет холодная ЦА, на страницу «Б» - теплая. О какой справедливости и объективности при проведении теста можно говорить?

Поэтому мы рекомендуем вам ВСЕГДА проверять равномерность распределения трафика по срезам, которые вам доступны (платформа, город, браузер – это как минимум).

1. 
   А что будет, если… сотрудник?
   

Да, интересная ситуация. Иногда они попадают в один из сегментов теста и оформляют поступившие по телефону заказы. Получается, что в статистике вы видите заказы и конверсию. И это неправильно. Такое положение дел искажает итоговые результаты, и вы получаете кривую статистику. Чтобы ее исправить, придется провести сравнение с отчетом по сетям в Google Analytics.

И тогда вы увидите: человек приходил на сайт 14 раз. А покупок оформил 35 раз. Это говорит, что перед вами «заблудившийся» сотрудник портала. Он портит всю статистику.
Как провести финальную оценку?

При осуществлении финального анализа вам важно просчитать:

• 
  Рост по выручке в процентном выражении;
• 
  Средний чек для вашего сайта;
• 
  Увеличение/снижение конверсии.
  

Само собой, бизнесу не хочется смотреть на цифры, если все ваши потуги не приносят результата в денежном выражении. Поэтому предприниматели горящими глазами смотрят в объем выручки.

В жизни же ни один инструмент, использующийся для случайного разделения трафика (именно для случайного!) не гарантирует вам получение 100% объективного результата. Поэтому вам придется использовать показатель «выручка на посещение».

Что такое «выручка на посещение»?

Мировой KPI, который используется при осуществлении A/Б-тестов. Использование инструмента позволяет четко отследить: где были указаны заказанные с сайта товары; а где вы получили 100% оплату и исполненную выручку. Это совершенно разные вещи, и их путаница приведет к тому, что вы будете работать с неэффективными страницами.

Внимание! Без проведения пост-теста анализа результатов все ваши работы просто бесполезны. Это как накраситься, красиво одеться, но никуда не пойти.

Практический кейс от нашей компании. Смотрите. Мы ведем анализ и видим, что прирост выручки получился на уровне + 16,7%. Казалось бы, можно танцевать от счастья. Но на деле все получается не так. Как только вы включаете в отчет данные по типу устройство, сразу все изменяется. В результате рост выручки по "компьютерному" трафику у вас 71% и больше. А на планшетах полная просадка.

Именно по этой причине и важно проводить пост-тест анализ, чтобы еще раз убедиться: косяков нет. Иначе вы просто упустите данные, минимизируете прибыль и результаты клиентов.
А что же такое статистическая достоверность?

Еще одно понятие, которым часто «козыряют». К сожалению, просто козыряют, потому что решение о внедрении изменений на сайт принимается не после А/Б-теста, а после исследования статистической достоверности.

К примеру, для ее подсчета могут использоваться разные online-инструменты. Но не достоверностью единой.

Опыт нашей компании показывает, что вам важно принимать к сведению и другие факторы.

Средний чек: какой он и как работает?
Что такое выручка интернет-магазина? Это средний чек + конверсия. И если с конверсией все более-менее просто, то вот статистическая достоверность изменения среднего чека сложна в подсчете. Но если ее не сделать, клиент снова получит «не те» результаты.

Почему так происходит? Допустим, за время анализа был сделан заказ на сумму в 1 000 000 рублей. Это практически 10% от всей выручки, которая была получена за время тестирования. Но значит ли это, что результаты по статической достоверности верны? Нет.

С точки зрения среднего чека существует 2 подхода к проведению пост-тест анализа

1. 
   Простой и элементарный. Здесь все примерно так: берем несколько процентилей снизу и сверху (примерно 3-5%), после чего отсекаем их.
2. 
   Сложный. Это так называемая «байесовская статистика». Пока не вникайте детально, пускай будет так, как есть. Инструмент позволяет оценить достоверность среднего чека.
   

Каждый из вариантов требует определенных затрат.

Внимание! Когда вы запускаете тест, смотрите, как долго он длится. Совет, наработанный практикой и опытом, такой: никогда не запускайте тест перед и после гендерных праздников. Не стоит баловаться с тестами по выходным и праздничным дням.

Если вы хотите получить точные результаты, обращайте внимание и на сезонность получения зарплат. Обычно после их выдачи растут продажи элитных товаров (гаджеты, электроника и другие). Вы поняли, когда их необходимо предлагать потенциальным клиентам, чтобы получить максимальный результат?

Есть зависимость между средним чеком и временем совершения покупки

Чем дороже стоит товар, который вы продаете, тем больше покупателю необходимо времени на его покупку. Эта зависимость обнаружена давно, и она проверена не один раз. К примеру, есть покупатели, которые могут раздумывать над совершением покупки до 2-х недель (и больше).

Это значит, если делать А/Б-тест на протяжении меньше 1-й недели, то мимо вас в буквальном смысле "пролетят" 10%. А это значит, что и сведения будут поданы неправильно.
Каким образом провести на 100% идеальный А/Б-тест?

Наша компания готова предоставить вам несколько важных советов:

1. 
   Весь трафик необходимо разделить 50/50 (а еще лучше делать это при помощи балансировщика)
2. 
   Проводим А/А-тест. Никаких изменений на самом сайте, мы просто применяем разные идентификаторы для сегментов пользователей
3. 
   Пост-тест анализ. В ходе работы мы исключаем сотрудников компании, убираем все экстремальные значения, проверяем сведения по конверсии. Только на основании их принимаем решения о внесении изменений и дополнений, чтобы не ошибиться на ровном месте
   

Остается только сделать верный шаг и наслаждаться результатами проверенной работы. Наша компания занимается разработкой сайтов и осуществлением А/Б-тестов на протяжении долгих лет. Мы накопили опыт, который позволяет нам гарантировать отличный результат. А это значит, что с нами ваши продажи будут гарантированно расти и радовать вас. Вместе мы добьемся большего и сможем наслаждаться итогами работы легко и непринужденно. Настолько, что вы будете радоваться каждому моменту, потоку прибыли