Posts

Showing posts from February, 2018

A/B-тестирование: смотреть на конверсию vs смотреть на продажи

Image
Сегодня я хочу обсудить один важный момент в процессе анализа результатов A/B-тестов. И хотя это давно избитая тема, в ней есть много нюансов, которые могут изменить ваше решение о том, какой вариант выиграл.

Начнем с того, что до запуска теста, как правило, нужно определиться с целевой метрикой которую мы будем сравнивать между вариантами. Обычно такой метрикой выбирают конверсию.

Зачем это делать?

На то существуют две причины:
Прозаическая - понять, что вы способны посчитать эту метрику и сформировать свои ожидания.Практическая - определить минимальный объем выборки, на котором эти результаты будут статистически значимыми. Будучи, в первую очередь, маркетологом, и лишь затем data scientist, я стараюсь, по возможности, использовать внешние инструменты. Сегодня я покажу вам 3 внешних инструмента, на которые я полагаюсь при оценке A/B-тестов.
Итак, предположим, вы сейчас работаете над увеличением конверсии по добавлению товара в корзину. 
У вас есть гипотеза, что изменив Call-To-Action …