A/B-тестирование: смотреть на конверсию vs смотреть на продажи
Сегодня я хочу обсудить один важный момент в процессе анализа результатов A/B-тестов. И хотя это давно избитая тема, в ней есть много нюансов, которые могут изменить ваше решение о том, какой вариант выиграл. Начнем с того, что до запуска теста, как правило, нужно определиться с целевой метрикой которую мы будем сравнивать между вариантами. Обычно такой метрикой выбирают конверсию . Зачем это делать? На то существуют две причины: Прозаическая - понять, что вы способны посчитать эту метрику и сформировать свои ожидания. Практическая - определить минимальный объем выборки, на котором эти результаты будут статистически значимыми. Будучи, в первую очередь, маркетологом, и лишь затем data scientist, я стараюсь, по возможности, использовать внешние инструменты. Сегодня я покажу вам 3 внешних инструмента, на которые я полагаюсь при оценке A/B-тестов. Итак, предположим, вы сейчас работаете над увеличением конверсии по добавлению товара в корзину. У вас есть гипотеза, что