Posts

Showing posts from July, 2018

A/B-тестирование: последовательное семплирование как способ закончить A/B-тест раньше

Image
Итак, недавно в закрытом комьюнити reforge поднимался вопрос про A/B-тесты и доверительные интервалы. И там, Brian Balfour (бывший VP Growth @ HubSpot), упомянул, что помимо работы с p-value важно:
формировать сильные (читай - со значительными изменениями) гипотезы и стремиться закончить успешный A/B-тест как можно раньше. Сейчас мы не будем обсуждать первый аспект - как формировать сильные гипотезы. Обычно, в каждом конкретном случае, нужно оценивать нужды каждой группы пользователей и отдавать себе отчет в реальной ценности, которую продукт дает клиентам на этом этапе, а также насколько эта ценность четко коммуницируется.

Но второй аспект - время на завершение теста - более универсален и часто может прорабатываться без такого глубокого погружения в контекст продукта.

Начну с того, что позволю себе напомнить с чего начинается запуск A/B-теста:
взять цифру базовой конверсииоценить ожидаемый прирост конверсии (лифт)рассчитать размер минимально необходимой выборки Здесь важно отметить два…