Posts

Showing posts from July, 2018

A/B-тестирование: последовательное семплирование как способ закончить A/B-тест раньше

Image
Итак, недавно в закрытом комьюнити  reforge поднимался вопрос про A/B-тесты и доверительные интервалы. И там, Brian Balfour (бывший VP Growth @ HubSpot), упомянул, что помимо работы с p-value важно: формировать сильные (читай - со значительными изменениями) гипотезы и  стремиться закончить успешный A/B-тест как можно раньше. Сейчас мы не будем обсуждать первый аспект - как формировать сильные гипотезы. Обычно, в каждом конкретном случае, нужно оценивать нужды каждой группы пользователей и отдавать себе отчет в реальной ценности, которую продукт дает клиентам на этом этапе, а также насколько эта ценность четко коммуницируется. Но второй аспект - время на завершение теста - более универсален и часто может прорабатываться без такого глубокого погружения в контекст продукта. Начну с того, что позволю себе напомнить с чего начинается запуск A/B-теста: взять цифру базовой конверсии оценить ожидаемый прирост конверсии (лифт) рассчитать размер минимально необходимой выборки