A/B-тестирование: p.value < 0.05 или как быть когда сплит не 50/50?
Итак, недавно у меня возникла следующая ситуация. Планировался запуск A/B-теста. Так как тест высокорисковый , то появилась мысль минимизировать риск за счет того, что в группу B направить не 50% трафика, а лишь 5%. Действую по протоколу проведения A/B-тестов нам следует до запуска теста выполнить два предварительных действия: оценить лифт целевого показателя оценить размер минимально необходимой выборки С первой задачей справиться несложно. Моя базовая конверсия (с1) = 2%. Лифт, который я хочу обнаружить (lift) = 5%. Итого, моя новая конверсия (с2) = c1 * (1 + lift) = 2.1%. А вот со второй задачей справиться уже несколько сложнее. Обычно для решения таких задач я использую статистический калькулятор : Sample Size Calculator; www.evanmiller.org Как мы видим, под числом 309,928 четко написано - per variation - что означает, что такой объем должен набраться для каждой группы. Дело в том, что большинство онлайн-калькуляторов делают расчет минимально необходимой