Posts

Showing posts from July, 2019

A/B-тестирование: p.value < 0.05 или как быть когда сплит не 50/50?

Image
Итак, недавно у меня возникла следующая ситуация. Планировался запуск A/B-теста. Так как тест высокорисковый , то появилась мысль минимизировать риск за счет того, что в группу B направить не 50% трафика, а лишь 5%. Действую по протоколу проведения A/B-тестов нам следует  до запуска теста  выполнить два предварительных действия: оценить лифт целевого показателя оценить размер минимально необходимой выборки С первой задачей справиться несложно. Моя базовая конверсия (с1) = 2%. Лифт, который я хочу обнаружить (lift) = 5%. Итого, моя новая конверсия (с2) = c1 * (1 + lift) = 2.1%. А вот со второй задачей справиться уже несколько сложнее. Обычно для решения таких задач я использую статистический калькулятор : Sample Size Calculator; www.evanmiller.org Как мы видим, под числом 309,928 четко написано - per variation - что означает, что такой объем должен набраться для каждой группы. Дело в том, что большинство онлайн-калькуляторов делают расчет минимально необходимой

A/B-тестирование: стоимости правильных и ошибочных решений

Image
Недавно, пока я разбирался с тем, какой размер минимально необходимой выборки должен быть набран при неравномерном сплите , я наткнулся на весьма интересную статью . Дело в том, что когда мы запускаем A/B-тест, мы обычно попадаем в две крайности: мы либо вообще не берем в расчет статистическую значимость результата либо слепо равняемся на статистические догмы: p.value < 0.05 confidence level = 95% statistical power = 80% С одной стороны, в использовании статистики нет ничего плохо. Она действительно позволяет нам уйти от субъективной оценки результата, быть уверенным в том, что результат воспроизводим и не является случайностью.  С другой стороны, бизнес не существует в вакууме. И каждое принятое нами решение имеет два дополнительных параметра: время стоимость Причем, как правило, чем больше стоимость решения, тем больше времени мы готовы ждать. А на количество времени, необходимого для получения надежного результата, напрямую влияет какой confidence level м

Стратегия оптимизации рекламных кампаний

Image
Недавно меня пригласили на одну конференцию, где я выступал с необычной для себя темой: анализ  платных рекламных компаний. Я решил поделиться несколькими мыслями о том, как ppc-менеджеру (или его руководителю) атаковать проблему оптимизации рекламных кампаний. Хотя я сам не крутил рекламу ни в Google Adwords, ни в Яндекс.Директ, но я курировал ребят, которые занимаются этим ежедневно. А потому у меня регулярно возникали одни и те же вопросы: какие рекламные кампании стоит масштабировать ? для каких рекламных кампаний недостаточно данных (и нужно продолжать  их "крутить")? какие рекламные кампании стоит останавливать ? Итак, для простоты изложения я возьму небольшую выборку (35 рекламных кампаний).  Обычно, ppc-менеджер начинает свой анализ с рекламных кампаний, которые "съедают" больше всего бюджета. Он сортирует список рекламных кампаний от самых больших по бюджету к самым маленьким.  Как мы видим, ТОП3 рекламные кампании соответствуют 30.5% рекл