A/B-тестирование: 3 важных принципа
A/B-тестирование это мощный инструмент для роста бизнеса. Но, как и любой инструмент, в нем есть свои нюансы. Сегодня поговорим о 3-х фундаментальных принципах, которые стоит держать в уме, когда вы планируете запустить очередной эксперимент.
Большие vs малые цели
В вашей команде всегда есть разные идеи (гипотезы) о том, что можно было бы улучшить. Очевидно, что ресурс у вас ограничен. Вы не сможете протестировать ни одномоментно, а часто даже последовательно, все идеи вашей команды. А значит стоит подумать с чего начать.
Давайте внимательно посмотрим на картинку выше. По виду кривой нам становится понятно, что практически в любом А/B-тесте мы оперируем двумя важными понятиями:
- вдумчивость (когда мы хорошенько думаем и затем выбираем цель)
- размер выборки
И наоборот, если у вас очень большая выборка, то вы могли бы себе позволить тестировать какие-то мелочи.
Например, Google в свое время тестировал 40 оттенков голубого цвета в линках в Gmail и результатах поисковой выдачи. Это позволило после завершения теста и выбора соответствующего оттенка повысить CTR и дополнительно зарабатывать $200 mln в год. Для подавляющего большинства проектов такой тест невозможен.
Давайте это продемонстрируем на цифрах.
Итак, у нас есть 3 проекта и у этих проектов разные объемы трафика в день.
- Проект A имеет 100 посетителей в день
- Проект B имеет 1000 посетителей в день
- Проект C имеет 10000 посетителей в день
При прочих равных (одинаковая базовая конверсия, одинаковые ожидания по улучшению) мы видим разницу в том, сколько времени нужно для статистической проверки теста.
Так вот, проекту A для статистической проверки гипотезы потребуется 1137 дней (больше 3-х лет), проекту B потребуется 113 дней (3 месяца) и, наконец, проекту C потребуется всего 11 дней.
Резюме: если у вас мало трафика не спешите менять цвета кнопок и тексты. Повышайте планку и думайте не о косметических изменениях, а о фундаментальных.
Верх воронки vs Низ воронки
Любой онлайн проект так или иначе работает с воронками. Для примера давайте представим себе онлайн-магазин. У онлайн-магазина могла бы быть следующая воронка клиентов:
- визиты на страницу регистрации
- просмотр товаров
- добавление товаров в корзину
- заполнение данных для доставки в форме оформления заказа
- собственно оплата
- верх воронки
- низ воронки
Из своего опыта скажу, что по мере продвижения по воронке количество клиентов уменьшается, но b их конверсия возрастает.
Так вот, допустим у нас есть воронка с тремя шагами. На первом шаге конверсия 10%. На втором шаге конверсия 15% и на третьем шаге конверсия уже равна 20%.
При прочих равных (одинаковые ожидания по улучшению и одинаковый размер выборки) мы видим разницу в том, сколько времени нужно для статистической проверки теста.
На верху нашей воронки для статистической проверки нам потребуется 113 дней, в середине воронки 71 день и внизу воронки уже 50 дней.
Резюме: начинайте проверки гипотез снизу воронки.
Сила гипотез
Последняя важная идея заключается в силе (качестве) гипотезы. Дело в том, что легко генерировать гипотезы у которых нет потенциала или он очень мал.
Давайте обратимся к цифрам и сравним 3 гипотезы с разной силой влияния.
Первая гипотеза очень простая и мы ожидаем, что она даст прирост в размере 5% к базовой конверсии. Вторая гипотеза более сильная и позволит нам рассчитывать на 15% увеличение конверсии. Ну и последняя гипотеза самая сильная и позволяет нам рассчитывать на прирост в размере 25% к базовой конверсии.
При прочих равных (одинаковая базовая конверсия и одинаковый размер выборки) мы видим разницу в том, сколько времени нужно для статистической проверки теста.
При слабой гипотезе для статистической проверки нам потребуется 113 дней, для средней гипотезы нам потребуется 12 дней и для самой сильной гипотезы нужно лишь 4 дня.
Резюме: думайте о качестве генерируемых гипотез (ищите косвенные данные, чтобы понять насколько сильным м.б. влияение).
Comments
Про верх и них воронки, в целом я согласен с вашими выводами, но есть два момента.
1. Найти тысячу пользоваталей в вверху воронки как правило намного проще, чем тысячу пользователей внизу (справедливо почти для всех SMB)
2. Как правило, вверху воронки мы видим низкие конверсии, а внизу более высокие. Поднять конверсию на форме с 1 до 2 процентов, может быть проще и быстрее чем поднять конверсию из Opportunities в Клиенты с 25 до 50%.
Интересно узнать ваш подход к организации тестов. Если у нас есть пять вариантов посадочной страницы или рекламного объявления, вы рекомендуете тестировать все пять одновременно или тестировать поочередно?
2/ Отвечая на этот вопрос могу сказать, что математика для A/B-теста и A/B/N-тестов разная. Я всегда использую подход A/B-тестов.
Post a Comment