Взвешенная сортировка или как работать с большим количеством конверсий

Сегодня я хочу поделиться с вами простым, но, на мой взгляд, достаточно эффективным подходом к анализу конверсий.

Например, у вас есть 20 (а м.б. 2000+) лендингов на которые приходит трафик. На этих лендингах клиенты совершают целевые дейтсвия, в результате чего происходит конверсия.

Вопрос, как понять какие лендингы самые важные для бизнеса?

Сортировка по сессиям


Если мы отсортируем лендинги по сессиям, то мы поймем откуда заходит больше всего трафика.

Сделав это, мы видим, что самые посещаемые страницы, являются самыми низко-конверсионными. Причем, когда трафик начинает уменьшаться, то конверсия растет.

Обычно это связано с тем, что часто такие страницы очень широкие по семантике. Поэтому трафика там много, но целевых заходов - мало.

Так, например, трафика на `landing 17` в 12 раз больше, чем на `landing 10`. Но, в тоже время, лидов с `landing 10` мы получаем в 2 раза больше, чем из `landing 17`.

Поэтому потеря небольшого объема трафика с `landing 10` будем намного ощутимее для бизнеса, чем потеря огромного объема трафика с `landing 17`.

Сортировка по конверсии

Чтобы уйти от оценки объемов в сторону оценки эффективности, разумно попробовать отсортировать список по конверсии.


Теперь картинка стала совсем другой. В начало списка попали самые конверсионные страницы.

Проблема с такой сортировкой в том, что в начало списка попадают страницы с очень высокой конверсией, но относительно малым объемом трафика. А на малых объемах результаты конверсии идут с большой погрешностью.

Например, лендинг `landing 6` имеет конверсию равную 10%, однако на таком объеме трафика этот результат вряд ли является статистически значим. Когда список небольшой, как в моем примере (20 страниц) - это маленькая проблема. Но когда список большой (500+ страниц) - это уже довольно большая проблема.

Взвешенная сортировка

Идеально учитывать одновременно и объем трафика и конверсию. Сделать это возможно, если взвесить все конверсии на объем трафика.


Возможный варинт взвешивания может выглядеть вот так:
WS = ( [sessions] / [total sessions] ) * [% conv] + 
          ( 1 - [sessions] / [total sessions] ) * [% conv weighted]
Обратите внимание, что в начале списка собрались самые результативные лендинги по [# leads] и при этом у многих из них относительно нормальные объемы трафика.

Если быть точным, то на 50% персентиль такого списка приходится 651 leads, а это 77% всех конверсий!

Также отметьте, что лендинг `landing 10` по поводу которого у нас были сомнения, оказался лишь на 11-м месте. Для нас это отличная новость, т.к. мы можем не отвлекаться на такие выбросы.

Что еще можно было бы сделать?

Немногим ранее мы заговорили о статистической значимости конверсий. В самом деле мы могли бы рассчитать ее для каждой конверсии в сравнении со средневзвешенной конверсией [% conv weighted].


Итак, расчитав p.value, мы видим такую картину.

Верхняя часть списка [ `landing 1` - `landing 10` ], 7 страниц

Здесь собрались лучшие с точки зрения конверсии и объема трафика лендинги. Это так называемые "зеленые" страницы. У них не так много трафика, но отличная конверсия. И эта конверсия у них выше средневзвешенной, а разница является статистически значимой (p.value << 0.05).

Средняя часть списка [ `landing 14` - `landing 9` ], 6 страниц

Здесь собрались страницы, которые либо немного лучше средневзвешенной конверсии, либо несколько хуже нее. Это так называемые "серые" страницы. Разница в конверсии у этих страниц не является статистически значимой (p.value > 0.05)

Нижняя часть списка [ `landing 3` - `landing 17` ], 7 страниц

Здесь собрались худшие с точки зрения конверсии и объема трафика лендинги. Это так называемые "красные" страницы. У них очень много трафика, но что-то явно не так с конверсией. Конверсия у них ниже средневзвешенной и эта разница является статистически значимой (p.value << 0.05).

ВЫВОДЫ:

Взвешенная сортировка повзолила нам фактически разбить список на 3 части:
  • верхняя часть - лучшие страницы (идем сверху вниз), где нужно фокусироваться на наращивании трафика
  • нижня часть - худшие страницы (идем снизу вврех), где нужно фокусироваться исключительно на улучшении конверсии
  • средняя часть - серые страницы, с которыми работаем по остаточному принципу
и т.о. четко отнести каждый из лендингов к одной из 3-х стратегий отработки.

Popular posts from this blog

RF-матрица как альтернатива для работы с LTV

A/B-тестирование: смотреть на конверсию vs смотреть на продажи

LTV: классический подход прогнозирования Pareto/NBD