Взвешенная сортировка или как работать с большим количеством конверсий

Сегодня я хочу поделиться с вами простым, но, на мой взгляд, достаточно эффективным подходом к анализу конверсий.

Например, у вас есть 20 (а м.б. 2000+) лендингов на которые приходит трафик. На этих лендингах клиенты совершают целевые дейтсвия, в результате чего происходит конверсия.

Вопрос, как понять какие лендингы самые важные для бизнеса?

Сортировка по сессиям


Если мы отсортируем лендинги по сессиям, то мы поймем откуда заходит больше всего трафика.

Сделав это, мы видим, что самые посещаемые страницы, являются самыми низко-конверсионными. Причем, когда трафик начинает уменьшаться, то конверсия растет.

Обычно это связано с тем, что часто такие страницы очень широкие по семантике. Поэтому трафика там много, но целевых заходов - мало.

Так, например, трафика на `landing 17` в 12 раз больше, чем на `landing 10`. Но, в тоже время, лидов с `landing 10` мы получаем в 2 раза больше, чем из `landing 17`.

Поэтому потеря небольшого объема трафика с `landing 10` будем намного ощутимее для бизнеса, чем потеря огромного объема трафика с `landing 17`.

Сортировка по конверсии

Чтобы уйти от оценки объемов в сторону оценки эффективности, разумно попробовать отсортировать список по конверсии.


Теперь картинка стала совсем другой. В начало списка попали самые конверсионные страницы.

Проблема с такой сортировкой в том, что в начало списка попадают страницы с очень высокой конверсией, но относительно малым объемом трафика. А на малых объемах результаты конверсии идут с большой погрешностью.

Например, лендинг `landing 6` имеет конверсию равную 10%, однако на таком объеме трафика этот результат вряд ли является статистически значим. Когда список небольшой, как в моем примере (20 страниц) - это маленькая проблема. Но когда список большой (500+ страниц) - это уже довольно большая проблема.

Взвешенная сортировка

Идеально учитывать одновременно и объем трафика и конверсию. Сделать это возможно, если взвесить все конверсии на объем трафика.


Возможный варинт взвешивания может выглядеть вот так:
WS = ( [sessions] / [total sessions] ) * [% conv] + 
          ( 1 - [sessions] / [total sessions] ) * [% conv weighted]
Обратите внимание, что в начале списка собрались самые результативные лендинги по [# leads] и при этом у многих из них относительно нормальные объемы трафика.

Если быть точным, то на 50% персентиль такого списка приходится 651 leads, а это 77% всех конверсий!

Также отметьте, что лендинг `landing 10` по поводу которого у нас были сомнения, оказался лишь на 11-м месте. Для нас это отличная новость, т.к. мы можем не отвлекаться на такие выбросы.

Что еще можно было бы сделать?

Немногим ранее мы заговорили о статистической значимости конверсий. В самом деле мы могли бы рассчитать ее для каждой конверсии в сравнении со средневзвешенной конверсией [% conv weighted].


Итак, расчитав p.value, мы видим такую картину.

Верхняя часть списка [ `landing 1` - `landing 10` ], 7 страниц

Здесь собрались лучшие с точки зрения конверсии и объема трафика лендинги. Это так называемые "зеленые" страницы. У них не так много трафика, но отличная конверсия. И эта конверсия у них выше средневзвешенной, а разница является статистически значимой (p.value << 0.05).

Средняя часть списка [ `landing 14` - `landing 9` ], 6 страниц

Здесь собрались страницы, которые либо немного лучше средневзвешенной конверсии, либо несколько хуже нее. Это так называемые "серые" страницы. Разница в конверсии у этих страниц не является статистически значимой (p.value > 0.05)

Нижняя часть списка [ `landing 3` - `landing 17` ], 7 страниц

Здесь собрались худшие с точки зрения конверсии и объема трафика лендинги. Это так называемые "красные" страницы. У них очень много трафика, но что-то явно не так с конверсией. Конверсия у них ниже средневзвешенной и эта разница является статистически значимой (p.value << 0.05).

ВЫВОДЫ:

Взвешенная сортировка повзолила нам фактически разбить список на 3 части:
  • верхняя часть - лучшие страницы (идем сверху вниз), где нужно фокусироваться на наращивании трафика
  • нижня часть - худшие страницы (идем снизу вврех), где нужно фокусироваться исключительно на улучшении конверсии
  • средняя часть - серые страницы, с которыми работаем по остаточному принципу
и т.о. четко отнести каждый из лендингов к одной из 3-х стратегий отработки.

Comments

Unknown said…
в формуле WS = ( [sessions] / [total sessions] ) * [% conv] + ( 1 - [sessions] / [total sessions] ) * [% conv weighted]
как посчитали переменную [% conv weighted] ?
Спасибо.
Paul Levchuk said…
Пример из скриншот №2 (там взвешенная конверсия = 3.07%).
TD said…
подскажите, как именно посчитать переменную [% conv weighted] ?
Paul Levchuk said…
[% conv weighted] = 844 / 27499 = это грубо говоря, конверсия по тотолам.
sergiu said…
подскажите, а как считали p.value?
в тексте этого вроде как нет...
Paul Levchuk said…
Использовал функцию chisq.test() в R.
В расчете сравнивал WS с [% conv weighted].
Unknown said…
Павел, подскажите пожалуйста такой вопрос: есть лендинги заточенные под НЧ запросы, получается, что траффика они могут собирать совсем мало, доходит до того, что 1 визит - 1 конверсия - 100% и получаем стат значимый результат (смотрю по таблице Лапласа). Изначально предполагал, что для стат значимого результата не хватит данных, однако ошибся. Нормально ли это? И может есть какая-то методика чтобы не учитывать такого рода страницы ?
Paul Levchuk said…
не уверен, что конверсия на выборке в 1 пользователя м.б. стат. значимой.
Взвешивание должно помочь: взвесили, отсортировали.

Popular posts from this blog

IV/WOE - хороший способ понять какой информацией вы обладаете

A/B-тестирование: смотреть на конверсию vs смотреть на продажи

Продуктовая аналитика: влияние продуктовых фич на ретеншн