Posts

Showing posts from 2017

Взвешенная сортировка или как работать с большим количеством конверсий

Image
Сегодня я хочу поделиться с вами простым, но, на мой взгляд, достаточно эффективным подходом к анализу конверсий.

Например, у вас есть 20 (а м.б. 2000+) лендингов на которые приходит трафик. На этих лендингах клиенты совершают целевые дейтсвия, в результате чего происходит конверсия.

Вопрос, как понять какие лендингы самые важные для бизнеса?

Сортировка по сессиям


Если мы отсортируем лендинги по сессиям, то мы поймем откуда заходит больше всего трафика.

Сделав это, мы видим, что самые посещаемые страницы, являются самыми низко-конверсионными. Причем, когда трафик начинает уменьшаться, то конверсия растет.

Обычно это связано с тем, что часто такие страницы очень широкие по семантике. Поэтому трафика там много, но целевых заходов - мало.

Так, например, трафика на `landing 17` в 12 раз больше, чем на `landing 10`. Но, в тоже время, лидов с `landing 10` мы получаем в 2 раза больше, чем из `landing 17`.

Поэтому потеря небольшого объема трафика с `landing 10` будем намного ощутимее для бизне…

Обратная сторона корреляции

Image
Часто аналитики делают быстрые выводы исходя из корреляции. Так вот на днях мне попался отличный пример того, как корреляции может вводить в заблуждение.

Сегодня я хочу поделиться с вами этим примером. Итак, у нас есть вот такой простой датасет (см ниже).


В датасете есть 4 переменные Х и 4 переменные У.

Пары значений { xi, yi } подобраны так, что у них практически одинаковая корреляция (~0.816).

Так вот одинаковая корреляция еще не означает, что

-- между переменными зависимости однотипные

Как и высокий коэффициент корреляции еще не означает, что

-- между переменными есть линейная зависимость

-- там вообще есть зависимость

Давайте построим 4 графика и оценим эти зависимости.



В первой паре { x1, y1 } мы видим практически линейную зависимость.

Во второй паре { x2, y2 } мы видим криволинейную зависимость.

В третьей паре { x3, y3 } мы видим выброс, который несколько изменил траекторию зависимости.

В четвертой паре { x4, y4 } мы видим выброс, который фактически создал несуществующую зависим…

Outliers, anomalies и прочие выбросы в ваших данных

Image
Часто в ваших данных попадаются выбросы. С точки зрения маркетолога выбросы - это такие данные, которые выходят за ожидаемый диапазон значений.

Как с этим работать - тема сегодняшнего поста.

Чтобы проще было понимать о чем дальше будет идти речь, я сгенерировал 2 тестовых датасета. Каждый датасет состоит из таких полей:
порядковый номер записи (idx), средний чек заказа (AOV), средний чек первого заказа (first_AOV).
Первый датасет состоит из 100 записей и в нем нет outliers (выбросов).

Второй датасет состоит из 30 записей и в нем точно есть outliers (я вручную задал 2 значения выше диапазонов случайных значений, которыми я параметризировал датасеты).

Outliers

Ожидаемый диапазон значений понятие субъективное (иногда вы можете оценить его адекватно, но чаще - нет). Поэтому здесь лучше опираться на математическую базу.

Одно из самых простых и в тоже время рабочих определений дал в свое время известный математик Tukey: outlier это значение, которое выходит за рамки диапазона ± 1.5 * IQR.


Когда …

Активация клиентов - мощный источник роста бизнеса

Image
Для роста все бизнесы занимаются привлечением новых клиентов. Вы покупаете рекламу и получаете из нее новых клиентов. Это простая и понятная схема.

Однако, многие онлайн-сервисы часто предлагают клиенту зарегистрироваться.
Здесь, как правило, возможны два варианта:
покупка, где в фоном режиме клиента регистрируют в сервисерегистрация, только после которой можно совершить покупку Так вот шаг регистрации (с виду кажущийся незначительным) является важным дифференцирующим фактором, дающим возможность делать интересные исследования.
Мысль первая
Клиентов, которые зарегистрировались и готовы купить сразу (обычно в тот же день) очень не много.


Мы видим, что % клиентов, которые пришли, зарегистрировались и купили в тот же день (is_same_day_TRUE) - действительно мало. В примере выше, в зависимости от месяц привлечения, это, в среднем, около 5%.
Мысль вторая
Занимаясь улучшением привлечения через оптимизацию Landing Pages и Sign Up Forms мы можем улучшить эти показатели, однако, учитывая объемы кл…

Дисконты, которые могут убить ваш бизнес

Image
После поста "Несколько мыслей о дисконтах", мой друг data scientist Sergey Bryl, упомянул о своем опыте анализа клиентов, которые получали дисконты.

Смотрел churn rate на одном проекте в разрезе пришел клиент по демпинговой цене или близкой к обычной.По ритейл-клиентам около 2.5х разница на следующую покупку и на третью уже более 3х.По "оптовикам" это 6х... до третьей вообще почти никто не доходил.
Не долго думая, я решил посмотреть, а как будут обстоять дела с анализом, который я делал в прошлом посте, если я прежде промаркирую клиентов следующим образом:
клиенты, которые вообще не пользовались скидками (0)клиенты, у которых скидка была, как минимум, в первую покупку (1)клиенты, у которых скидка была, как минимум, со второй покупки (2+) Посмотрим вначале на доходность на клиента по 3-м группам:

На графике просматривается, что медиана у клиентов из группы (1) немного выше, чем у клиентов из группы (0). Т.е. скидка дающаяся на первую покупку все же подталкивает клиент…

Несколько мыслей о дисконтах

Image
Недавно я выступал на одном мероприятии. И там мы затронули тему дисконтов. Сегодня я хочу немного углубиться в этот вопрос. Начну со своей позиции.
Давать дисконты всем клиентам - бессмысленно. Часть клиентов, очевидно, купила бы и так.Сумма дисконта очень тонкий вопрос. Повышение суммы дисконта не гарантирует повышения дохода на клиента. Перед тем как давать дисконт нужно четко понимать свою цель:сгенерировать покупку, которая не состоялась бы без дисконтаповысить средний чек. Обсуждать такой вопрос без цифр достаточно сложно. Поэтому я решил подготовить несколько графиков на базе данных одного из e-commerce.

Начнем с начала.
Давать дисконты всем клиентам - бессмысленно. Часть клиентов купила бы и так
На графике выше четко видно, что клиентов покупающих без дисконта много (на уровне discount = 0 этих точек очень много, а потому они сливаются вместе и фактически образуют сплошную красную линию).

Для того, чтобы понять сколько точек слилось вместе, я добавил под осью Х вертикальные черт…

Кластерный анализ клиентов. Номинал покупки.

Image
Ранее, я в значительной степени полагался на Excel. На мой взгляд, это самый доступный и в тоже время недорогой из аналитических инструментов для маркетолога. Ведь, с одной стороны, Excel есть у многих пользователей. Обмениваться Excel-файлами очень легко. С другой стороны, к отчетам в Excel в значительной степени привыкли топ-менеджеры многих компаний.

Однако, со временем, я начал сталкиваться с ситуациями, где надо не просто что-то рассчитать, а понять почему цифра и/или тренд такие, какие есть, найти факторы, которые определили результат. Я активно пользуюсь сводными таблицами т.к. они позволяют быстро делать разные срезы (drill-down) и это дает свои плоды. Часто - но далеко не всегда.

В последнее время я больше думаю о базовой математике и алгоритмах, которые стоят за продвинутой аналитикой. Откладывать изучение и использование алгоритмов машинного обучения дальше уже нельзя. Это вопрос выживания для современного аналитика.

Для себя я планирую ~ раз в 4 недели описывать свой опыт …

Карта роста

Image
Десять лет тому назад я активно изучал наработки и практики от лучшей компании по стратегического консалтингу - McKinsey & Company.
Если у вас нет свободного времени, то хотя бы прочтите книгу от одного из бывших сотрудников этой компании: Принцип Пирамиды. Именно тогда я познакомился с такими крутыми техниками как MECE и деревья.

И вот несколько лет тому назад, готовясь к одной конференции с крутыми ребятами (Валик Гончаров, Дима Кудренко, Олег Лесов, Андрей Косецкий) я синтезировал схему, части который я использовал когда оценивал стартапы и/или работал в них.
Чем примечательна эта схема?
Она проста в понимании.
Читая это дерево слева направо, вы понимаете, что и откуда следует.
Она практична.
Фактически каждый элемент это метрика или вопрос, который м.б. покрыт метрикой.
Она совмещает тактику и стратегию.
Вам не нужно думать, чем бы еще заняться, и в тоже время вы видите картину в целом.Какие недостатки этой схемы?
Это схема не учитывает цикличность отношений с клиентом. Фактически …

Retention curve - вчерашний день аналитика

Image
Я давно хотел написать этот пост про retention curve (кривую удержания).

Дело в том, что современная клиентская аналитика развивается очень быстро. SaaS компаний с инструментами аналитики достаточно много. Но не каждая смогла сделать значимый вклад в новые подходы к аналитике.

Тем не менее, для себя я могу выделить следующие компании, которые сильно повлияли на мое видение аналитики и на мой подход к онлайн-маркетингу через аналитику. Итак,
в 2012 году я равнялся на Kissmetrics.com;в 2013 это была уже RJMetrics.com;в 2014 году это была Custora.com;в 2015 году это была Optimove.com И вот в 2016 году я познакомился с think-tank компанией Amplitude.com.

Мое глубокое убеждение в том, что компания предоставляющая аналитический продукт не удержит свои позиции, если будет просто создавать еще один продукт (даже если он будет немного быстрее и удобнее). Аналитическая компания должна искать новые способы выжать больше инсайтов из данных, отобразить суть происходящего коротко и предельно ясно.

Т…

ARPU - метрика без измерения

Image
Впервые я познакомился с метрикой ARPU (Average Revenue Per User) еще в телекоме. Суть ее очень проста - рассчитать среднюю доходность клиента.

На языке DAX ее можно было бы рассчитать вот так:
ARPU (classic):=
SUM( tbl_orders[payment_amout] ) / DISTINCTCOUNT ( tbl_orders[user_id] ) Однако в некоторых индустриях (в частности в free-to-play играх) ARPU часто несет несколько иной смысл. ARPU понимают как - среднюю доходность игрока. Игрок может платить, а может и не платить и просто бесплатно играть.

Здесь расчет уже использует не только таблицу транзакций, но и таблицу пользователей.
ARPU :=
SUM( tbl_orders[payment_amout] ) / COUNT (tbl_users[user_id] ) Соответственно необходимо ввести еще одну метрику ARPpU (Average Revenue Per Paid User) - средняя доходность на платящего игрока:
ARPpU :=
SUM( tbl_orders[payment_amout] ) / DISTINCTCOUNT ( tbl_orders[user_id] )
ARP(p)U метрика очень волатильная, а потому часто возникает вопрос - как быстро определить причину скачка ARPU?

Давайте рассуждат…

DAU / MAU отличный способ мерять не то, что вам нужно

Image
Впервые я столкнулся с метриками DAU / MAU когда про них упомянули в контексте игр на facebook в далеком 2009 году. И хотя, я уверен, серьезные игроки давно уже не полагаются на эти метрики роста, тем не менее для многих маркетологов они оказались весьма привлекательными.

Сегодня мы поговорим почему эти метрики так привлекательны и опасны одновременно.

Начнем с их определения.
DAU (Daily Active Users) это сколько (уникальных) клиентов воспользовались вашим сервисом (обычно - залогинились) в конкретный день.MAU (Monthly Active Users) это сколько (уникальных) клиентов воспользовались вашим сервисом за последний месяц (или последние 30 дней). DAU / MAU это какой % наших (уникальных) клиентов повторно воспользовались вашим сервисом за период. Это так называемый "stickiness".Какие есть плюсы их использования?

Первое: считать такие метрики очень просто. На языке DAX расчеты могли бы выглядеть вот так.
[DAU] :=
DISTINCTCOUNT ( tbl_users[user_id] ) [MAU] :=
CALCULATE ( [DAU],
DATESINPERI…