Posts

Showing posts from 2018

Ключевые действия пользователя определяющие его retention

Image
Итак, мы продолжаем тему продуктовой аналитики. И сегодня мы будем говорить о целевых действиях, которые пользователь может совершить в вашем продукте.

Начну с того, что я выделяю 3 вида пользовательских действий в продукте:
системные (регистрация, логин, восстановление пароля и т.д.)платежные (оформление заказа, осуществление оплаты)целевые (лишь малая часть из них value-образующие, т.е. ключевые действия) В разных продуктах конфигурация и количество этих 3-х типов действий - разные. 
Важно отметить, что хотя продукт и создается для генерации дохода, тем не менее, с точки зрения пользователя, осуществление оплаты не является ключевым действием. В первую очередь клиент выбирает ваш продукт для решения своих потребительских задач.
Поэтому, хотя я и начал свою серию постов с определения точки, после которой нужно реактивировать клиента на повторную оплату, очевидно, реактивация клиента на оплату это все же несколько запоздалое действие.
Чтобы решиться на повторную оплату клиент должен то…

У меня плохие когорты - что мне делать?

Image
Сегодняшним постом я начинаю серию заметок о продуктовой аналитике. Сегодня мы поговорим о том, что делать, когда общая картина ваших когорт выглядит не очень, но не совсем понятно, что с этим делать.

Итак, вы продуктовая компания. У вас, как и в любом бизнесе, есть этап привлечения клиентов. Обычно этому этапу компания посвящает больше всего времени. Так происходит потому, что на этом этапе компания явно и активно тратит деньги в маркетинг, а потому ТОП-менеджмент хочет четко понимать, есть ли там ожидаемый прирост дохода и положительный ROI.

Но, после привлечения клиентов работа маркетолога-продуктолога не заканчивается, а только начинается. Почему?

Ниже перед вами чарт с когортами клиентов.


Мы видим, что привлеченные когорты вяло переходят в следующий период. Так, в среднем, с нулевого периода в первый переходит только 34% всех привлеченных клиентов. И хотя некоторые клиенты могут активироваться просто позже (например сделать свою повторную покупку, скажем, в пятом периоде) это все…

NPS - метрика без предиктивной силы

Image
Недавно я выступал на конференции про e-commerce в секции Лояльность. Т.к. меня давно интересовал NPS, я решился ознакомиться с открытыми источниками и исследованиями на тему NPS. Ниже я делюсь несколькими моментами, которые мне показались интересными.

Маркетологи часто ставят знак равенства между NPS и retention. Давайте посмотрим насколько NPS коррелирует с retention?


На чарте выше мы видим, что retention у компаний из нижнего и среднего NPS квартиля практически одинаковый. Только компании, которые в своей индустрии обладают самыми высокими показателями NPS имеют retention на 5-10% выше.

Теперь давайте зададим себе другой вопрос.

Является ли NPS вопросом, который помогает оценить удовлетворенность и т.о. спрогнозировать вероятность повторной покупки?


Из чарта выше видно, что информация о самой поездке имеет для AirBnb более сильную предиктивную силу, чем LTR (NPS). Более того, если добавить к этой информации NPS как дополнительный предиктор, то точность модели изменится очень незнач…

Атрибуция рекламных каналов: вариативность модели атрибуции Shapley value

Image
Сегодня я хочу поделиться опытом того, как я проверял насколько модель вектор Шепли чувствительна к вариативности данных.

Зачем мне это нужно?
Канал, с которого приходит клиент - случайная величина.Конверсия из канала Х может иметь (и как правило имеет) сильную вариативность от недели к неделе: запускаются новые компании, часть старых компаний оптимизируется, часть компаний просто выключается из-за отсутствия окупаемости. Исходя из этого возникает вопрос: будет ли модель вектор Шепли (которая учитывает влияние всех цепочек) оставаться относительно стабильной при сильной вариативности активных цепочек?

Давайте это проверим.

(1) Итак, как я писал в одном из предыдущих постов про атрибуцию, я сгенерировал около ~13k клиентских цепочек.


(2) Важно отметить, что если сделать агрегацию цепочек, то уникальных цепочек окажется намного меньше - всего 273(!) цепочки.


Такой размер выборки уже может наводить на мысль, что вполне могут найтись 2-3 ключевые цепочки, которые, если выбросить, могут сущ…

Атрибуция рекламных каналов: чувствительность к порядку каналов в цепочке для методов Markov chain и Shapley value

Image
Сегодня я продолжу тему атрибуции рекламных каналов. К сожалению, эта тема очень мало описана в маркетинговой литературе (нет никаких эмпирических правил и фундаментальных исследований), а потому понять как вариация каналов повлияет на атрибуцию, без симуляции - не представляется возможным.

Итак, в прошлый раз мы рассмотрели три вида атрибуции: last_click, markov_chain и shapley_value. Также из прошлого поста мы помним, что:
markov_chain (Цепи Маркова) - должны быть в достаточной степени чувствителны к изменению порядка каналов в цепочке;shapley_value (Вектор Шепли) - подход старается равномерно распределить ценность и для него порядок каналов в цепочке не играет роли. Сегодня мы проверим на практике насколько оба метода атрибуции чувствительны к изменению порядка каналов в цепочке.
Датасет я взял из прошлого поста. Ниже пример того, как в этом датасете выглядят цепочки каналов для некоторых пользователей:

Затем я просто реверсировал их и они начали выглядеть вот так:

Как мы видим на ч…

Игры в модели атрибуции рекламных каналов (Last click, Markov chain, Shapley value)

Image
Обычно, я не играю в игры с моделями атрибуций рекламных каналов.

В работе с сессиями я почти всегда пользуюсь данными из Google Analytics (GA). Это система хороша тем, что мне не нужно заботиться о том, где хранить данные о заходах на сайт, как определять продолжительность сессии и т.д. Все эти вопросы закрывает Google Analytics.

При заходе пользователя на сайт GA соотносит (атрибутирует) этого пользователя к одному из известных источников трафика.
Если GA может определить источник трафика, то она атрибутирует пользователя к этому источнику трафика.  Если GA не может определить источник трафика (зашел на сайт direct, в URL нет utm-меток и еще в ряде случаев), то она возьмет последний недавний источник трафика (не direct) из которого пришел пользователь. Эта модель атрибуции называется Last Non-Direct Click (LNDC). Она используется во всех отчетах GA кроме отчетов из секций Multi-Channel Funnel и Attribution.

Двумя побочными эффектами LNDC модели атрибуции являются:
повышение долгосрочн…

A/B-тестирование: последовательное семплирование как способ закончить A/B-тест раньше

Image
Итак, недавно в закрытом комьюнити reforge поднимался вопрос про A/B-тесты и доверительные интервалы. И там, Brian Balfour (бывший VP Growth @ HubSpot), упомянул, что помимо работы с p-value важно:
формировать сильные (читай - со значительными изменениями) гипотезы и стремиться закончить успешный A/B-тест как можно раньше. Сейчас мы не будем обсуждать первый аспект - как формировать сильные гипотезы. Обычно, в каждом конкретном случае, нужно оценивать нужды каждой группы пользователей и отдавать себе отчет в реальной ценности, которую продукт дает клиентам на этом этапе, а также насколько эта ценность четко коммуницируется.

Но второй аспект - время на завершение теста - более универсален и часто может прорабатываться без такого глубокого погружения в контекст продукта.

Начну с того, что позволю себе напомнить с чего начинается запуск A/B-теста:
взять цифру базовой конверсииоценить ожидаемый прирост конверсии (лифт)рассчитать размер минимально необходимой выборки Здесь важно отметить два…

Клиент: непредсказуемая предсказуемость

Image
Итак, какое-то время назад я читал исследование о том, что происходит с клиентами, которые сделали одну покупку (one-time buyers). Основной тезис исследования заключался в том, что таких клиентов, как правило, очень много (~60%) и чтобы улучшить их активацию на вторую покупку их надо как-то сегментировать и делать персонализированные офера.

Для того, чтобы персонализировать офер, важно понять, что мы знаем о клиентах, которые сделали следующие шаги (2+ покупки) и пытаться применить эти знания к one-time buyers.

Найденных в исследовании инсайтов было три:
день недели в котором была совершена 1-я покупка имеет больше шансов быть следующим днем покупки, чем все остальные дни недели;период дня в котором была совершена 1-я покупка имеет больше шансов быть следующим периодом дня для покупки, чем все остальные периоды;сумма 1-й покупки имеет больше шансов быть следующей суммой покупки, чем все остальные суммы. Недолго думая, я решил взять один e-commerce датасет с нерегулярными покупками и по…

LTV: вероятность совершения повторной покупки

Image
Я думаю, вы уже пришли к выводу, что в работе с LTV главное рассчитывать вероятность совершения повторной покупки и быстро реагировать на ее снижение.

Существуют разные подходы к ее оценке, но все они так или иначе связаны с поведенческими характеристиками, причем практически всегда характеристика #1 это Recency.

Сегодня я покажу вам 3 подхода к оценке вероятности совершения повторной покупки (от менее точного к более точному):
на основе Recency и Latencyна основе Recency,Lifetime, Frequencyна основе модели Pareto/NBD Прелесть каждого из подходов в том, что мы рассчитываем вероятность совершения повторной покупки для каждого клиента индивидуально (не на основе когорты).

Оценка вероятности на основе Recency и Latency
Начну с того, что бегло напомню вам разницу между Recency и Latency.
Recency - время, которое прошло с момента совершения последней покупки до сейчас. R = today() - last_order_date
Latency - среднее время между покупками. L = ( last_order_date - first_order_date ) / ( Frequenc…

RF-матрица как альтернатива для работы с LTV

Image
Итак, в прошлом посте мы прошлись по основным шагам, которые нужны для грамотного расчета LTV используя классический подход Pareto/NBD.

Сегодня мы будем говорить об LTV в другом контексте - упрощенно-прикладном.

Итак, перед вам Life Cycle Grid.

Название и концепцию этой замечательной технике дал выдающий маркетолог Jim Novo. Обязательно перечитайте его блог, особенно ранние статьи.


По сути - LCG это RF(M) матрица:
По горизонтальной оси вы смотрите на Recency (недавность последней покупки);По вертикальной оси вы смотрите на Frequency (количество покупок);В каждой ячейке вы видите количество клиентов с определенными параметрами R и F. Построив такую матрицу мы можем сразу ответить на много вопросов, но нас сейчас интересует всего четыре: какие клиенты критически важны для бизнеса?
(правый верхний квадрант)каких клиентов реально развивать дальше?
(правый нижний квадрант)какие клиенты вероятно потеряны для бизнеса?
(левый верхний квадрант)какие клиенты не интересны для бизнеса? Уверен, пока вы…