Блог про аналитику

Итак, мы продолжаем тему продуктовой аналитики. И сегодня мы будем говорить о целевых действиях, которые пользователь может совершить в вашем продукте. Начну с того, что я выделяю 3 вида пользовательских действий в продукте: системные (регистрация, логин, восстановление пароля и т.д.) платежные (оформление заказа, осуществление оплаты) целевые (лишь малая часть из них value-образующие, т.е. ключевые действия) В разных продуктах конфигурация и количество этих 3-х типов действий - разные.  Важно отметить, что хотя продукт и создается для генерации дохода, тем не менее, с точки зрения пользователя, осуществление оплаты не является ключевым действием. В первую очередь клиент выбирает ваш продукт для решения своих потребительских задач. Поэтому, хотя я и начал свою серию постов с определения точки , после которой нужно реактивировать клиента на повторную оплату, очевидно, реактивация клиента на оплату это все же несколько запоздалое действие. Чтобы решиться на повтор

Сегодняшним постом я начинаю серию заметок о продуктовой аналитике. Сегодня мы поговорим о том, что делать, когда общая картина ваших когорт выглядит не очень, но не совсем понятно, что с этим делать. Итак, вы продуктовая компания. У вас, как и в любом бизнесе, есть этап привлечения клиентов. Обычно этому этапу компания посвящает больше всего времени. Так происходит потому, что на этом этапе компания явно и активно тратит деньги в маркетинг, а потому ТОП-менеджмент хочет четко понимать, есть ли там ожидаемый прирост дохода и положительный ROI. Но, после привлечения клиентов работа маркетолога-продуктолога не заканчивается, а только начинается. Почему? Ниже перед вами чарт с когортами клиентов . Buyers cohorts. Мы видим, что привлеченные когорты вяло переходят в следующий период. Так, в среднем, с нулевого периода в первый переходит только 34% всех привлеченных клиентов. И хотя некоторые клиенты могут активироваться просто позже (например сделать свою повторную покупку, ска

Недавно я выступал на конференции про e-commerce в секции Лояльность. Т.к. меня давно интересовал NPS, я решился ознакомиться с открытыми источниками и исследованиями на тему NPS. Ниже я делюсь несколькими моментами, которые мне показались интересными. Маркетологи часто ставят знак равенства между NPS и retention . Давайте посмотрим насколько NPS коррелирует с retention? Profitwell research: NPS vs revenue retention. На чарте выше мы видим, что retention у компаний из нижнего и среднего NPS квартиля практически одинаковый. Только компании, которые в своей индустрии обладают самыми высокими показателями NPS имеют retention на 5-10% выше. Теперь давайте зададим себе другой вопрос. Является ли NPS вопросом, который помогает оценить удовлетворенность и т.о. спрогнозировать вероятность повторной покупки? AirBnb research: NPS vs product specific question. Из чарта выше видно, что информация о самой поездке имеет для AirBnb более сильную предиктивную силу, чем LTR (NPS).

Сегодня я хочу поделиться опытом того, как я проверял насколько модель вектор Шепли чувствительна к вариативности данных. Зачем мне это нужно? Канал, с которого приходит клиент - случайная величина. Конверсия из канала Х может иметь (и как правило имеет) сильную вариативность от недели к неделе:  запускаются новые компании,  часть старых компаний оптимизируется,  часть компаний просто выключается из-за отсутствия окупаемости. Исходя из этого возникает вопрос: будет ли модель вектор Шепли (которая учитывает влияние всех цепочек) оставаться относительно стабильной при сильной вариативности активных цепочек? Давайте это проверим. (1) Итак, как я писал в одном из предыдущих постов про атрибуцию, я сгенерировал около ~13k клиентских цепочек. Customers-channel chains. (2) Важно отметить, что если сделать агрегацию цепочек, то уникальных цепочек окажется намного меньше - всего 273(!) цепочки. Unique channel chains. Такой размер выборки уже может наводить на

Сегодня я продолжу тему атрибуции рекламных каналов. К сожалению, эта тема очень мало описана в маркетинговой литературе (нет никаких эмпирических правил и фундаментальных исследований), а потому понять как вариация каналов повлияет на атрибуцию, без симуляции - не представляется возможным. Итак, в прошлый раз мы рассмотрели три вида атрибуции: last_click , markov_chain и shapley_value . Также из прошлого поста мы помним, что: markov_chain (Цепи Маркова)  - должны быть в достаточной степени чувствителны к изменению порядка каналов в цепочке; shapley_value (Вектор Шепли)  - подход старается равномерно распределить ценность и для него порядок каналов в цепочке не играет роли . Сегодня мы проверим на практике насколько оба метода атрибуции чувствительны к изменению порядка каналов в цепочке. Датасет я взял из прошлого поста. Ниже пример того, как в этом датасете выглядят цепочки каналов для некоторых пользователей: Path chains. Затем я просто реверсировал их и он

Обычно, я не играю в игры с моделями атрибуций рекламных каналов. В работе с сессиями я почти всегда пользуюсь данными из Google Analytics (GA). Это система хороша тем, что мне не нужно заботиться о том, где хранить данные о заходах на сайт, как определять продолжительность сессии и т.д. Все эти вопросы закрывает Google Analytics. При заходе пользователя на сайт GA соотносит (атрибутирует) этого пользователя к одному из известных источников трафика. Если GA может определить источник трафика, то она атрибутирует пользователя к этому источнику трафика.   Если GA не может определить источник трафика (зашел на сайт direct, в URL нет utm-меток и еще в ряде случаев), то она возьмет последний недавний источник трафика (не direct) из которого пришел пользователь. Эта модель атрибуции называется Last Non-Direct Click (LNDC). Она используется во всех отчетах GA кроме отчетов из секций Multi-Channel Funnel и Attribution. Двумя побочными эффектами LNDC модели атрибуции являются:

Итак, недавно в закрытом комьюнити  reforge поднимался вопрос про A/B-тесты и доверительные интервалы. И там, Brian Balfour (бывший VP Growth @ HubSpot), упомянул, что помимо работы с p-value важно: формировать сильные (читай - со значительными изменениями) гипотезы и  стремиться закончить успешный A/B-тест как можно раньше. Сейчас мы не будем обсуждать первый аспект - как формировать сильные гипотезы. Обычно, в каждом конкретном случае, нужно оценивать нужды каждой группы пользователей и отдавать себе отчет в реальной ценности, которую продукт дает клиентам на этом этапе, а также насколько эта ценность четко коммуницируется. Но второй аспект - время на завершение теста - более универсален и часто может прорабатываться без такого глубокого погружения в контекст продукта. Начну с того, что позволю себе напомнить с чего начинается запуск A/B-теста: взять цифру базовой конверсии оценить ожидаемый прирост конверсии (лифт) рассчитать размер минимально необходимой выборки

Итак, какое-то время назад я читал исследование о том, что происходит с клиентами, которые сделали одну покупку (one-time buyers). Основной тезис исследования заключался в том, что таких клиентов, как правило, очень много (~60%) и чтобы улучшить их активацию на вторую покупку их надо как-то сегментировать и делать персонализированные офера. Для того, чтобы персонализировать офер, важно понять, что мы знаем о клиентах, которые сделали следующие шаги (2+ покупки) и пытаться применить эти знания к one-time buyers. Найденных в исследовании инсайтов было три: день недели в котором была совершена 1-я покупка имеет больше шансов быть следующим днем покупки, чем все остальные дни недели; период дня в котором была совершена 1-я покупка имеет больше шансов быть следующим периодом дня для покупки, чем все остальные периоды; сумма  1-й покупки имеет больше шансов быть следующей суммой покупки, чем все остальные суммы. Недолго думая, я решил взять один e-commerce датасет с нерегуляр

Я думаю, вы уже пришли к выводу, что в работе с LTV главное рассчитывать вероятность совершения повторной покупки и быстро реагировать на ее снижение. Существуют разные подходы к ее оценке, но все они так или иначе связаны с поведенческими характеристиками, причем практически всегда характеристика #1 это Recency. Сегодня я покажу вам 3 подхода к оценке вероятности совершения повторной покупки (от менее точного к более точному): на основе Recency и Latency на основе Recency, Lifetime , Frequency на основе модели Pareto/NBD Прелесть каждого из подходов в том, что мы рассчитываем вероятность совершения повторной покупки для каждого клиента индивидуально ( не на основе когорты). Оценка вероятности на основе Recency и Latency Начну с того, что бегло напомню вам разницу между Recency и Latency . Recency - время, которое прошло с момента совершения последней покупки до сейчас. R = today() - last_order_date Latency - среднее время между покупками. L = ( last