Aha-момент или как понять, что клиент готов быть регулярным пользователем вашего продукта

Итак мы продолжаем тему продуктовой аналитики. Сегодня мы будем говорить о другом аспекте построения продукта - об активации клиента или об aha-моменте.

Из прошлого поста мы уже выяснили, что регулярное действие намного более перспективно с точки зрения удержания.

Но все равно остается один открытый вопрос:

сколько регулярных действий нужно совершить клиенту, чтобы мы были уверены, что клиент будет удержан?

Предположим, мы узнали, что это 3 совершенных действия.

Достаточно ли нам этой информации для запуска маркетинговой кампании, корректирующей поведение "отстающих" клиентов? Ответ очевиден - нет.

Ведь эти 3 действия можно совершить за период в 7 дней, можно за 30 дней, а можно и за 180 дней. В тоже время эффективный маркетинг ВСЕГДА строится на временных рамках (thresholds).

Поэтому возникает второй открытый вопрос:

за какой промежуток времени нужно совершить Х регулярных действий клиенту, чтобы мы были уверены, что клиент будет удержан?

Нахождение ответа на 2 выше озвученных вопроса, по сути, является задачей определения aha-момента.

Существует несколько подходов для определения aha-моментов:

• использование подхода на основе venn-диаграмм (проще в расчете и объяснении)
• использование подхода на основе correlation, PPV и NPV

Оба подхода, в целом, дают одинаковые результаты, а потому сегодня я остановлюсь на подходе на основе venn-диаграмм (долей).

Скажу сразу, что здесь не существует серебряной пули. Вам придется сделать N-расчетов и посмотреть какая комбинация количества действий за некий период даст лучший результат (лучшую корреляцию с удержанием).

Алгоритм расчетов следующий:

1. Сформировать список клиентов (user_id)
2. Для каждого клиента рассчитать такие колонки:
1. retained - удержан ли клиент (сделал Х ключевых действий) в периоде Z
2. 2a_n - сделано ли было 2 ключевых действия за период в { 1, 2, 3, ... N } дней с даты регистрации в продукте 
3. 3a_n - сделано ли было 3 ключевых действия за период в { 1, 2, 3, ... N } дней с даты регистрации в продукте 
4. ...
5. ma_n - сделано ли было M ключевых действий за период в { 1, 2, 3, ... N } дней с даты регистрации в продукте 

Таким образом вы делаете перебор и определяете лучшую комбинацию коррелирующую с удержанием. Т.к. фокусировка идет на начальном этапе взаимодействия клиента с продуктом, то количество комбинаций весьма ограниченно и это вселяет оптимизм, что сделать это можно будет быстро.

Итак, начнем с оценки периода для 2-х совершенных ключевых действий.

Ниже чарт с расчетами для 2-х совершенных ключевых действий:

2 actions for periods {1d, 2d, ... , 30d}.

На что стоит обратить внимание на чарте выше?

(0.1) Нижняя часть таблицы это расчет для каждого клиента: удержан он или нет (1 vs 0), а также совершил ли он m-действий за n-дней (1 vs 0).

(0.2) Над таблицей сделана агрегация расчетов по клиентам.

did action - количество клиентов совершивших действие

did action & retained - количество клиентов, которые совершили действие и удержаны

no action & retained - количество клиентов которые не совершили действие, но удержаны

(1) Итак, какая динамика по 2-м совершенным действиям?

2 actions dynamics.

Максимальное количество клиентов которые совершили 2 действия (737 человек), сделали это за период в 15 дней.

Но:

• максимальное количество клиентов, которые совершили 2 действия и были удержаны достигнуто за 16 дней, и в тоже время
• минимальное количество клиентов, которые не совершили 2 действия и были удержаны достигнуто также за 16 дней.

(2) Какая динамика по конверсиям/долям по 2-м совершенным действиям?

2 actions - conversion dynamics.

• Максимальная конверсия (0.202) по 2-м действиям достигнута была за 16 дней.
• conv = did action & retained / did action
• Максимальная venn-доля (0.140) по 2-м действиям достигнута была за 16 дней.
• venn = did action & retained / (no action & retained + did action)

Здесь период по max(venn) совпал с периодом по max(did action & retained) и по max(conv). Но так бывает не всегда.

Разумно ориентироваться на максимальную venn-долю и т.о. взять за основу 16 дней для совершения 2-х действий.

Отлично. 

Теперь давайте повторим наше исследование для 3-х и 4-х совершенных действий (расчет может включать в себя проверку и большего количества совершенных действий, если в этом есть необходимость).

Продолжим с оценкой периода для 3-х совершенных ключевых действий.

Ниже чарт с расчетами для 3-х совершенных ключевых действий:

3 actions for periods {1d, 2d, ... , 30d}. 

(1) Итак, какая динамика по 3-м совершенным действиям?

3 actions dynamics.

Максимальное количество клиентов которые совершили 3 действия (512 человек), сделали это за период в 21 день.

Но:

• максимальное количество клиентов, которые совершили 3 действия и были удержаны достигнуто за 23 дня, и в тоже время
• минимальное количество клиентов, которые не совершили 3 действия и были удержаны достигнуто также за 23 дня.

(2) Какая динамика по конверсиям/долям по 3-м совершенным действиям?

3 actions - conversions dynamics.

• Максимальная конверсия (0.230) по 3-м действиям достигнута была за 28 дней.
• conv = did action & retained / did action
• Максимальная venn-доля (0.129) по 3-м действиям достигнута была за 23 дня.
• venn = did action & retained / (no action & retained + did action)

Здесь период по max(venn) совпал с периодом по max(did action & retained) и уже не совпал по max(conv).

Разумно ориентироваться на максимальную venn-долю и т.о. взять за основу 23 дня для совершения 3-х действий.

Продолжим с оценкой периода для 4-м совершенным ключевым действиям.

Ниже чарт с расчетами для 4-х совершенных ключевых действий:

4 actions for periods {1d, 2d, ... , 36d}. 

(1) Итак, какая динамика по 4-м совершенным действиям?

4 actions dynamics.

Максимальное количество клиентов которые совершили 4 действия (369 человек), сделали это за период в 29 дней.

Но:

• максимальное количество клиентов, которые совершили 4 действия и были удержаны достигнуто за 29 дней, и в тоже время
• минимальное количество клиентов, которые не совершили 4 действия и были удержаны достигнуто также за 29 дней.

(2) Какая динамика по конверсиям/долям по 4-м совершенным действиям?

4 actions - conversions dynamics.

• Максимальная конверсия (0.280) по 4-м действиям достигнута была за 35 дней.
• conv = did action & retained / did action
• Максимальная venn-доля (0.121) по 4-м действиям достигнута была за 35 дня.
• venn = did action & retained / (no action & retained + did action)

Здесь период по max(venn) уже не совпал с периодом по max(did action & retained) и совпал по max(conv). 

Разумно ориентироваться на максимальную venn-долю и т.о. взять за основу 35 дня для совершения 4-х действий.

Давайте немного подытожим.

A-ha moment: summary.

(a) С ростом количества действий, конверсия как правило растет, но полагаться на эту метрику здесь нельзя. Почему - ответ в следующих двух пунктах.

(b) С ростом количества действий, количество клиентов совершивших их как правило сильно падает. Это значит, что хотя точность и растет, но сам сегмент становится слишком узким и выравнивать активацию на такой узкий сегмент - не оптимально.

(c) С ростом количества действий, период как правило нарастает, что в общем-то логично. Чем больше действий нужно совершить, тем больше времени потребуется. Но также это означает, что нам придется намного больше ждать пока начнется и завершится активация, что повышает риски потерять клиента.

(d) Наибольший результат venn-доли мы получили при 2-х совершенных действиях. Значит теперь это и будет нашим целевым показателем, который нужно достичь при запуске активационной механики. Более того, у нас также есть срок до которого мы должны выполнить активацию клиента - до 16 дней с даты регистрации в продукте.

----

P.S. Про более мощный и современный способ расчета aha-момента, вы можете почитать в этом посте.