Продуктовая аналитика: Матрица Вовлеченности

Продуктовая аналитика это постоянный процесс поиска инсайтов о том, как и когда твой продукт приносит (или наоборот - не приносит) ценность клиенту. Но, оцифровать ценность это совсем нетривиальная задача и поэтому часто продуктовый анализ начинают с анализа использования продукта. 

Для того, чтобы запустить в компании поведенческую аналитику очень важно собирать подходящую информацию о поведении клиентов. Здесь есть два возможных подхода:

• собирать сессионные данные (отслеживать визиты на страницы/экраны, отслеживать клики/нажатия)
• собирать событийные данные (генерировать события при пользовании функционалом продукта)

Перечисленные выше подходы имеют как плюсы так и минусы, как с точки зрения скорости запуска отслеживания поведения, так и с точки зрения глубины возможных инсайтов. 

Из того, что я вижу в последнее время - аналитические системы на основе событий доминируют в сегменте продуктовой аналитики (например, Amplitude, Heap).

Итак, допустим вы работаете в продуктовой компании, которая делает продукт помогающий управлять проектами. В продукте есть три инструмента: 

• задачи (task)
• чаты (chat) и 
• лента (stream) 

Вы успешно собираете события о пользовании клиентами продуктом в свою БД.

Изучать как клиенты пользовались продуктом можно по-разному:

1. можно изучать цепочки событий
2. можно изучать агрегаты событий за период

На мой взгляд, анализ всегда стоит строить от общего к частному. Поэтому я построю агрегат за месяц по каждому клиенту по комбинации tool + category + event. 

Ниже скриншот с агрегатами событий за месяц по двум клиентам.

clients usage stats
(кликните, чтобы увеличить картинку)

На примере выше мы видим, что в агрегат вошли такие базовые расчеты как:

• hit_cnt - количество событий, которые сгенерировал клиент за месяц
• user_cnt - количество пользователей (в B2B продуктах часто 1 клиент != 1 пользователь)
• day_cnt - количество дней, когда пользовались продуктом

Собственно этого достаточно, чтобы сделать первый подход к продуктовой аналитике.

Первое, что приходит на ум - посчитать MAU. Для простоты изложения я определю MAU как количество уникальных клиентов, которые сделали хотя бы одно действие в продукте за период равный месяцу. 

MAU - это engagement метрика. 

• если MAU растет, то очень грубо можно сказать, что растет база вовлеченных клиентов.
• MAU ничего не скажет нам о том, насколько наши клиенты вовлечены в продукт.

Степень вовлеченности можно измерять интенсивностью использования. Например, на чарте выше:

Клиент за месяц сгенерировал 293 событий message_send_text. 

Клиент пользовался этой фичей 14 дней в месяц. 

В среднем, он отправлял 293 / 14 ~ 21 сообщение в день.

Все 3 числа в той или иной степени описывают интенсивность использования.

Интуитивно, я думаю, вы уже понимаете, что интенсивность может с какой-то степенью описывать объем пользы, который фича приносит клиенту.

ВАЖНО: в любом продукте есть фичи, которыми пользуются очень часто (ежедневно), а есть наоборот (1-2 раза в месяц). У разных фич разная сложность и разный цикл естественного повторного использования. Поэтому, интерпретировать интенсивность нужно очень аккуратно:

• Низкая интенсивность использования еще не говорит об не успехе фичи. Например, вы можете создать один раз групповой чат и дальше уже вести переписку в нем.
• Высокая интенсивность использования также может быть обманчива. Хотя, как правило, чем выше интенсивность, тем лучше, иногда это может указывать на технические или UX-ошибки. 

Итак, чтобы разобраться в деталях использования продуктом, я рекомендую строить scatter plot и одновременно смотреть и на MAU и на интенсивность:

• ось Х: будет показывать популярность фичи, за нее отвечает метрика MAU 
• ось Y: будет показывать степень вовлеченности, за нее отвечает метрика интенсивности. 

Впервые я познакомился с этим подходом в справке аналитического продукта Amplitude.

Чтобы выжать из scatter plot максимум, также добавим 2 линии:

• 80 перцентиль по MAU
• 80 перцентиль по интенсивности

Это позволит вам разделить вашу Матрицу Вовлеченности на 4 квадранта:

• правый верхний (высокий MAU, высокая интенсивность)
  Это ваши core-фичи. Как правило, они приносят наибольшую ценность большинству. Изменения в них будут иметь большие последствия для всего продукта.
  
  
• левый верхний (невысокий MAU, высокая интенсивность)
  Это ваши power-фичи. Их используют далеко не все клиенты, но те, кто их используют, делают это интенсивно. Стоит стремиться к тому, чтобы эти фичи становились более популярными. Иногда сюда попадают фичи с техническими багами, создающими потребность еще и еще вызывать функционал пока он не сработает. 
   
• правый нижний (высокий MAU, невысокая интенсивность)
  В большинстве своем это setup-фичи. Иногда сюда попадают фичи с техническими багами, создающими ситуацию, когда функционал по каким-то причинам становится не доступен для повторного использования. 
  
  
• левый нижний (невысокий MAU, невысокая интенсивность)
  Это фичи, которые нужно интенсивно анализировать: часть из них вероятно нужно будет выключить, а часть кардинально переделать. 

Чуть выше мы определили три возможных варианта оценки интенсивности. 

Я рекомендую не смотреть на общую интенсивность пользования фичей, а сразу отдельно рассчитать интенсивность использования в течение дня и интенсивность по количеству дней. Это позволит сложить дополнительное понимание, у каких фичей есть дневная интенсивность, а у каких - дневная повторяемость. Об этом будет следующий пост. 

Что касается MAU, то я рекомендую использовать % MAU. Так как % MAU ограничен сверху 100%, это позволит не сломать вашу насмотренность на популярность тех или иных фичей с ростом размера клиентской базы.

Матрица Вовлеченности 1: MAU x avg_hits_per_day

MAU x avg_hits_per_day 
(кликните, чтобы увеличить картинку)

Из моего опыта метрика avg_hits_per_day очень вариативная. Как мы видим на чарте выше:

• фича messages_send_text использовалась интенсивнее всего (50+ раз в день)
• 80% перцентиль использования всех фич ~ 4.36 раза в день.

Часто случается так, что одна-две фичи имеют слишком высокую дневную интенсивность и это сильно сжимает остальные фичи на чарте внизу. Для того, чтобы удобно рассмотреть чарт, рекомендуется прологарифмировать ось Y.

Матрица Вовлеченности 2: MAU x LOG(avg_hits_per_day)

MAU x LOG(avg_hits_per_day)
(кликните, чтобы увеличить картинку)

И хотя больше событий стало различимо, я не рекомендую долго задерживаться на этом графике. 

Дело в том, что из-за разной сложности фичей, где-то 1-2 использования в день является нормой, но где-то этот показатель м.б. сильно больше (скажем 6-8 раз в день или даже сильно больше).

Более осмысленную картинку можно получить, если от дневной интенсивности перейти к дневной повторяемости.

Количество дней в месяце имеет границу сверху - 31 день. Это, как правило, позволяет лучше рассмотреть паттерны использования фичами за период. 

Сейчас мы выбрали в качестве периода месяц и поэтому считаем MAU. Если цикл пользования большинством фич еженедельный, то разумно сделать агрегат за неделю и смотреть на WAU.  

Матрица Вовлеченности 3: LOG(MAU) x LOG(avg_days_cnt)

LOG(MAU) x LOG(avg_days_cnt)
(кликните, чтобы увеличить картинку)

Для упрощения трактовки Матрицы Вовлеченности я также добавил 20-е перцентили по обоим измерениям:

• core-фичи: tasks_view, tasks_add, tasks_edit, messages_send_text, posts_open 
• power-фичи: posts_like, messages_edit, posts_comment_add, posts_vote
• setup-фичи: tasks_demo_view

В следующем посте мы рассмотрим модифицированный подход к анализу фичей в продукте основанный исключительно на оценке интенсивности использования.