Quick Ratio: или как понять растет ли ваш продукт?

Сегодня мы продолжим тему роста и обсудим такой важный момент как рост продукта.

С одной стороны, стартапы часто оценивают рост через финансовые метрики, такие как Revenue, MRR, или LTV. Это действительно важные метрики, и мы не будет здесь поддавать сомнению их важность и объективность.
С другой стороны, финансовые метрики это всегда lagging indicators. Их просто посчитать, но узнать, что произойдет в будущем с их помощью затруднительно.

Продукт в этой системе координат роста, обычно, не рассматривается как нечто, что можно оцифровать и объективно растить.

Сегодня я поделюсь с вами несколькими идеями о том, как можно было бы оценивать рост продукта.

Начнем с единицы измерения.

Продукт не существует в вакууме. Чтобы продукт проносил ценность, у него должна быть точка приложения. И эта точка - клиент.  Если клиент воспользовался продуктом, то у продукта появилась возможность продемонстрировать свою полезность.

Поэтому, возможно, лучшее, что мы можем сделать - это оценивать рост продукта с помощью роста клиентов, которых он успешно обслуживает.

Теперь давайте распакуем эту идею.

В любой момент времени, разные клиенты находятся на разных этапах своего жизненного цикла:

• Кто-то из них, только-только в первый раз воспользовался продуктом.
• Кто-то давно и активно пользуется продуктом.
• Кто-то перестал получать ожидаемый объем пользы для себя и выжидает появление новых продуктов на рынке (или активно их ищет).
• Кто-то уже давно перестал пользоваться продуктом.

Таким образом простая сумма всех клиентов, которые когда-либо воспользовались продуктом не выдерживает никакой критики. 

Во-первых, оно будет всегда нарастать (а это уже = vanity metric). 

Во-вторых, разные клиенты будут иметь разную степень вовлеченности, а значит и разную вероятность продолжить пользоваться продуктом.

Что же можно сделать вместо простого суммирования?

Можно определить, что такое вовлеченное пользование продуктом и затем пойти от этой точки в разные стороны. Понять сколько (в среднем) нужно времени, чтобы из одного состояния перейти в другое и отслеживать такие перемещения.

Но так мы получим 4-5 сегментов со своими абсолютными цифрами и динамикой переходов. Геометрически это будет матрица, которую нужно будет научиться правильно "читать". Можно ли как-то эффективно "сжать" такую матрицу до одной цифры?

Ответ: и да и нет.

С одной стороны, мы действительно можем сжать ее до показателя Quick Ratio.
С другой стороны, нужно отдавать себе отчет, что практически любое сжатие информации несет в себе потери.

Поэтому лучшие практики используют Quick Ratio как механизм отслеживания траектории роста продукта, но диагностика этой траектории все равно будет делаться через анализ матрицы.

Давайте попробуем определить Quick Ratio. Концептуальная формула выглядит просто:

                           New Users + Resurrected Users
Quick Ratio =   ----------------------------------------------------
                                            Churned Users

New Users - это те пользователи, которые впервые воспользовались продуктом недавно.

Resurrected Users - это те пользователи, которые пользовались продуктом, потом перестали, и через какое-то время снова вернулись к пользованию продукту.

Churned Users - это те пользователи, которые раньше пользовались продуктом, но потом перестали и сейчас не пользуются.

Таким образом, Quick Ratio объясняет нам насколько динамика притока пользователей продукта превышает динамику оттока пользователей продукта.

Здесь важно отметить, что пользователи продукта определяются исключительно по целевому действию, которое приносит ценность и является хорошим прокси того, что пользователи будут и дальше пользоваться продуктом.

Приведу пример того, как бы мог выглядеть график Quick Ratio:

Product growth metric - Quick Ratio.

Начнем с определений.

Nbuy - это клиенты, которые сделали свою первую покупку за последние Х дней. Это по смыслу соответствует New Users из формулы выше.

Возможно вы обратили внимание, что у меня для расчета Quick Ratio используется не 3, а целых 4 сегмента.

Дело в том, что многие SaaS бизнесы (с подпиской или нет) имеют два цикла пользователя:

• цикл повторных покупок (Abuy)
• цикл повторного пользования (Alrn)

Один из циклов отвечает за то, как часто клиент пополняет свой баланс в сервисе. Второй отвечает за то, как часто клиент выполняет повторное целевое действие. В итоге оба цикла образуют два сегмента про вовлечение, но с разной степенью.

Обычно, чтобы воспользоваться продуктом, клиент вначале пополняет баланс. Для вас это сигнал к тому, что клиент планирует пользоваться продуктом. Но, со временем, часть клиентов (особенно те, кто подвязал карточку к SaaS-сервису) уже фактически не пользуются продуктом, хотя деньги все еще продолжают списываться. 

С точки зрения финансов такой клиент активен. С точки зрения продукта, степень вовлеченности у такого клиента сильно ниже. Поэтому, если не держать в голове эти два случая, то вы будете сильно переоценивать ваш рост продукта и его активную аудиторию.

Alrn - это клиенты, которые сделали свою последнюю покупку в последние N дней, и при этом сделали целевое действие в продукте (воспользовались продуктом) в последние M дней (<= M).

Abuy - это клиенты, которые сделали свою последнюю покупку в последние N дней, и при этом сделали целевое действие в продукте (воспользовались продуктом) более M дней тому назад (> M).

Alrn и Abuy совокупно (через Total Active) определяют, кто такие вовлеченные клиенты, а также позволяют визуализировать динамику набора таких клиентов.

Rbuy - это клиенты, которые сделали свою последнюю покупку в последние Z дней, и при этом предыдущую покупку не совершали более N дней тому назад. Это по смыслу соответствует Resurrected Users из формулы выше.

Также на графике есть Total churned, которые определяются через разницу: неактивные_клиенты(t) - неактивные_клиенты(t-1). Это по смыслу соответствует Churned Users из формулы выше.

Отмечу, что все сегменты соответствуют принципу MECE (Mutually Exclusive, Collectively Exhaustive).

Какие выводы можно сделать из Quick Ratio графика выше?

Quick Ratio - average

Итак, среднее значение Quick Ratio ~ 2.5. Это означает, что в пересчете на одного клиента за один цикл привлечения, возврата и оттока у нас дополнительно остается по 2.5 клиента (помноженные на масштабы привлечения, возврата и оттока). Это хороший результат (хотя и не превосходный).

Если продукт имеет Quick Ratio < 1, то это означает, что продукт не может аккумулировать клиентов и нужно задуматься над тем, почему так происходит. С большой долей вероятности такая ситуация связана с высоким оттоком (м.б. нет Product Market Fit?), низкой эффективностью механик возврата пользователей обратно в продукт или с их полным отсутствием.

Quick Ratio - trend

Quick Ratio trend analysis using Moving Average.

Как видно из графика выше, в целом Quick Ratio остается на том же уровне. Для нас это положительный сигнал. Если бы Quick Ratio тренд был нисходящий, то это бы означало, что при масштабировании качество привлечения ухудшалось и/или продукт не давал новым клиентам достаточный уровень пользы.

Quick Ratio - seasonality

Также важно отметить, что Quick Ratio чувствителен к сезону. Так например, во втором квартале как и 12 месяце активность клиентов низкая.

Quick Ratio - retention campaigns

Кроме того, мы периодически видим значительные скачки Quick Ratio. Это прямое отражение наших кампаний по возврату. Если они эффективны, то после запуска Quick Ratio сильно подскакивает, т.к. Churned Users уменьшается и в тоже время Resurrected Users вырастает.

И на последок, также можно было бы рассчитать такой показатель как Acquisition Quick Ratio.

В этом показателе в расчет НЕ берутся Resurrected Users. 

Так можно посмотреть на соотношение трендов по росту продукта и параллельно прироста привлечения клиентов, чтобы определить зависимость роста продукта от роста привлечения.

Acquisition Quick Ratio.

Если прокомментировать коротко, то:

• во втором квартале привлечение влияло на рост продукта ограничено. Основной драйвер проседания Quick Ratio был в низкой активности самих клиентов.
• в третьем и особенно четвертом квартале рост продукта был сформирован в основном высоким сезоном и активностью клиентов.
• корреляция 2-х Moving Average отрицательная и равна 0.3.

Таким образом далеко не всегда низкий сезон привлечения и пользования продуктом это одно и тоже.

----

В следующих постах (где название начинается с Transition Matrix) я больше расскажу о технических деталях того, как считать компоненты Quick Ratio.