Posts

Прогнозирование оттока клиентов в Excel

Image
В прошлом посте я показал как отток клиентов тихо убивает рост вашего бизнеса. Сегодня мы будем говорить о том, как сделать первые шаги к прогнозированию того, как будут размываться ваша когорта.

Начнем с того, что возьмем одну когорту и построим график ее размытия.

Сырые данные оттока одной когорты клиентов могут выглядеть вот так:


 У нас есть две колонки:
колонка t - это шкала времени (это м.б. 1 неделя, 1 месяц или даже 1 год);колонка S - это колонка описывает, какой % клиентов продолжил пользоваться вашим продуктом в соответствующий период времени t. В нашем примере период t = 1 месяц. 
Например, в каком-то из месяцев мы привлекли X клиентов. Для нас это точка отсчета - наш период "0". В нем все 100% клиентов когорты с нами. 
В следующий период (месяц) перешло 63% (=0.63) клиентов. Это значит, что 37% клиентов, которые были в предыдущем периоде, не продолжили пользоваться нашим продуктом. Они ушли в отток.
Другое представление оттока когорты клиентов это график:

Суть граф…

Отток клиентов - как скорость, с которой вы теряете свой бизнес

Image
Я давно не возвращался к теме оттока клиентов. Но сейчас, когда большинство стран находятся в состоянии lockdown, отток клиентов в той или иной степени прочувствовали все типы бизнесов.

Так вот, сегодня мне попалась на глаза статья ex-CPO Netflix. В начале статьи он упомянул, что:
на раннем этапе ежемесячный отток клиентов в Netflix был на уровне 10%;уже в 2005 Netflix ежемесячный cancel rate был на уровне 4.5%;в наши дни (2019?) ежемесячный отток клиентов был немного меньше 2%. Чтобы говорить (или оценивать) отток клиентов, очевидно, его нужно как-то визуализировать. Когорты это самый простой и доступный способ изучать отток клиентов.

Итак, я быстро построил когортную модель с такими вводными:
каждый месяц компания привлекает 1,000 новых клиентов;в каждый последующий месяц после месяца привлечения компания теряет Х% своих клиентов (churn rate = X%);горизонт планирования 3 года. В идеальных условиях клиенты приходят навсегда (churn rate = 0%). Если бы это было так, то когорты Netflix вы…

Google Analytics, сквозная аналитика и мультиканальная атрибуция

Image
Последние несколько лет я практически не использовал Google Analytics и не следил за тем, что в нем нового и как он развивается.

Но, я вижу, что многие бизнесы по-прежнему не тратят время и деньги на построение своей системы аналитики.

Что они делают?
ставят на свой сайт счетчик (код) Google Analytics. Данные о визитах клиентов начинают записываться в Google Analytics бесплатно (пока ваш объем визитов на сайт не станет очень большим)до-обогащают данные в Google Analytics: передают информацию о транзакциях, достижении других важных целях и событий в их e-commerceв самом Google Analytics строят разные отчеты, изучают графики И это вполне рабочий поход.

Но, есть несколько "но". При таком подходе сырые данные хранятся в Google Analytics и достать их не такая уж простая задача, хотя и возможная (с рядом ограничений вы можете выкачивать данные из Google Analytics по API).

Что еще важнее, так это то, что там со временем накапливается ключевая маркетингово-финансовая информация, и ра…

Transition Matrix: введение в систему роста вашего продукта

Image
Итак, в прошлой статье мы разбирали как концептуально рассчитывается Quick Ratio. Quick Ratio полезный показатель роста продукта, но он не самодостаточный. Он позволяет определить текущий темп роста и фокусировать команды на поддержании нужного темпа роста продукта.

Но, чтобы по-настоящему управлять ростом, нужно погрузиться в детали: нужно понять как правильно считать компоненты Quick Ratio, как начать мыслить развитием клиентов: кого нужно развивать, кого лучше не трогать, кого возвращать из других сегментов обратно, кого отпускать.

Итак, сегодня мы начнем разговор о таком инструменте как Transition Matrix.

Чтобы ввести вас в контекст я немного расскажу о бизнес-модели для которой я строил Transition Matrix. Это бизнес-модель, в которой клиент:
выбирает репетитора, оформляет заявку на обучение (лид), пополняет свой баланс (клиент), планирует уроки на определенные даты и собственно занимается с репетитором в эти даты. Если (1) действие удачное (репетитор подходящий), то затем клиент п…

Quick Ratio: или как понять растет ли ваш продукт?

Image
Сегодня мы продолжим тему роста и обсудим такой важный момент как рост продукта.

С одной стороны, стартапы часто оценивают рост через финансовые метрики, такие как Revenue, MRR, или LTV. Это действительно важные метрики, и мы не будет здесь поддавать сомнению их важность и объективность.
С другой стороны, финансовые метрики это всегда lagging indicators. Их просто посчитать, но узнать, что произойдет в будущем с их помощью затруднительно.

Продукт в этой системе координат роста, обычно, не рассматривается как нечто, что можно оцифровать и объективно растить.

Сегодня я поделюсь с вами несколькими идеями о том, как можно было бы оценивать рост продукта.

Начнем с единицы измерения.

Продукт не существует в вакууме. Чтобы продукт проносил ценность, у него должна быть точка приложения. И эта точка - клиент.  Если клиент воспользовался продуктом, то у продукта появилась возможность продемонстрировать свою полезность.

Поэтому, возможно, лучшее, что мы можем сделать - это оценивать рост продукт…

Как растить продукт и клиента в нем?

Image
В этом году я дважды публично рассказывал про расчет A-ha moment, до этого проходил Retention + Engagement Deep Dive от Reforge, ездил на мастер-класс North Star Metric от Amplitude. В целом, в последнее время меня волнует только один вопрос: на чем фокусировать продуктовую команду, чтобы продукт в любой момент времени приносил максимальную ценность клиенту.

Ответ на этот вопрос часто лежит на стыке нескольких дисциплин, команд и ролей.

С одной стороны, продуктовая команда, как правило, смотрит далеко вперед и стратегически развивает продукт. Наличие функционала, его связанность с другими фичами и общая работоспособность продукта это, как правило, основные задачи продуктовых команд.

С другой стороны, команда роста (если таковая есть) сильно зафокусирована на улучшении конверсий на пути пользования продукта клиентом. Здесь акцент смещен в стороны growth hacks, A/B-тестов и других подходов, которые позволяют расширить воронку.

При этом обе команды не всегда имеют время на то, чтобы оста…

A/B-тестирование: что такое p-hacking?

Image
Когда-то давно, когда я только начинал разбираться со статистикой, я столкнулся с термином "p-hacking". Так как понимания базовых принципов у меня тогда еще не было, то и сама проблема "подглядывания" мне казалась весьма надуманной.

Сегодня я поделюсь своим опытом того, что профессиональные статистики вкладывают в "p-hacking", почему он реален и как я вижу себе выход из этой ситуации.

Начну с того, что дам ссылку на отличную презентацию, которая обширно и подробно описывает эту проблему в статистике.

Откуда берется p-hacking?

Итак, в работе с A/B-тестами у нас возможны 4 исхода:


Как мы видим, в двух исходах мы принимаем верные решения, а в двух других  - нет.

Т.к. при A/B-тестировании мы очень хотим не ошибиться с принимаемым решением по результатам A/B-теста, то нам важно понять, что же может пойти не так:
мы можем "увидеть" разницу (просто случайность), когда на самом деле ее нет
(это Type I Error)

мы можем "не увидеть" разницу, когда н…

A/B-тестирование: p.value < 0.05 или как быть когда сплит не 50/50?

Image
Итак, недавно у меня возникла следующая ситуация. Планировался запуск A/B-теста. Так как тест высокорисковый, то появилась мысль минимизировать риск за счет того, что в группу B направить не 50% трафика, а лишь 5%.

Действую по протоколу проведения A/B-тестов нам следует до запуска теста выполнить два предварительных действия:
оценить лифт целевого показателяоценить размер минимально необходимой выборки С первой задачей справиться несложно.

Моя базовая конверсия (с1) = 2%. Лифт, который я хочу обнаружить (lift) = 5%.
Итого, моя новая конверсия (с2) = c1 * (1 + lift) = 2.1%.

А вот со второй задачей справиться уже несколько сложнее.

Обычно для решения таких задач я использую статистический калькулятор:


Как мы видим, под числом 309,928 четко написано - per variation - что означает, что такой объем должен набраться для каждой группы.

Дело в том, что большинство онлайн-калькуляторов делают расчет минимально необходимой выборки при конфигурации сплита 50%/50%.

Но я-то хочу сделать принципиаль…

A/B-тестирование: стоимости правильных и ошибочных решений

Image
Недавно, пока я разбирался с тем, какой размер минимально необходимой выборки должен быть набран при неравномерном сплите, я наткнулся на весьма интересную статью.

Дело в том, что когда мы запускаем A/B-тест, мы обычно попадаем в две крайности:
мы либо вообще не берем в расчет статистическую значимость результаталибо слепо равняемся на статистические догмы:p.value < 0.05confidence level = 95%statistical power = 80% С одной стороны, в использовании статистики нет ничего плохо. Она действительно позволяет нам уйти от субъективной оценки результата, быть уверенным в том, что результат воспроизводим и не является случайностью. 
С другой стороны, бизнес не существует в вакууме. И каждое принятое нами решение имеет два дополнительных параметра: времястоимость Причем, как правило, чем больше стоимость решения, тем больше времени мы готовы ждать. А на количество времени, необходимого для получения надежного результата, напрямую влияет какой confidence level мы выбираем. 
95% confidence level…