У меня красивая рассылка, что дальше? A/B тестирование, сегментирование, теггирование

Итак, в предыдущем посте мы обсуждали воронку, которая формируется в результате Продуктовой рассылки и бегло рассмотрели основные элементы рассылки с которыми нужно работать, чтобы улучшить верхнюю часть этой воронки.

Ну что ж, давайте вернемся к теме этого поста: у меня красивая рассылка, что дальше?

Делайте A/B тестирование

Например, Вы всегда отправляли вашу рассылку в 11:00 утра. Теперь вы хотите посмотреть на то, как активно ваши подписчики будут открывать и читать вашу рассылку, если вы отправите ее им к 9:00.

Для этого делим базу подписчиков, допустим 10,000 человек, на две группы:

• Control: 5,000 подписчиков, которые получат имейл-рассылку в 11:00
• Test/Treatment: 5,000 подписчиков, которые получат имейл-рассылку в 9:00.

Чтобы разделить базу подписчиков воспользуйтесь Excel. Загрузите всех подписчиков туда и рассчитайте на "первый, второй".

ВАЖНО: Нельзя просто взять и разделить базу подписчиков 50/50, т.к. последние 50% подписчиков в списке - это, скорее всего, новички, а они, по определению - более активные. Тогда результаты вашего A/B теста будут заведомо некорректные!

Далее вы делаете рассылку и, допустим, получаете такие результаты:

• Control: % открываемости = 8,00%, т.е. открыло 400 человек из 5,000.
• Test/Treatment: % открываемости = 8,90%, т.е. открыло 445 человек из 5,000. 

Первое, что может прийти вам на ум это: здорово, теперь всем буду отправлять рассылку в 9:00. Ведь конверсия там на целых 0,90% выше. Но этот вывод неверный.

На самом деле результат теста должен быть статистически значимым. Чтобы проверить статистическую значимость, мы с вами идем в пост Каушика: Excellent Analytics Tip#1: Compute Statistical Significance и оттуда скачиваем калькулятор Статистической Значимости.

Как им пользоваться?

1. выбираем гипотезу "Treatment group is BETTER than Control group (1-tailed)".
2. вносим в Control данные по контрольной группе, в Treatment - данные по тестовой группе.
3. Смотрим на результат рядом с полем "Is the difference statistically significant?".

Даже если конверсия в группе Test/Treatmant выше, но результат не статистически значим, то выводы делать преждевременно. Делаем повторные тесты, наблюдаем.

СОВЕТ: Никому не верьте. Если вы где-то прочитали, что Facebook, например, делает рассылку в 09:00 и она открывается лучше всего, то для вашего e-commerce это еще НИЧЕГО не значит. Выделяйте тестовую группу, проводите тест, проверяйте результат на статистическую значимость и только потом принимайте решение. 

copy VS offer (рекламный тест ПРОТИВ коммерческого предложения)

Чтобы Вовлечь клиента в покупку вам нужно одинаково плотно работать как с copy (заголовок рассылки и тесты внутри ее) так и с offer (собственно, то предложение, за которое будет клиент будет готов отдать вам деньги, достав их из своего кармана).

Так вот в прошлом посте мы касались только copy, хотя не менее важен и сам offer.

Релевантный offer (на самом деле) это 80% успеха рассылки и лишь 20% успеха рассылки зависит от copy. Никогда не забывайте об этом!

Но чтобы предложить релевантный offer, вам нужны данные о клиенте. Начните сегментировать ваших клиентов.

Я разделяю сегментацию на 3 типа:

• по демографии (город, пол, возраст, и т.д.)
• по истории покупок клиента (или истории просмотра (категорий) товаров клиентом)
• по Customer Life Cycle

Сходу могу сказать, что 95% украинских маркетологов фокусируют 100% своих усилий исключительно на демографии. Да, это просто. Но это широкие сегменты, а потому получить там высокий ROI вам никогда не удастся.

Не более 4% начинают эксперименты с формированием поведенческих сегментов. Это уже намного сложнее. Требует продуманных структур хранения инфо о клиенте в БД, формировании механики анализа таких данных. Это изыскания требуют от проекта большой технологичности и больших вычислительных мощностей.

Менее 1% пытаются учитывать Customer Life Cycle в котором находится их каждый клиент.
Вскоре я начну серию постов про гениально-прикладного маркетолога современности. Его зовут Jim Novo.

О нем сейчас многие говорят как в Москве так и в Киеве, но мало кто использовал его подходы на практике. Я пока изучил лишь часть его работ, но могу с уверенностью сказать, что именно за его подходами будущее принципиально другого маркетинга, нежели то, что сейчас называют в Украине. Я очень горд тем, что смог пообщаться с ним и прояснить для себя некоторые вопросы у само мастера.

Tagging (Теггирование для последующего анализа)

Здесь я, как обычно, скажу что если вы работаете с нормальным ESP, то вопрос теггирования для вас не представляет никаких трудностей. ESP сами теггируют каждую имейл-команию (как ту, что ложится в ваш INBOX, так и ее веб-версию (web view option)).

Так что же такое теггирование?

Ниже я взял пример теггирования одной из имейл-рассылок ModnaKasta. Они пользуются ESP под названием Emarsys. В одном из предыдущих проектов я уже общался с представителями Emarsys. Судя по case studies и рекламным проспектам, которые я изучал, решение у них достаточно мощное, хотя и дорогое.

Тем не менее, даже решения от крутых поставщиков могут работать хуже, чем могли бы. В одном из следующих постов, я покажу что бывает с "крутыми" рассылками, если не держать "руку на пульсе".

Итак я взял один из линков в имейл-рассылки ModnaKasta. Вот как он выглядит:

?utm_source=emarsys&utm_medium=newsletter&utm_term=new-sale&utm_content=131576&utm_campaign=2013-04-17-flashmail&emst=nLry90rSDl_12511_483424_13&DEAL_ID=3931526&DEAL_CODE=oxygen-sportivnye-kostyumy-bluzy-stilnye-dzhempery-i-yubki&F_GENDER=&SORT=&PAGE=

Я знаю о чем вы подумали. Это же шифр. Похоже, но все же нет ;)

Первые 5 тегов (которые я выделил оранжевым) это стандартные теги, по котором потом можно структурировать и изучать результаты рассылки в Google Analytics (GA).

Если вы делаете рассылку вручную, вы можете формировать теги с помощью Google URL Builder. Если вы используете ESP, теггирование происходит автоматически, хотя и не помешает изучить мэнуал вашего ESP.

Что мы видим?

utm_source=emarsys. Это ESP которым пользуется ModnaKasta.

utm_medium=newsletter. Это тип рассылки, в данном случае продуктовая. Уверен, ModnaKasta делает через emarsys и триггерные рассылки (как транзакционные так и маркетинговые).

utm_term=new-sale. Возможно сюда маркетологи ModnaKasta вложили то, что я новичок, и еще ничего не покупал.

utm_content и utm_campaign позволяют точно идентифицировать имейл-компанию, и скорее всего дату открытия.

Есть еще несколько полей выделенных жирным черным шрифтом. Это уже custom поля, специфичные для этого конкретного e-commerce. Обращаю ваше внимание, что некоторые поля не имеют значений (например F_GENDER=). Думаю, это вполне логично, ведь я ничего в ModnaKasta не покупал, а потому ModnaKasta знает обо мне не всё.

Итак, сегодня мы с вами затронули весьма важные инструменты подстройки имейл-рассылки. Хотя по сути A/B тестирование, сегментирование и теггирование для последующего анализа являются универсальными подходами как для работы с имейл-рассылкой так и для работы с воронками на сайте.

При работе с воронкой (в рассылке или на сайте) всегда идите таким путем :

Гипотеза -> Тест (Control group VS Test group) -> Анализ/Выводы -> Подстройка.

В следующем посте я покажу как быстро анализировать имейл-рассылку в Google Analytics.