Posts

Showing posts from March, 2018

A/B-тестирование: понизить результат, чтобы двигаться вперёд

Image
Итак, сегодня я хочу завершить цикл статей про A/B-тестирование, рассказав вам про новую статистическую схему тестирования. С этой схемой тестирования я познакомился совсем недавно, но очень хочу поделиться с вами, а заодно спросить, кто уже тестировал ее и какие получились результаты.

Итак, что же это за схема и чем она отличается от всего того, о чем я писал ранее?

Обычно, дизайн A/B-теста заключается в проверке гипотезы вида:
вариант В будет лучше варианта А на Х% 

Такой дизайн эксперимента называет superior test.

Мы помним, что при такой схеме тестирования, мы, как правило, закладываем false positive rate на уровне 5%. Главное, что нужно вынести из этой (классической) схемы тестирования  это то, что никакой A/B-тест не является 100% гарантией превосходного результата. И чем больше мы хотим сократить % ложных срабатываний, тем больше времени (читай - больший объем выборки) нам нужно.

Альтернативный дизайн A/B-теста заключается в проверке гипотезы вида:
вариант B будет хуже варианта Aн…

A/B-тестирование: сколько надо дней для успешного теста или что делать, если что-то пошло не так?

Image
Итак, сегодня я хочу продолжить тему A/B-тестирования. В прошлый раз мы обсудили ключевые принципы и инструменты для правильного запуска и правильной проверки результатов тестов. Если коротко, то необходимо готовиться к запуску теста и всегда делать строгую (статистическую) проверку разницы результатов.

Сегодня я хочу обсудить другой, бизнесовый, аспект проведения A/B-тестов.

Цель любого A/B-теста это увеличение целевого показателя. И как это обычно бывает, гипотез о том, что можно было бы сделать намного больше, чем ресурсов у компании. Здесь мы должны принять некое компромиссное решение между двумя крайностями:
часто до запуска теста нужны доработки со стороны ITразные тесты будут приносить разный выхлоп (объем результата) Поэтому для бизнеса всегда важно делать приоритезацию тестов. Для приоритезации гипотез нужно как-то оценить возможный исход и количество необходимого времени.

Как мы уже выяснили из прошлого поста, до запуска теста нужно выполнить два предварительных условия:
оцени…