Posts

Showing posts from March, 2018

A/B-тестирование: понизить результат, чтобы двигаться вперёд

Image
Итак, сегодня я хочу завершить цикл статей про A/B-тестирование, рассказав вам про новую статистическую схему тестирования. С этой схемой тестирования я познакомился совсем недавно, но очень хочу поделиться с вами, а заодно спросить, кто уже тестировал ее и какие получились результаты. Итак, что же это за схема и чем она отличается от всего того, о чем я писал ранее? Обычно, дизайн A/B-теста заключается в проверке гипотезы вида: вариант В будет лучше варианта А на Х%  Такой дизайн эксперимента называет superior test . Мы помним, что при такой схеме тестирования, мы, как правило, закладываем false positive rate  на уровне 5%. Главное, что нужно вынести из этой (классической) схемы тестирования  это то, что никакой A/B-тест не является 100% гарантией превосходного результата. И чем больше мы хотим сократить % ложных срабатываний, тем больше времени (читай - больший объем выборки) нам нужно. Альтернативный дизайн A/B-теста заключается в проверке гипотезы вида: вариант B бу

A/B-тестирование: сколько надо дней для успешного теста или что делать, если что-то пошло не так?

Image
Итак, сегодня я хочу продолжить тему A/B-тестирования. В прошлый раз мы обсудили ключевые принципы и инструменты для правильного запуска и правильной проверки результатов тестов. Если коротко, то необходимо готовиться к запуску теста и всегда делать строгую (статистическую) проверку разницы результатов. Сегодня я хочу обсудить другой, бизнесовый, аспект проведения A/B-тестов. Цель любого A/B-теста это увеличение целевого показателя. И как это обычно бывает, гипотез о том, что можно было бы сделать намного больше, чем ресурсов у компании. Здесь мы должны принять некое компромиссное решение между двумя крайностями: часто до запуска теста нужны доработки со стороны IT разные тесты будут приносить разный выхлоп (объем результата) Поэтому для бизнеса всегда важно делать приоритезацию тестов. Для приоритезации гипотез нужно как-то оценить возможный исход и количество необходимого времени. Как мы уже выяснили из прошлого поста , до запуска теста нужно выполнить два предварительн