A/B-тестирование: понизить результат, чтобы двигаться вперёд
Итак, сегодня я хочу завершить цикл статей про A/B-тестирование, рассказав вам про новую статистическую схему тестирования. С этой схемой тестирования я познакомился совсем недавно, но очень хочу поделиться с вами, а заодно спросить, кто уже тестировал ее и какие получились результаты. Итак, что же это за схема и чем она отличается от всего того, о чем я писал ранее? Обычно, дизайн A/B-теста заключается в проверке гипотезы вида: вариант В будет лучше варианта А на Х% Такой дизайн эксперимента называет superior test . Мы помним, что при такой схеме тестирования, мы, как правило, закладываем false positive rate на уровне 5%. Главное, что нужно вынести из этой (классической) схемы тестирования это то, что никакой A/B-тест не является 100% гарантией превосходного результата. И чем больше мы хотим сократить % ложных срабатываний, тем больше времени (читай - больший объем выборки) нам нужно. Альтернативный дизайн A/B-теста заключается в проверке гипотезы вида: вариант B бу