Posts

Showing posts from October, 2020

A/B-тестирование: как быстро проверить сплитер?

Image
Прежде, чем начать A/B-тестирование, мы обычно формируем гипотезу и определяем сколько тестовых групп у нас будет. В классических экспериментах групп обычно две: группа A и группа B . Дальше мы используем либо внешний инструмент (например, Google Optimize) либо просим программиста разделить входящий поток пользователей на эти группы. Программисты используют программную функцию, которая, грубо говоря, подбрасывает монетку и по результату подбрасывания присоединяет пользователя к той или иной группе.  С виду все хорошо, однако подбрасывание монетки это случайный процесс и в нем шансы встретить ситуацию, когда в каждой группе будет ровно по 50% пользователей, возможно, но маловероятно . И вот вы запустили A/B-тест и пользователи начали маршрутизироваться в разные группы.  Допустим, в день у вас приходит ~20 000 пользователей в каждую группу.  При таком наборе пользователей и их равномерном распределении по группам, за 3 дня картинка должна была бы быть близкой к следующей: группа A: 60