A/B-тестирование: что такое p-hacking?
Когда-то давно, когда я только начинал разбираться со статистикой, я столкнулся с термином "p-hacking". Так как понимания базовых принципов у меня тогда еще не было, то и сама проблема "подглядывания" мне казалась весьма надуманной. Сегодня я поделюсь своим опытом того, что профессиональные статистики вкладывают в "p-hacking", почему он реален и как я вижу себе выход из этой ситуации. Начну с того, что дам ссылку на отличную презентацию , которая обширно и подробно описывает эту проблему в статистике. Откуда берется p-hacking ? Итак, в работе с A/B-тестами у нас возможны 4 исхода: Source: www.dummies.com/education/science/biology/type-i-and-type-ii-errors-in-hypothesis-testing/ Как мы видим, в двух исходах мы принимаем верные решения, а в двух других - нет. Т.к. при A/B-тестировании мы очень хотим не ошибиться с принимаемым решением по результатам A/B-теста, то нам важно понять, что же может пойти не так: мы можем " увидеть "