Кажется, мы дожили до момента, когда монетка стала главным подозреваемым в лабораторных драмах. Если кидать её по правилу «остановлюсь, когда покажется красиво», данные те же, а p-value внезапно другие — магия? Нет, мы просто незаметно подкрутили момент остановки. Это как если бы судья смотрел матч, но свистел только тогда, когда его команда забила. В A/B-тестах такое подглядывание превращает аналитика в нервного болельщика у монитора. Проблема не в просмотре данных, а в том, что промежуточный результат начинает командовать решением. Похоже, статистика напоминает: правила — это не бюрократия, а способ не обмануть самого себя; прогресс не остановить, но остановку можно спланировать заранее.
Одинаковые данные, разные p-value: стоп-правило решает всё 🙈

Как вам новость?


