Так ли значительны статистически значимые отличия?

Собственно, ответ следует из самого вопроса.
Нет. Не обязательно.
Поясним, почему так.

Любой тест на значимость – это проверка гипотезы о равенстве показателей. Значимые отличия отмечаются, если гипотеза о равенстве не подтверждается при заданном уровне доверия.

То есть тест на значимость не дает ответа на вопрос, насколько велики различия. Он просто констатирует факт, что различия есть. И чем больше размер выборки, тем меньшие различия между показателями будут статистически значимы.

Получается, одни и те же цифры могут статистически значимо различаться, а могут и не различаться в зависимости от того, сколько заказчик заплатил за выборку. Но где же объективность? И справедливость, в конце концов…

Объективность и справедливость в том, что статистически значимые отличия – это необходимое, но не достаточное условие значительных отличий. То есть, это лишь отправная точка для анализа.

Для того, чтобы признать отличия значительными, нужен другой критерий, нежели статистические тесты. Универсальных таких критериев не существует. Все зависит от измеряемых показателей и от контекста.

Так, например, если в описании сегмента мы получили 55% мужчин и 45% женщин и эти различия статистически значимы, то следует ли признать сегмент как мужской? Возможно, не стоит. Как минимум, потому что в сегменте много женщин. А если выяснится, что целевое поведение мужчин и женщин не отличается существенным образом, то и тем более не за чем отсекать женскую часть сегмента.

Или другой пример: в результате теста один образец нравится 45% опрошенных, а другой – 55%, и эти различия статистически значимы. Следует ли принять второй образец как более предпочтительный для запуска? При прочих равных – да. Просто выбираем лучший. И всё.


Поделившись этой публикацией в соц-сетях, Вы помогаете нам делать больше хороших исследований. А значит, этот мир может стать чуточку лучше…

2 thoughts on “Так ли значительны статистически значимые отличия?

  1. Вы заранее решили подкинуть монетку ровно столько же раз. Но на самом деле Вы этого заранее не решали. Вы решили остановиться только после того, как получили результаты. Так делать нельзя. Студент: Окей, я про это где-то читал, но так и не понял, что тут плохого. Это же моё исследование, и мне должно быть виднее, достаточно данных или нет. Учёный: Весь смысл P-значений в том, чтобы создать тест, который нулевая гипотеза не сможет пройти. Убедиться, иначе говоря, в том, что дым без огня бывает не слишком часто. Для этого нужно так организовать исследования, чтобы не генерировать «статистически значимые» открытия в отсутствие искомого феномена. Если подбросить монетку ровно шесть раз (и определиться с этим числом заранее), то вероятность получить от честной монетки шесть орлов или шесть решек меньше 5%. Если же бросать монетку

    1. Гм, не понимаю, при чем тут монетка. Вы про размер выборки?

Leave a Comment

Ваш e-mail не будет опубликован. Обязательные поля помечены *