Так ли значительны статистически значимые отличия?

Собственно, ответ следует из самого вопроса.
Нет. Не обязательно.
Поясним, почему так.

Любой тест на значимость – это проверка гипотезы о равенстве показателей. Значимые отличия отмечаются, если гипотеза о равенстве не подтверждается при заданном уровне доверия.

То есть тест на значимость не дает ответа на вопрос, насколько велики различия. Он просто констатирует факт, что различия есть. И чем больше размер выборки, тем меньшие различия между показателями будут статистически значимы.

Получается, одни и те же цифры могут статистически значимо различаться, а могут и не различаться в зависимости от того, сколько заказчик заплатил за выборку. Но где же объективность? И справедливость, в конце концов…

Объективность и справедливость в том, что статистически значимые отличия – это необходимое, но не достаточное условие значительных отличий. То есть, это лишь отправная точка для анализа.

Для того, чтобы признать отличия значительными, нужен другой критерий, нежели статистические тесты. Универсальных таких критериев не существует. Все зависит от измеряемых показателей и от контекста.

Так, например, если в описании сегмента мы получили 55% мужчин и 45% женщин и эти различия статистически значимы, то следует ли признать сегмент как мужской? Возможно, не стоит. Как минимум, потому что в сегменте много женщин. А если выяснится, что целевое поведение мужчин и женщин не отличается существенным образом, то и тем более не за чем отсекать женскую часть сегмента.

Или другой пример: в результате теста один образец нравится 45% опрошенных, а другой – 55%, и эти различия статистически значимы. Следует ли принять второй образец как более предпочтительный для запуска? При прочих равных – да. Просто выбираем лучший. И всё.


Поделившись этой публикацией в соц-сетях, Вы помогаете нам делать больше хороших исследований. А значит, этот мир может стать чуточку лучше…