Bayes research agency

Быть хорошим или быть другим?

На продуктовых тестах часто приходилось сталкиваться с ситуацией, когда у компании есть хороший продукт и есть доработанная версия, но при прямом сравнении оба проигрывают среднему конкуренту.

В чем причина?

Исходный продукт и доработанная версия чаще отличаются нюансами, но глобально об одном и том же.
Конкурент же наоборот – отличается. Предпочтения рассредотачиваются между двумя похожими продуктами. Пусть даже оба продукта получают суммарно больше, чем один. Но на каждый в отдельности все равно приходится меньше, чем на конкурента, который формально по набору показателей в среднем слабее.

Прямой вывод из этого – если надо выбрать из двух образцов один, то на прямое сравнение не желательно ставить полный список продуктов. Вместо этого или делать попарное сравнение. Или выборку делить на ячейки, каждая из которых оценивает один вариант продукта + конкурентное окружение.

Далеко идущий вывод – не стоит недооценивать роль дифференциации. Тем паче, что из политики давно известен такой прием, как ослабление лидирующего кандидата при помощи 1-2 кандидатов-спойлеров со схожими политическими взглядами.

24.10.2020By Bayes research agency Позиционирование, ТестированиеLeave a Comment

Хороший отчет можно презентовать сходу

В какой-то прекрасный момент у нас появился инсайт 🙂

Нам кажется, что косвенный признак хорошего отчета – возможность презентовать сходу. Поставил последнюю точку и презентуй.

Это не значит, что мы против подготовки к презентациям. Ко встречам готовиться надо. Но таки да, если менеджер готов презентовать сходу, значит за душой что-то есть.

Но по порядку…

Подготовка к презентации может включать:

Сокращение количества слайдов;
Проработку структуры;
Проработку и заучивание “речи”;
Проработку возможных вопросов и ответов на них.

В нашем понимании, если слайды не показываются в отчете, значит они или справочного характера и место им в приложении или такие слайды не нужны вовсе. А потребность в переработке структуры вызывает вопрос – почему сразу не сделать удобно для восприятия.

Следующий аспект – речь, возможные вопросы и вообще хорошее знание материала.

Мысль не нова, что хорошо проработанная вещь запоминается автором в деталях.

Но будем реалистами. Сроки-сроки-сроки в маркетинговых исследованиях всегда коротки. Будь то хорошо проработанный отчет или плохо – он будет сдан плюс-минус в срок.

У менеджера не так много времени на чисто механическое запоминание информации. Безусловно, что-то запомнится. Вопрос только в том, достаточно ли много запомнилось, чтобы презентовать сходу.

В этом месте у нас и появился инсайт, что даже при ограниченных сроках хороший отчет запоминается в деталях сразу прямо в процессе подготовки.

И вот в чем дело – человеческое мышление устроено так, что мы оперируем образами. Моделями, если сказать иначе. Когда мы смотрим, например, на лицо собеседника, мы видим образ лица, а не миллиарды пикселей. И запоминаем мы образ, а не пиксели.

То же самое и с отчетом. Слова и цифры – это пиксели. Если в отчет не заложена модель, то запомнить все пиксели, а самое главное, активно оперировать ими, не реально. В краткий срок, по крайней мере.

А модель в отчете (красная нить, цельная история.. ее называют по разному) – это и есть признак хорошего отчета. Причем, специально никаких моделей придумывать не нужно, чтобы сделать отчет хорошим. Все получается само собой.

У клиента есть один или несколько главных вопросов, на которые должно ответить исследование. Если слайды увязаны в цепочку или несколько цепочек, которые ведут к ответу на главные вопросы. Если слайды не перегружены лишним. Значит в отчете есть история, красная нить, модель. Значит отчет запоминается легко и во всех деталях.

Это и есть хороший отчет, потому что а) ответы на главные вопросы получены б) информация структурирована.

Но легко сказать, трудно сделать.

Например, в U&A исследованиях вопросы про знание-потребление есть почти всегда. И почти всегда клиент знает, где он находится в рейтинге по этим вопросам. Для менеджера дилемма – вроде бы и вопрос есть и в отчете показать надо, но для клиента ничего нового. Муки творчества. Что делать, как быть?

Отрисовать слайд и сразу в приложение? Э нее.. Уровень знания – это база для расчета конверсии к потреблению. А конверсия отличается от конкурентов? А почему? А что улучшить? А как? А это уже гораздо ближе к главным вопросам клиента, чем просто слайд, который поместили в приложение. И появляется увязка с другими показателями. Например, через диагностику причин, приведших полученному уровню конверсии.

И вот тут встает в полный рост вопрос планирования исследования. Простой перетасовкой слайдов и просмотром всевозможных кросс-табуляций хорошего отчета не подготовить.

Еще до того, как проект продан, нужно знать:
– Ключевые вопросы, на которые отвечать. Не просто “измерить знание, потребление, имиджи, ситуации, соц-дем”. А что конкретно хочет сделать клиент по результатам исследования – занять нишу, сделать марку массовой, конкурировать с определенным брендом…
– Как именно информация из исследования должна помочь клиенту в решении бизнес-задач.
– И уже в финале из ответов на эти вопросы рождается понимание, какие данные собрать, и возможные сценарии их анализа.

Хотя казалось бы всего лишь готовность презентовать сходу.. Нет, это не хорошая память менеджера, а признак хорошо проделанной работы от первого запроса и до конца проекта.

Поделившись этой публикацией в соц-сетях, Вы помогаете нам делать больше хороших исследований. А значит, этот мир может стать чуточку лучше…

09.11.2018By Bayes research agency О компании, Про отчетыLeave a Comment

DIPs vs tracking

Что лучше?

Непрерывный трекинг информативнее точечных замеров.

При прочих равных, если размер выборки позволяет, рекомендуем выборку распределять во времени. То есть вести непрерывные замеры.

В любой компании происходит множество событий – рекламные активности, запуск новых продуктов, открытие новых офисов…

При разовых замерах часто нет возможности отследить, какая активность какой вклад внесла в бизнес-результаты.

Непрерывный мониторинг позволяет связать во времени разные события и изменения ключевых индикаторов.

Какая нужна выборка для трекинга

Знаем, у некоторых клиентов бывают предубеждения, что непрерывный трекинг – это нечто очень затратное. Но вовсе нет. Это сопоставимо с двумя полноценными разовыми замерами в год.

Базовые показатели (например, знание, использование..) в динамике комфортно отслеживать при выборке 75-100 интервью в неделю.

Для того, чтобы повысить надежность результатов и сгладить случайные недельные флуктуации, данные агрегируются по принципу скользящего среднего.

Таким образом, начиная с четвертой недели, в каждой точке на графиках с трендами выборка составит 300 респондентов.

Такой дизайн позволяет получать:

Ежемесячно краткий топлайн.
Раз в полгода детальный отчет со всей аналитикой.
И топлайн и отчет становятся информативнее, так как фактор времени позволяет более точно отследить вклад разных событий в ключевые индикаторы компании.

Заметим, при планировании годового размера выборки необходимо учесть и другие аспекты, влияющие на дизайн.

Например, нужно ли делать какие-то виды анализа внутри отдельных подгрупп (регионы, потребительские сегменты..).
Какие виды анализа предполагаются и какие требования они предъявляют к выборке?
Какая периодичность отчетности?

Резюмируя:
На размер выборки для трекинга влияет множество обстоятельств. Но если при всех прочих равных годовая выборка будет 4000+ интервью, то мы рекомендуем вести непрерывное измерение на еженедельной основе.

02.11.2018By Bayes research agency Здоровье маркиLeave a Comment

Расчески – как повысить информативность

Очень популярный тип графика.

Показывается в виде сортированного списка. Но чаще всего невозможно понять, насколько значимо различаются пункты списка между собой.

Мы подсмотрели в одном отчете вариант удачной визуализации:

Для средних значений такой тест на значимые отличия сделать легко (ANOVA: группировка Фишера). Для показателей в процентах работа более трудоемкая, приходится все делать вручную.

Резюмируя: с учетом трудоемкости значимые различия показываем изредка, в случае острой необходимости. Чаще это нужно для различных тестов, когда тестируется большое количество образцов и нужно как-то компактно и информативно показать рейтинги образцов.

31.10.2018By Bayes research agency Про отчетыLeave a Comment

Качественно-Быстро-Недорого

В сети гуляет такой мем.

В исследовательской среде он тоже популярен.
Признаем, шутка имеет право на жизнь.

Но если серьезно, для нас это своеобразный вызов.

Начнем с того, что связь между скоростью и стоимостью далеко не всегда обратная. В штатном режиме без авралов как раз наоборот – меньшее количество рабочих часов означает меньшие затраты.

Поэтому мы вкладываемся в квалификацию и инструменты, ускоряющие труд. Мы верим, квалифицированный труд дает не только качественный результат, но и продуктивнее неквалифицированного труда.

Мы верим, автоматизация однотипных процессов окупается, пусть и требует разовых вложений. Мы верим, продвинутый статистический софт стоит затрат на его освоение и использование.

Мы рациональны в своих расходах.

Считаем, что для представительских целей совершенно не обязательно иметь дорогой офис в центре Москвы. Большая часть коммуникации с клиентами происходит по почте и телефону. Для личных встреч мы всегда готовы приехать к клиенту.

Мы не обременены необходимостью платить роялти за коробочные продукты глобальным западным компаниям.

Мы рациональны в планировании проектов – предлагаем дизайн, который точно соответствует задачам проекта. Не перегружаем бюджет необоснованно большими выборками и не усложняем аналитику, там, где достаточно простых решений.

Резюмируя:
Мы вдохновляемся примерами лидеров, которые ломают стереотипы о невозможности сочетать скорость, качество и невысокую стоимость.

Конвеер Генри Форда, японский автопром 80-х годов, китайские смартфоны нынешнего времени – наши примеры для поиска идей по оптимизации работы.

29.10.2018By Bayes research agency О компанииLeave a Comment

Карта рынка

Как извлечь картину мира из сознания потребителей, будучи уверенным, что она не искажена.

Как упоминалось в заметке про имиджи, анализ соответствий имеет такой существенный недостаток, как зависимость карты от набора марок и высказываний.

В этой заметке рассмотрим подход, который дает карту марок, не зависящую ни от набора высказываний, ни от количества марок.

Начнем с примера.
Пусть это будет карта станций метро.
Зная расстояния между станциями, мы можем воспроизвести расположение станций друг относительно друга.

В основе анализа лежит многомерное шкалирование, на вход которому подается матрица расстояний между объектами.

Чтобы не усложнять, ограничимся 4 станциями. В табличном виде матрица расстояний будет такой:

	ВДНХ	Щёлковская	Люблино	Университет
ВДНХ	0	9.91	18.1	15.9
Щёлковская	9.91	0	15.1	21.1
Люблино	18.1	15.1	0	14.4
Университет	15.9	21.1	14.4	0

При помощи многомерного шкалирования построим по этой матрице карту.
Она будет идентична карте города, с той разницей, что для полного совпадения ее нужно масштабировать и ориентировать по сторонам света.

Как видим, карты совпадают. Это говорит о точности инструмента.
И как не трудно догадаться, карта на основе расстояний между парами объектов не зависит от количества объектов. Можно добавлять и удалять точки. Оставшиеся точки не поменяют расположения друг относительно друга.

Теперь вопрос: как извлечь аналогичную картину мира из сознания потребителей.
Для этого нам нужно получить матрицу расстояний между марками. Один из способов – упражнение по группировке марок.

Респондентам предлагается объединить марки в группы таким образом, чтобы для респондента лично марки в группе были взаимозаменяемы между собой и при покупке респондент рассматривал бы их как похожие. Респондент сам решает, сколько групп создать и по каким признакам считать марки взаимозаменяемыми.

Матрица расстояний между марками рассчитывается на основе частоты, с которой всевозможные пары марок попадают в одинаковые группы. На основе матрицы расстояний строим карту. А карту можем дополнить иерархическим кластерным анализом, который покажет, какие марки можно объединить в сегменты, а какие – нет.

И так, карта марок есть. Осталось интерпретировать ее.
В этом поможет дополнительная информация, которую можно нанести на карту при помощи многомерного развертывания. Это может быть все та же табличка с имиджами или какая-то другая описательная информация. Например, соц-дем.

Огромный плюс полученной карты в том, что она неуязвима от неполноты информации. Карту можно делать более детальной или менее детальной, можно даже ошибиться с высказываниями. Но расположение объектов на карте друг относительно друга будет оставаться неизменным. И ошибка с каким-нибудь высказыванием останется частной ошибкой, не повлияв на всю картину мира.

Дополнительными плюсами карты будут:

Богатые возможности по интерпретации – можно наносить практически любую информацию. Например, имиджевые высказывания, обстоятельства последнего потребления, мотивы, соц-дем..
Марки можно группировать в сегменты, имея твердое основание в виде иерархического кластерного анализа.
Сегменты марок можно описать в терминах объемов и стоимости.
Сегменты можно описать в терминах удовлетворенности.
Белые пространства на карте можно интерпретировать, как ниши. Близлежащие сегменты от белых пространств могут дать идеи для генерации новых продуктов. В особенности, если близлежащие сегменты характеризуются низкой удовлетворенностью.

Недостатками описанного подхода будут:

Трудоемкость. Упражнение по группировке марок удлиняет анкету и требует внимательности. Сам анализ трудоемкий.
Сложно интерпретировать расстояния на карте. Нет критерия, который позволит одно расстояние считать большим, а другое маленьким. Отчасти эта проблема решается группировкой марок при помощи кластерного анализа
Карты сложно анализировать в динамике.

Другие варианты матрицы расстояний между марками

Хорошим вариантом расстояний между марками будет матрица перекрестных эластичностей, полученная на основе choice-based conjoint. Перекрестные эластичности говорят о том, насколько легко покупатели переключаются с одной марки на другую.

Еще один вариант для расчета расстояний между марками – репертуар марок. Но репертуар марок нужно использовать с большой осторожностью.

В репертуаре могут присутствовать и взаимозаменяемые продукты (похожи между собой), и взаимодополняющие (наоборот, сильно различаются). Нужно быть твердо уверенным, что репертуар состоит только из взаимозаменяемых продуктов.

Так, например, на рынке шоколадных батончиков в репертуаре будут оба типа продуктов. Батончики Snickers и Bounty скорее окажутся взаимодополняющими, так как сильно отличаются. Батончики Snickers и Золотой Степ могут оказаться взаимозаменяемыми (второй – калька с первого). На таких рынках карту марок на основе репертуара строить не корректно.

Другой пример – репертуар страховых компаний в рамках одного страхового продукта. С большой вероятностью в репертуаре будут взаимозаменяемые компании. Нет смысла покупать несколько однотипных страховок в разных компаниях в один и тот же период времени.

29.10.2018By Bayes research agency Позиционирование, СегментацияLeave a Comment

Имидж

Размер имеет значение. Как за размером не потерять из виду дифференцирующие характеристики марок.

Дифференцирующие характеристики марок
Анализ соответствий – визуализация результатов
Анализ соответствий – особенности

Дифференцирующие характеристики марок

Прежде, чем описать наш подход к оценке восприятия марок, хотим предложить наглядный пример.

Сравним два вида техники.
И грузовик и трактор имеют одинаковый диаметр колес.
Но трактор имеет большие колеса относительно своего размера.
Это и есть отличительная особенность трактора.

Аналогично приведенному примеру, восприятие марок характеризуется двумя особенностями:

Чем популярнее высказывание, тем чаще оно ассоциируется с различным марками.
Чем крупнее марка, тем больше различных высказываний ассоциируется с ней.

Чтобы выявить дифференцирующие характеристики марок, необходимо учитывать как “размер марок”, так и “размер высказываний”. Существует несколько техник, позволяющих учитывать оба этих обстоятельства. Наиболее популярная в исследовательской среде – анализ соответствий.

Анализ соответствий – визуализация результатов

По результатам анализа соответствий чаше всего строится карта – проекция многомерного пространства марок и высказываний на плоскость.

Карта – достаточно удобный инструмент, чтобы составить общее представление о рынке. Какие марки близки друг другу по восприятию и чем они характеризуются.

Однако, картой не всегда удобно пользоваться:

Когда нужно сравнить марки по набору высказываний
Когда нужно отследить имидж в динамике
Когда нужно сравнить имидж на разных подгруппах респондентов

Для таких ситуаций гораздо больший интерес представляет анализ остатков (наблюдаемые частоты минус ожидаемые).

Матрица остатков, также как и карта, рассчитывается и с учетом размера марок и с учетом размера высказываний.

При этом удобно сравнивать марки между собой по каждому отдельному высказыванию. Или сравнивать одну и ту же марку в динамике или в разных сегментах.

Кроме того, остатки легко интерпретировать. Это те же самые проценты (наблюдаемые частоты минус ожидаемые). В отличие от карты, где координаты точек – безразмерные величины, и далеко не всегда ясно, расстояние между маркой А и высказыванием Z – это много и или мало.

Анализ соответствий – особенности

Интерпретируя результаты анализа соответствий, желательно принимать во внимание несколько нюансов.

Каждое высказывание влияет на расположение марок и каждая марка влияет на расположение высказываний. Убрав один элемент мы меняем всю картину. Изменения могут быть большими и маленькими, но всегда отдельно взятый элемент влияет на всю картину.

Это означает, что никогда нет полной уверенности, что построенная карта отражает реальное восприятие.

Список высказываний может быть не полным. Исследователь может упустить какой-то важный параметр, по которому покупатели дифференцируют марки.

Или само высказывание может быть сформулировано неудачно. Оно может отражать реально важный для покупателей фактор, но при этом смысл для респондентов может оказаться или не понятным или считываться не совсем верно.

В списке высказываний могут присутствовать атрибуты, которые сильно дифференцируют марку (и как следствие – сильно влияют на общую карту), но при этом не имеют особого значения в потребительской картине мира.

В качестве примера вспоминается слоган из 90-х годов. “Хопер инвест – отличная компания. Отличная от других.” Слоган звучал из каждого утюга и мог крепко запомниться.

Если включить в список высказываний “Компания, отличная от других”, то наверняка это высказывание очень сильно ассоциировалось бы с Хопром инвест и сильно влияло бы на всю карту. Хотя, чем конкретно компания отличается – не ясно. Если высказывание заменить на “Предлагает что-то, чего нет у других”, то картина могла бы получиться совсем иной.

Резюмируя:

Анализ соответствий / анализ остатков хорошо подойдет для исследований, предмет которых хорошо понятен исследователю и нет риска ошибиться с высказываниями.
В эксплораторных исследованиях, когда многое еще не изучено и картина мира для исследователя не ясна, к анализу соответствий следует относиться настороженно и помнить о возможных искажениях карты.
В качестве альтернативы можно предложить построение карты рынка на основе упражнения с группировкой марок/продуктов.

28.10.2018By Bayes research agency Здоровье марки, ПозиционированиеLeave a Comment

Анализ конверсии

Марки растут неравномерно. Как корректно сравнивать конверсию марок разного размера?

Конверсия от знания к пробным покупкам или от пробных покупок к регулярным происходит неравномерно в зависимости от размера марки.

В общем и целом зависимость между нижними и верхними уровнями приверженности марке описывается S-образной кривой. Такая форма зависимости называется логистической. Кстати, в природе многие процессы роста тоже описываются логистической кривой.

На ранних этапах прирост знания дает медленный прирост пробных покупок. Существует инерция покупательского поведения. Только редкие пионеры пробуют новинку.
Затем наступает этап быстрого роста. Марка становится более-менее массовой. Кто ранее знал марку, начинают пробовать ее. Новые узнавшие о марке покупатели тоже легко конвертируются в пробовавших.
И в финале рост замедляется. Дальнейший прирост знания марки почти не ведет к росту пробных покупок. Из ранее знавших все, кто хотел уже попробовали. Из новых узнающих о марке пробуют мало. На этом этапе марку знают уже почти все участники рынка. Не знающие о крупной марке с большой вероятностью или случайные или малоактивные потребители с узким репертуаром марок.

На многих рынках верхняя полка S-образной кривой отсутствует. Фаза активного роста пробных покупок смещается вправо, ближе к 100% уровню знания. Тогда зависимость описывается экспоненциальной кривой.

Но в любом случае на всех рынках присутствует нелинейность взаимосвязи между знанием/пробованием и другими подобными показателями. Это означает, что сравнивать конверсию двух разных по размеру марок не совсем корректно.

Для корректного сравнения конверсии марок разных по размеру следует вносить корректирующую поправку на размер марки. Один из вариантов такой поправки – выявить среднюю тенденцию роста по рынку и смотреть на отклонения марок от этой тенденции.

Выявить среднюю тенденцию можно при помощи регрессионного анализа. Возможные варианты регрессий, учитывающих нелинейность: экспоненциальная, полиномиальная, степенная, логит, пробит…

Однако есть такое обстоятельство, что показатели знания/пробования измеряются в процентах и могут меняться только от 0% до 100%. Тогда как не все виды регрессий предполагают, что зависимая переменная не выйдет за рамки диапазона 0%-100%.

Наиболее удобными для описания долей представляются логит- и пробит-регрессии. Значение зависимой переменной для них всегда будет гарантированно лежать в диапазоне 0%-100%.
Итак, имея кривую среднерыночной тенденции роста, можно вычислить для каждой марки отклонения от этой кривой (наблюдаемое значение минус ожидаемое). Большие положительные отклонения будут говорить об очень успешной конверсии, а большие отрицательные – обратное. При этом, что важно, размер марки и нелинейность роста будут учтены.

В отчетах, чтобы не углубляться в дебри регрессионного анализа и большое количество диаграмм, визуализировать диагностику конверсии мы предпочитаем таким образом:

28.10.2018By Bayes research agency Здоровье маркиLeave a Comment

Так ли значительны статистически значимые отличия?

Собственно, ответ следует из самого вопроса.
Нет. Не обязательно.
Поясним, почему так.

Любой тест на значимость – это проверка гипотезы о равенстве показателей. Значимые отличия отмечаются, если гипотеза о равенстве не подтверждается при заданном уровне доверия.

То есть тест на значимость не дает ответа на вопрос, насколько велики различия. Он просто констатирует факт, что различия есть. И чем больше размер выборки, тем меньшие различия между показателями будут статистически значимы.

Получается, одни и те же цифры могут статистически значимо различаться, а могут и не различаться в зависимости от того, сколько заказчик заплатил за выборку. Но где же объективность? И справедливость, в конце концов…

Объективность и справедливость в том, что статистически значимые отличия – это необходимое, но не достаточное условие значительных отличий. То есть, это лишь отправная точка для анализа.

Для того, чтобы признать отличия значительными, нужен другой критерий, нежели статистические тесты. Универсальных таких критериев не существует. Все зависит от измеряемых показателей и от контекста.

Так, например, если в описании сегмента мы получили 55% мужчин и 45% женщин и эти различия статистически значимы, то следует ли признать сегмент как мужской? Возможно, не стоит. Как минимум, потому что в сегменте много женщин. А если выяснится, что целевое поведение мужчин и женщин не отличается существенным образом, то и тем более не за чем отсекать женскую часть сегмента.

Или другой пример: в результате теста один образец нравится 45% опрошенных, а другой – 55%, и эти различия статистически значимы. Следует ли принять второй образец как более предпочтительный для запуска? При прочих равных – да. Просто выбираем лучший. И всё.

27.10.2018By Bayes research agency Принятие решений Анализ, СтатистикаLeave a Comment