О личном опыте маркетинговых и продуктовых исследований: нетривиальных случаях, труднодоступных аудиториях и работающих методах. Канал ведут Константин Ефимов и Анастасия Жичкина. Контакты: @teplorod Чат для исследователей: @pro_research Рекламы нет
На прошлой неделе мы с Александрой Макеевой закончили исследование, которое приобрело для нас довольно личный смысл. Мы изучали влияние игры-визуальной новеллы «Ласточки. Тайна Сары-Кёль». Игра помогает кыргызским девушкам-подросткам защищать свои права. Прежде всего право не быть выданными замуж принудительно.
На первый взгляд кажется, что это очень далеко от нас.
Но если представить на минуту, что ты - попаданец. Вот именно ты - кыргызская девушка-подросток из села.
От тебя ждут, чтобы ты делала всю работу по дому, носила закрытую одежду, не общалась с мужчинами и юношами, слушалась родителей и не вздумала бы после школы ехать куда-то поступать в город одна - жить одной неприлично.
Ты постоянно слышишь, что кого-то из знакомых просватали - в 13, 14, 15 лет. Это кажется как бы почти нормальным - эти девочки соглашаются же. Есть похищения девушек с целью брака. Желательно, чтобы после школы ты тоже была замужем.
Если ты открыто возражаешь против этого - ты плохая дочь.
У твоего окружения на тебя много планов.
Ты не разделяешь их вообще.
Как многие девушки, после школы ты хочешь образование, работу и самостоятельность, а не вот это всё.
Иногда ты хочешь уехать прочь из страны, потому что тут жизни нет. Или стать юристом, потому что это позволит сделать мир немного более справедливым. Или помочь своей стране, рассказав людям о ее лучших сторонах. У нас такие красивые горы, почему к нам не едут люди, а только от нас.
Но у тебя очень мало поддержки окружения.
У тебя вроде бы есть мечты и планы, и ты пытаешься к ним идти - но когда ты думаешь, что ничего не получится, пространство сжимается в точку.
И вот история, которую рассказывает игра, это пространство разжимает обратно.
Говорит: вот смотри.
Если ты будешь помнить, ради чего ты здесь, у тебя получится. Найдутся люди, которые тебя поддержат. Просто ты их пока не знаешь - или знаешь, но думаешь, что они не помогут.
И если тебе сто раз скажут: девушка не должна так себя вести, тебе это не помешает вообще.
Как это работает: есть игра, визуальная новелла, похожая на комикс. На картинках героиня, похожая на тебя, в легко узнаваемой реальности. Ее зовут Эркинай («свобода»), но ты можешь назвать ее своим именем или любым другим. И ты можешь выбирать ее действия - но во всех вариантах она, то есть ты, совершаешь смелые поступки, получаешь поддержку, преодолеваешь препятствия и у тебя все получается.
Мы провели количественное и качественное исследование.
Количественное исследование: есть яркие статистически значимые различия, местами на десятки процентных пунктов, между игравшими и не-игравшими.
Девушки, которые играли в игру:
- чаще готовы помогать подругам, которых принудительно выдают замуж, и чаще готовы сами принимать помощь незнакомых взрослых
- лучше знают, куда какие организации могут помочь в ситуации принудительного брака
Но допустим, игравшие девушки сами по себе про-фем, может быть, они поэтому и заинтересовались феминистской игрой.
Может быть - но на качественном исследовании мы провели эксперимент.
Исследовательницы говорили с не-игравшими девушками до и после прохождения игры. Спрашивали: что важно для девушки и что ты думаешь по поводу своих жизненных планов.
И если до игры звучали фразы «девушка должна следить за собой и иметь хорошие отношения с родителями», то после игры это было «девушка должна быть сильной и достигать своих целей».
Если до игры девушки говорили «я знаю, что надежда важна - но я боюсь, что у меня не получится то, чего я хочу» - то после игры звучало: я раньше думала, а вдруг у меня не получится закончить одиннадцать классов, но теперь я уверена, что смогу.
И главное, у них были силы, чтобы добиваться. Они говорили: я думала, я никогда не смогу написать реферат на двадцать пять страниц, но я смогла, я написала его сама.
Как же это важно - знать, что у кого-то, такого, как ты, в другой реальности все кончится хорошо. Что когда ты полностью пройдешь этот путь, в финале обязательно будет свет. «Я хотел уцелеть, потому что я знал - это может окончиться чем-то».
Пост о качестве количественных данных.
Левада-центр опросил россиян после начала «мобилизации» (квартирный опрос).
Выяснилось, что:
😱 минимальная тревожность среди молодежи (!), а максимальная - среди 55+
(ну да, ведь облавы идут на пенсионеров, а не 35 -).
😱 рост ощущения свободы (на максимуме!)
(спасибо Alex Badin за конспект результатов опроса)
Какое вообще отношение имеет этот опрос к объективно наблюдаемой реальности? Когда все прекрасно видят, что за окном идет дождь и рота не успевших спастись от мобилизации красноармейцев?
Нам в таких случаях говорят, что претензии к опросным методам не меняются уже лет десять.
Но дело в том, что это уже не опрос.
Это коридорный тест. Просто очень большой. Когда исследователь выходит в коридор и ловит каждого, кто вышел из комнаты и совершил ошибку, с предложением потестить проект.
Ключевой момент «каждого, кто совершил ошибку».
Можно представить себе, кто в России сейчас готов в принципе говорить с незнакомыми людьми, позвонившим в дверь. И какой контакт с реальностью у этих людей. Конечно, они будут оптимистичны и свободны как никто и никогда.
Слова «смещение выборки» тут уже не подходят. Скорее «смещение метода».
В ситуации, когда люди массово уезжают, меняют место жительства, не берут трубку и не открывают дверь незнакомцам – публиковать такие результаты очень смело.
Мы бы не рискнули. Мы бы, наверное слились, и сказали, что исследование квартирным опросом (когда интервьюер ходит по случайным квартирам и предлагает поговорить о боге), не получилось. Давайте подумаем над другой методологией. Давайте не будем определять погоду на улице через опрос людей, не выходя на улицу и не глядя ни в окно, ни на показания термометра.
Когда вам отказывает более 90% респондентов, и вы потом «выравниваете выборку», это только на бумаге выглядит «методологически правильно».
Опросы об отношении к войне, которые проводятся лично, методом обхода случайных квартир, в нынешней ситуации — это «бредовая работа», смысл которой - в утилизации денег заказчика.
Осетрина не бывает второй свежести. Свежесть бывает только одна, первая. Она же и последняя.
❓Радикальный вопрос: «Можно ли сейчас доверять данным опросов общественного мнения в России?»
🤦♀️ Радикальный ответ: «Нет. Опросы в оккупированной стране не говорят вообще ни о чём».
🙋Реалистичный ответ: «Если они ничего не говорят, почему в Беларуси запрещено публиковать результаты опросов? Видимо, зависит от того, как проводить?»
Что вам интересно узнать об исследованиях❓
Решили вас всех об этом спросить. Это поможет нам сделать канал лучше.
Любые вопросы и интересующие вас темы можно записать в эту форму:
🌐 https://forms.gle/DKeBxCUP3U5PvKSh6
23 июня в 19.30 (мск) вместе с Ирой Моториной (канал «Редач») проведем митап про взаимодействие исследователя и UX писателя.
Расскажем:
1️⃣ Как тестировать тексты в интерфейсе? А длинные тексты?
2️⃣ Как выбрать метод для того, чтобы оценить текст? Почему глубинных интервью и UX тестов – мало?
3️⃣ Что можно взять из маркетинговых исследований?
Будут нетривиальные кейсы.
Разберем частые ошибки и ответим на вопросы.
Митап будет на платформе Zoom. Мероприятие бесплатное.
📽Трансляция на Youtube и запись тоже будут.
Зарегистрироваться можно здесь
В чате рисечеров уже 2812 человек.
🔹Аналитики - 36,5 %
🔹Сотрудники полевых отделов - 9,3 %
🔹UX-researchers - 34,2 %
🔹Преподаватели/научных сотрудники - 20 %
Присоединяйтесь:
/channel/+TCHxBXqTzh4yM2Yy
Проективные методики для исследователей
2 июня (четверг) в 19 часов (по московскому времени) будет двухчасовой вебинар о том, как можно использовать проективные методики в исследованиях.
Я расскажу о том, как:
1️⃣ Справляться с неискренностью респондентов, если они отвечают уклончиво или неконкретно
2️⃣ Выяснять причины поведения респондентов, о которых они сами понятия не имеют.
3️⃣ Говорить с респондентами на сензитивные темы или в случае культурных барьеров
4️⃣ Определять, когда нужно применять проективные методики, а когда можно обойтись без них
5️⃣ Понять, какую именно проективную методику лучше применить в конкретном случае - например, онлайн или в продуктовых исследованиях.
Мы проводили этот вебинар в 2020, 2021 – и еще несколько раз в рамках нашего обучающего курса. Эта версия дополнена ответами на вопросы.
📺 Запись будет
Вебинар проводится на платформе Zoom. Стоимость участия 1000 рублей.
🎫 Билеты можно купить на Timepad
Разбираем статью «rebeccanomics/10-things-user-researchers-can-learn-from-therapy-1ae4133720e2">10 things user researchers can learn from therapy»
1️⃣ Уделяйте внимание «отношенческим» компонентам исследования. Заложите время на установление контакта в начале интервью и не будьте абсолютно нейтральным.
Конечно, исследователь не может быть абсолютно нейтральным, он в любом случае влияет. Поэтому лучше вложиться в установление контакта. Человек должен хотеть с вами говорить. Если вы будете нейтральным, совершенно не факт, что он захочет.
2️⃣ Научитесь следовать, а не вести респондента за своим ходом мыслей
Да. Когда вы говорите с человеком – вы идете за его точкой зрения. Сложность в том, что у вас – свои представления о том, что вы изучаете. Как не навязать их респонденту? Вам помогут техники активного слушания, - но не только они.
В статье не разобрана частая ошибка, когда исследователь буквально бомбит респондента вопросами вместо того, чтобы дать ему рассказать свою историю в свободном формате. Тогда исследование ведется в рамках реальности исследователя, а не пользователя. Нарративное интервью – когда вы побуждаете человека рассказать, как и что он делает, «как историю» – недооцененная техника.
3️⃣ Перестаньте спрашивать людей, почему они что-то делают
Это культурно-специфичный совет. Он хорош для американцев, Ричард Крюгер в своем учебнике по фокус-группам тоже говорит: не задавайте этот вопрос. И это обусловлено культурной спецификой. В интервью на русском языке вопрос «Почему?» задавать можно и нужно.
4️⃣ Фокус на чувствах, а не на мыслях
Отличный совет. Всегда смотрите на эмоциональную реакцию респондентов и проясняйте ее. Особенно важно в UX-тестах, когда поведение человека явно меняется, но он никак не комментирует это изменение. Всегда стоит спросить: почему сейчас вы действуете именно так? Так вы поймете, в чем сложность и какие элементы интерфейса можно улучшить.
5️⃣ Используйте паузы
Да. Пауза как техника действительно недооценена – хотя это лучший способ давать пространство для высказываний респондента. Многие начинающие исследователи задают новые вопросы сразу, как только услышат ответ, не оставляя человеку возможности что-то добавить. А это дополнение может быть очень существенным.
6️⃣ Используйте транскрипты, чтобы избежать предубежденности
Прекрасный совет. Мы – за полную транскрибацию интервью всегда, когда на это есть время. Но времени на транскрипты часто нет, и это повод задуматься об организации исследования: скорость исследования действительно критически важна? Или привычка ставить сроки на «вчера» — это просто общепринятая практика, от которой лучше отказаться?
7️⃣ Ищите супервизию
Да. И психотерапия, и исследования – это ремесло, которое передается от более опытных коллег к новичкам. Наличие ментора позволяет вырасти профессионально намного быстрее, чем если делать это в одиночку.
8️⃣ Относитесь к людям позитивно и без предубеждений (безусловное принятие)
Отличный совет. Люди действительно открываются, когда видят, что вы их принимаете такими, какие они есть. Что вам делать, если вы склонны осуждать людей и сравнивать их с собой, но при этом хотите быть хорошим исследователем? Это хороший вопрос, на который статья не дает ответа.
9️⃣ Заложите время на дополнительные вопросы в конце
Да, респонденты могут сообщить дополнительную важную информацию в конце разговора, которая может обогатить исследование. Но эта информация может также потребовать дополнительного обсуждения! Поэтому в конце интервью у вас должно быть еще как минимум 10 минут для разговора и возможность связаться с респондентом после интервью.
🔟 50 минут достаточно
Вредный совет. Если вы обсуждаете сензитивную тему - финансы или воспитание детей - первые полчаса уходят на то, чтобы вызвать доверие. Психотерапевты работают 50 минут с одним и тем же человеком, контакт с которым уже установлен, – а вы видите респондента первый и последний раз. Интервью может длиться два с половиной часа – иначе невозможно успеть обсудить все вопросы. В социальных науках при использовании автобиографического интервью время не ограничивается.
Офлайн-конференция про рост продуктов на международном рынке. HeyGrowth Conference в Ереване, 30 мая.
Epic Growth организует большое гибридное мероприятие на английском языке в Ереване. Актуальные кейсы запуска и роста на зарубежных рынках и возможность пообщаться лично с экспертами.
Что будет:
— 300+ участников
— 250 продуктовых компаний
— Нетворк-сессии с экспертами по продукту и маркетингу
Уже в программе спикеры из Booking, Miro, Borzo, Krisp, Sololearn, Wakie. Список будет дополняться.
Ереван — отличное место для такой встречи: быстрорастущее tech-комьюнити, безвиз, прямые перелеты и отличная погода в мае.
Стоимость билетов — от €65, но цены будут постепенно расти. Сейчас действуют early bird tickets. Для подписчиков нашего канала скидка 10% по промокоду POSTPOSTRESEARCH
▪️ Здесь подробности и билеты: https://bit.ly/3rdCRh7
▪️ Оплатить в рублях с рос. карты можно ЗДЕСЬ: https://bit.ly/3ulNJeP
Работаем над модулем курса по визуализации качественных данных. Нашли наглядный пример, демонстрирующий, что не все способы визуализации одинаково полезны.
У Тибурона был интересный некоммерческий опрос, который ЯРКО иллюстрирует тот факт, что формат представления данных в виде «облака тегов», без анализа, - бесполезен чуть менее, чем полностью.
Даже контекст исследования не спасает:
Представьте, что к нам прилетели инопланетяне и предложили на выбор три технологии из обширного списка. Какие три (!) вы бы выбрали для всего человечества? А какие из этих технологий вы считаете вредными?
А вам встречались случаи, когда облако тегов, составленное на основе ответов респондентов, было полезным для исследования? Например, представляло неочевидные данные, которые меняли картину исследования?
Очередная картинка, иллюстрирующая "User Interface vs. User Experience"
Читать полностью…Знаем, что многие коллеги состоят в закрытых чатах для исследователей. Но есть и открытый чат для исследователей, где можно общаться с коллегами.
Чат рисёчеров (маркетинговые исследования)
На данный момент - более 2100 участников:
🔹Аналитики - 36,5 %
🔹Сотрудники полевых отделов - 9,3 %
🔹UX-researchers - 34,2 %
🔹Преподаватели/научных сотрудники - 20 %
Присоединиться: /channel/+TCHxBXqTzh4yM2Yy
Мы не знаем, когда темы исследований станут снова актуальными. Но у нас есть кое-что из старых запасов. Выкладываем обещанную запись с митапа «Дом РФ» про глубинные интервью от 11 февраля.
📽 https://youtu.be/4gS6k3gkVU8
Доклад «Как слить b2b интервью: проверенные способы и свежие идеи»
• Опыт эксперта в b2b интервью: почему им больно об этом вспоминать?
• Позиция исследователя в b2b интервью: «любопытство и невежество» vs «мы с тобой одной крови»
• Как обойти все грабли, и получить ответы на вопросы исследования?
К вопросу о том, как воспринимаются фигуры с пустыми лицами.
Вы наверняка уже видели эту новость:
Картину ученицы художника Казимира Малевича Анны Лепорской «Три фигуры», которую выставляли в галерее музея, испортил охранник центра. Абстрактным фигурам на работе художницы пририсовали глаза.
Еще одно косвенное подтверждение, что людям не нравятся фигуры с пустыми лицами. Хотя дизайнеры их любят вставлять буквально везде.
Наше совместное с OMI исследование показало, что людям нравятся картинки с лицами, а без лиц - не нравятся. Да и в исследовании Лаборатории Касперского – фигуры без лиц чаще оценивают хуже, чем с лицами.
11 февраля выступаю на митапе ДОМ РФ, про глубинные интервью.
Как обсуждали тему с организаторами:
- предлагаю тему «Как запороть b2b интервью»
- не, так не пойдет, у нас серьезный банк и митап
- а какие тогда варианты?
- ну например, «слить»
- deal
В итоге, расскажу про:
Как слить b2b интервью: проверенные способы и свежие идеи
• Опыт эксперта в b2b интервью: почему им больно об этом вспоминать?
• Позиция исследователя в b2b интервью: «любопытство и невежество» vs «мы с тобой одной крови»
• Как обойти все грабли, и получить ответы на вопросы исследования?
Регистрация и программа тут
Какой исследователь не мечтает облегчить себе работу?
Составить «словарик вопросов» для глубинного интервью. Изучить фреймворки для «задавания вопросов». На первый взгляд, это и правда, ускорит рабочий процесс.
Вот и Intercom придумали фреймворк про то, как правильно задавать вопросы в рамках JTBD - UUD (Useful, Usable, Desirable). Заявлено, что он позволяет выявить глубинную мотивацию пользователя на всех этапах. Правда, под глубинной мотивацией подразумеваются элементы работ – должна ли дрель для «дырок в стене» иметь удобную док-станцию или, скажем, сменные аккумуляторы.
Вы согласны с такой трактовкой глубинной мотивации?
Мы всегда думали, что глубинная мотивация в случае покупки дрели для «дырок в стенах» – это, например, преобразование пространства вокруг себя, желание почувствовать себя лучше в своем доме. Или ощутить себя мастером на все руки, который может все сделать сам.
Мы уже писали про абьюз фрейморка, когда исследователь пользуется им вместо мозгов 🧠. Писали и про изобретение велосипеда в рамках фреймворка TEDW.
Такие фреймворки низводят исследователя до уровня интервьюера в колл-центре – нужно просто зачитывать одно и то же, из раза в раз, на каждом интервью. Зачем думать самому?
А дальше, вероятно, такого исследователя заменит нейросеть. Уже сейчас подобное пробуют в смежных сферах: например, искусственный интеллект по имени «Люси» занял место психотерапевта. Раньше об этом только шутили, а теперь это будущее настало.
Как вам такая «темная демократизация исследований»?
Но дело не только в этом.
Настоящая беда в том, что фреймворки для задавания вопросов бесполезны чуть менее, чем полностью.
Хороший исследователь отталкивается не от вопросов. А от целей и задач исследования. И может задавать вопросы, которых нет в гайде, но которые нужны в контексте беседы. Чужой конспект тут не поможет. Нужно понимать принципы, по которым эти вопросы строятся и задаются.
Конечно, идея создать универсальный каталог вопросов очень привлекательна.
Она родилась из практики UX исследований, которые по сути своей поведенческие. И тут вопросы, действительно, могут быть стандартизованы, как, например, в случае немодерируемого UX теста.
Соблазнительно представить себе интервью как цифровой продукт, с метриками и оптимизацией процесса И тогда и фреймворк, и словарик – все будет в кассу.
Но интервью – это «отношенческий» метод. Вы не наблюдаете поведение человека «здесь и сейчас», вы разговариваете с ним. О его представлениях, об опыте. О том, как он соотносит себя с практикой пользования продуктом, и что он чувствует в этой связи.
Поэтому словариком и нейросетью живого исследователя заменить не получится. Проводя интервью, нужно думать и реагировать, докапываться в разговоре до сути. Только сценарием не обойтись. Исследователь - не машина по задаванию вопросов, а человек перед ним – не машина, чтобы отвечать на них.
Принято считать, что инфографика и дашборды – сравнительно современное изобретение.
А вот и нет.
Игорь Петров пишет:
Любопытная картинка из отчета РСХА за 1942 год. Утверждают, что за год поймали 644 советских парашютиста (только в мае 170!), правда, не только на территории рейха, а и на оккупированных (т.е. забросы к партизанам тоже, видимо, включены). И 109 британских парашютистов.
80 лет прошло. А визуализация данных вполне современная и понятная.
Проблема, с которой часто сталкиваются начинающие исследователи, – респонденты плохо отвечают на некоторые вопросы.
Например, про ожидаемую цену продукта. Спрашиваешь его - «Сколько это будет стоить?», а он такой: «Ну, я не знаю. Я хочу как можно дешевле это купить. Например, за 10 рублей».
И тогда возникает соблазн поставить у себя в голове галочку - этот вопрос в принципе неудачный, и не стоит его задавать.
Плохое решение.
Но некоторые исследователи делают еще хуже. 😱
Они не просто не задают этот «плохой» вопрос, но еще и сразу начинают подсказывать, называя цену:
«Это стоит 200 рублей. Что думаете?»
Это очень грубая, но в тоже время частая ошибка. Естественно, что чисто по-человечески, когда наш собеседник затрудняется с ответом, мы хотим дать ему подсказку, чтобы он хоть что-то сказал. Мол, ответа у нас нет или он неинформативный, а с подсказкой-то мы точно хоть что-то узнаем!
Но нет, подсказка всегда фреймит человека. Люди ленятся и склонны соглашаться с предложенным вариантом.
Это плохо, поскольку искажает картину. А для несуществующих продуктов на рынке так и вообще очень опасно – возможно, человек бы заплатил в два раза больше, но теперь он ухватится за названную цену.
Хорошо, скажете вы, а что делать-то? Не задавать вопрос – плохо, задавать с подсказкой – плохо, всё плохо! Что, от исследований ценовых ожиданий отказаться?
НЕТ. Есть несколько принципов работы с оценкой нового продукта:
1️⃣ Для настоящего исследователя всё является информацией - даже то, что для обычного человека может и не являться.
Если респондент затрудняется со стоимостью, это значит, что:
🅰️ или он не ваша ЦА (ему пофиг, сколько это стоит, потому что ему это не нужно);
🅱️ или сам товар не так важен. Ну, стоят хлопья для завтрака 300 рублей или 350 – да наплевать, беру и кладу в корзину, не глядя на ценник.
2️⃣ ️Вы управляете ходом беседы. Если респонденту продукт важен, и вы это знаете, а он уходит от ответа через формулировки, вроде «я хочу купить максимально дешево», то вы можете настаивать на ответе. «Хорошо, вы хотите купить подешевле. А сколько это реально будет стоить? Почему именно столько? А купите за такую цену? А почему?»
3️⃣ ️Когда вы изучаете ожидания от продукта, вы всегда начинаете с открытых, общих вопросов. Вы можете давать подсказки или альтернативы, но строго после того, как респондент рассказал вам, что он САМ об этом думает.
⛔️ Плохой пример: Что вы думаете про красный цвет этой машины?
Так делать не надо - вы сразу обращаете внимание на цвет, подчеркиваете его важность, в то время как респондент может иметь другое мнение.✅ Правильный вариант: Что вы думаете про эту машину? А про ее внешний вид? А про цвет?
Вы идете за респондентом и смотрите, на какие характеристики машины он сам обратил внимание.Так же и с ценой – дайте человеку возможность ее предположить, и только потом смотрите, насколько его ценовые ожидания совпадают с реальностью.
Первой жертвой боевых действий всегда становится правда.
Считается, что есть только два пола - люди «за» и люди «против». И противникам, и сторонникам кажется, что с другой стороны – какие-то нелюди, объединившиеся за все плохое против всего хорошего.
Именно такую картинку дает и поддерживает пропаганда - с обеих сторон. Хотя на самом деле нет признаков, по которым можно сказать: этот человек, наверное, за боевые действия в Украине, а тот - против – пока эти люди сами не скажут об этом прямо.
Но профессия исследователя дает доступ к тем смыслам, которые вкладывают в свою позицию сами люди. Поэтому мы публикуем ссылки на два отчета.
РОССИЯНЕ В КОНТЕКСТЕ СВО. ЧТО В ГОЛОВАХ? (май 2022, Константин Айзенберг)
СО-ЗНАНИЕ ПЕРЕМЕН 2022 (апрель 2022, «Радость понимания» и группа «7.89»)
Самое интересное:
1️⃣ Очень высокий уровень субъектности – в виде желания влиять - и среди тех, кто «за», и среди тех, кто «против». С высказыванием «мне важно, хочу знать, влиять, убеждать» согласны 75% одобряющих и 56% не одобряющих боевые действия в Украине. Реальных возможностей влияния мало, и можно было бы ожидать полностью пассивной позиции – но желание влиять высокое во всех группах.
2️⃣ Идентичность «Я – гражданин великой страны». Очень сильное ощущение своей принадлежности во всех группах. «Я часть державы» поддержано 90% тех, кто одобряет, 58% тех, кто не одобряет. Ощущение «Я имею отношение к моей стране» – массовое.
Очень хорошее отношение к России как к стране также во всех группах. «Россия - великая страна» - высоко поддержано и теми, кто «за» и теми, кто против боевых действий на Украине. С этим высказыванием согласны даже 30 процентов от «внутренних эмигрантов». Нет злорадства по поводу «чем хуже, тем лучше».
3️⃣ Смысл одобрения боевых действий – в восстановлении справедливости. Нет, не в поддержке разрушений и смертей, ни в коем случае. «Я переживаю, когда страдают люди любой страны и национальности» - высоко поддержано людьми, которые одобряют боевые действия на Украине. Восстановить справедливость – означает защитить права русского населения и сделать Россию великой страной, с которой будут считаться другие страны.
4️⃣ Надежда. Разница между сторонниками и противниками – одним боевые действия дают надежду на изменения к лучшему (будет больше справедливости), у других они надежду отбирают (теперь вообще никаких перспектив).
Для одобряющих самый весомый аргумент «за» – это причины начала боевых действий. Справедливость нужно восстановить во что бы то ни стало, "мы за ценой не постоим".
Для неодобряющих самый весомый аргумент «против» – это последствия. Никакие причины не могут оправдать превращение мирных городов в пепел.
5️⃣ Несогласие. Люди, которые против боевых действий – разные, вплоть до враждебности друг к другу. Важно, как именно проявляется позиция «против».
Одна из тенденций – несолидарность довольно большого количества людей с публично предлагаемыми форматами переживания и реагирования.
В публичном пространстве позиция «я против» сейчас идет в комплекте с коллективной виной и коллективным стыдом. Стыд и вину навязывают люди, которые всегда активно высказывались и негласно считаются лидерами мнений.
Но голоса в публичном поле – это не крупные сегменты в отчете. Реальные живущие в России люди имеют свою точку зрения, которая поддержана многими – но не выражается экспертами.
Те, кто поддерживает боевые действия в Украине, сплотились вкруг родного флага. Те, кто не поддерживает, тихо матерятся по поводу советов из каждого утюга насчет того, что им делать и как правильно переживать.
Мы не с теми, кто сплотился у флага, и не с теми, кто звучит из утюга. Мы не хотим, чтобы гибли люди с любой стороны. Мы не хотим, чтобы России было как можно хуже. Мы против - но не поддерживаем идею коллективно повиниться и постыдиться.
И вот исследования как раз и дают возможность быть услышанными тем людям, которых ненулевое количество – но которые менее публичны и их мнение вроде бы имеет меньше веса.
Таким, как мы.
Интервью, наблюдение, дневники: как выбрать метод изучения CX
Бывает, спрашиваешь людей – а они не помнят, не знают, не могут сказать.
Потому что продукт не является для них актуальным аспектом текущей плоскости бытия. Повседневные платежи, действия на сайте, в приложении, просмотр видео, чтение новостей, еда, прослушивание музыки. Везде, где выбор слабо осознается, где он не очень важный, повседневный, рутинный. Просто нажал на кнопку, что-то произошло, этого оказалось достаточно. Просто зашел на лэндинг и стал читать, что предлагает организация, удобно было, не удобно, полезно, не полезно, - не помню, хоть убейте. Нормальный сайт.
А для исследователя, продакта или UX-дизайнера продукт, наоборот, важен. Но интервью не работает - пользователи не дают внятного ответа на вопросы. Как быть?
Во всех случаях, когда выбор слабо осознается – обращаемся к опыту. Желательно, чтобы этот опыт мы могли наблюдать. Зайдите в приложение и покажите, как вы делали заказ. Зайдите на сайт и покажите, как вы выбирали. Вот сейчас, в реальном времени.
Но мы не всегда можем вот так сесть рядом с пользователем и посмотреть, как он действует. Что делать?
Человечество придумало мобильную этнографию. Пользователь делает фото или скриншот целевого события, дописывает пару слов и отправляет исследователю в мессенджер. И ведет этот дневник в течение недели. Так мы можем сделать неосознаваемый опыт более зримым и объективно наблюдаемым. Вот такую еду человек заказывает, вот еда, вот чек. Вот так он выбирает видео для просмотра, вот само видео, вот скриншот интерфейса.
Всегда ли нужно просить пруфы у пользователя? Вообще - нет.
Если человек вложился в выбор, вдавался в нюансы альтернатив, если цена риска довольно высока, а выбор – не рутина, он обычно может внятно рассказать, как он выбирал. Кредит, машина, ипотека, дебетовая карта. Более простые вещи: мероприятие для отдыха, служба доставки продуктов, такси или каршеринг. И тогда хватит и интервью. Не нужно привлекать дополнительные ресурсы для мобильной этнографии. Хорошо для заказчика, плохо – для агентства.
Fuck money economy, говорит агентство. Пусть респонденты, которые выбирают машину, ведут дневники в течение полугода. Потому что если человека спрашивать, он не вспомнит все модели машин, между которыми он выбирал, а вспомнит только последние. Вот наше решение, оно стоит много денег.
Включим здравый смысл. Вспомним себя и знакомых. Вы знаете многих людей, которые в процессе выбора мысленно поменяли 15 машин? Вот именно.
Даже если для человека важен рациональный осознанный выбор, принятие решения — это нагрузка.
Какие люди по доброй воле будет затягивать для себя этот процесс?
Сколько таких людей в генеральной совокупности? Найдется ли хотя бы один процент?
Человек, который в состоянии полгода заполнять дневник – это уже смещенная выборка. Многие люди устают документировать свои действия и перестают это делать – несмотря на вознаграждение. Когда мы делали мобильную этнографию с мигрантами, фото с комментариями в течение всей недели отправляли только 50%. Другие 50% отсеивались через два дня. Да и выбор из 15 моделей машин в течение полугода встречается так же часто, как выбор самой лучшей из 15 нянь для своего ребенка.
Какова совокупная вероятность событий «человек будет выбирать из 15 машин», «человек забудет, какие варианты он рассматривал», «человек согласен полгода честно вести дневник процесса выбора»? Только для этих трёх условий имеет смысл городить довольно дорогостоящий огород в виде лонгитюдной панели. Во всех остальных случаях достаточно просто спросить.
Получается, что с помощью полугодовой панели мы изучаем исключение из исключений из исключений за очень дополнительную плату. Даже если мы найдём респондентов с тройной исключительностью - как это поможет в решении бизнес-задач, если целевая аудитория в целом нейротипична?
Дневники, мобильная этнография, наблюдение очень хороши, когда люди не могут дать внятный отчет о своем выборе. Но в тех случаях, когда выбор для человека важен и он хорошо его помнит – интервью вполне достаточно.
Еще одна картинка про пользовательский опыт и интерфейсы.
Читать полностью…Парное/тандемное интервью
Довольно частый вопрос: «как вести интервью совместно, если на нем хотят присутствовать коллеги?». Разбираем плюсы и минусы такой работы.
✅ Почему совместное ведение интервью может быть полезно:
1️⃣ Два золотоискателя найдут больше золота. Несколько человек обратят внимание на разные аспекты истории респондента и найдут возможность воплотить в продукте разные потребности разными способами.
2️⃣ 3D, 4D, 5D – анализируя данные с разных точек зрения, вы получаете более объемную картину. Когда исследователи соотносят свои идеи друг с другом, это делает выводы более насыщенными и реалистичными. В социологии возможность посмотреть на результаты с разных точек зрения называется «триангуляция».
3️⃣ Разные роли: супервайзер и контактер. Те, кто вел интервью, знает, что сложно – практически невозможно - одновременно быть в контакте и видеть историю респондента со стороны. Один человек в контакте и в потоке, а второй играет роль супервайзера: достаточно ли информации мы получили? Не повисли ли в воздухе потенциально интересные ветки беседы?
4️⃣ Разные роли: исследователь и заказчик. Заказчик, продакт или дизайнер обычно знают продукт лучше, чем исследователь, и могут задать более глубокие вопросы. Говоря с теми членами команды, которые непосредственно отвечают за продукт, респондент расскажет больше – возможность влиять на развитие продукта очень мотивирует. Заказчику и разработчикам непосредственный контакт с респондентом тоже полезен – он развивает эмпатию и побуждает делать что-то важное для реальных людей.
5️⃣ Поддержка и обучение: новички меньше волнуются, когда ведут интервью вдвоем. Новички могут учиться, когда они видят, как ведет интервью более опытный коллега. И если у респондента существенно более высокий статус, визит исследователей в составе группы отчасти позволяет нивелировать эту разницу.
6️⃣ Идентификация: если в исследовательской команде есть люди разного возраста, гендера, статуса, это улучшает контакт. Респонденты более откровенно говорят с людьми, которых они видят как похожих на себя.
7️⃣ Разные роли: исследователь и стенографист. Для ускорения исследования один из команды может писать заметки, не участвуя в беседе. Однако это уже не тандемное интервью – фактически исследователь в таком интервью один. Человек не может одновременно писать подробный конспект разговора и полноценно участвовать в нем.
❌Какие проблемы могут быть с тандемными интервью?
1️⃣ Неопределенность ролей: кто ведет интервью? Договоритесь о том, кто задает основную часть вопросов, а кто дополняет. Если исследователи перебивают друг друга, это мешает контакту. Если основные вопросы задает заказчик, это мешает исследованию, так как у заказчика все же обычно нет соответствующей квалификации.
2️⃣ Неопределенность формата: когда чья очередь говорить? Договоритесь о том, как вы даете слово друг другу. Основной исследователь может передавать инициативу партнеру после каждого блока интервью явным образом: «Может быть, ты хочешь что-то еще спросить?». В онлайн-интервью тот, кто хочет задать вопрос, может написать об этом в чате.
3️⃣ Не подходит для сензитивных тем: тот исследователь, который меньше участвует в беседе, воспринимается как оценивающий наблюдатель. В присутствии третьего говорить на сензитивные темы сложно. Никто не хочет, чтобы его оценивали. Люди начинают фильтровать сказанное и сообщать о себе более социально желательные вещи.
4️⃣ Больше времени: у нескольких людей всегда будет больше вопросов, чем у одного. Заложите дополнительное время на интервью. Разные исследователи делают разные выводы из одних и тех же данных. Заложите дополнительное время на обсуждение результатов.
Если интересен социологический взгляд на проблему тандемных интервью, можете посмотреть этот сайт.
В эту пятницу, 22 апреля я выступаю у Саши Постоваловой на UX Марафоне.
Расскажу о том, откуда берутся респонденты, как мотивировать их к участию в интервью, как на их мотивацию влияет вознаграждение и как избежать распространенных ошибок рекрута.
Прокомод на 15% скидку: PostPost
Регистрация: https://bit.ly/3xHZT3D
Телеграм-канал «Потребительское поведение» публикует дайджесты по изменению потребительского поведения в кризис. Есть интересные вещи. Например:
Конец эпохи промо-товаров
Или вот про то, как россияне воспринимают сейчас надежность инвестиций
Проект ведет Дмитрий Фролов - автор чата «Вакансии рисечеров», автор проекта Research&Trends, экс шеф-редактор Состав.Ру.
У NNg вышла статья про 6 ошибок в глубинном интервью.
Давайте посмотрим, что они нашли:
Ошибка 1️⃣ - задавать вопросы, которые, по-хорошему, нужно вынести в скринер (отборочную анкету) для респондентов. Т.е. закрытые вопросы, которые помогают понять, из какой ЦА этот респондент.
Это – хороший совет. Действительно, зная заранее, кто к вам пришел, можно не тратить время на определение типа респондента, а сразу работать с ним по отдельному сценарию интервью.
В статье рекомендуют начинать с открытых вопросов, но это слишком общая рекомендация. Очевидно, что вы должны их задавать, вопрос – какие и в каком порядке. Да и закрытые вопросы могут пригодиться – как затравка для обсуждения, для установления контакта.
Ошибка 2️⃣ - задавать вопросы только о типичном поведении
В качестве альтернативы предлагается спрашивать о конкретных событиях. Все верно: обычно опыт респондента гораздо важнее для продуктового исследователя, чем представления. Но проблема в том, что есть два подхода, они же «воронки»: от общего к частному (прямая) и от частного к общему (обратная).
Например, про общее отношение к кредитам, и то как оно у человека устроено – можно говорить, начиная с общих вопросов (прямая воронка). Этот опыт осознаваем и человек может его обобщить.
И, напротив, если мы возьмем просмотр видео – то на вопрос «как вы обычно смотрите видео?» - довольно сложно ответить. Потому что этот опыт улетучивается из памяти: человек будет додумывать и фантазировать. И здесь лучше пойти от конкретных случаев просмотра, которые человек помнит. А затем уже обобщить опыт (обратная воронка)
Об этом в статье, к сожалению, ничего не говорится. Без понимания того, какая «воронка» для чего используется, можно увязнуть либо в неправильных обобщениях от респондента, либо в обилии деталей.
Ошибка 3️⃣ - задавать гипотетические вопросы
Да-да, старая песня про вопросы о будущем. Страшный грех, нельзя задавать: люди никогда не знают, что они купят на самом деле. Кто все еще думает так же, как ребята из NNg – посмотрите наш митап про вопросы о будущем. Там мы это подробно разбирали – как их можно задавать так, чтобы не «отравиться», анализируя ответы, и понять, будут ли люди действительно пользоваться продуктом.
Ошибка 4️⃣ - использовать уточняющие вопросы, которые содержат интерпретацию
О, это наши любимые «подсказки». «Вы перестали пить коньяк по утрам, потому что здоровье уже не позволяет?». Ну, рецепт тут простой – спрашивайте, ничего не привнося от себя. Эта ошибка, к сожалению, исправляется только опытом, с которым приходит и «нейтральная» позиция исследователя.
Ошибка 5️⃣ - задавать сложные/составные вопросы
Довольно частая ошибка, когда вместо одного вопроса задают два: «Расскажи, как часто и какую музыку ты слушаешь?». Лучше их дробить и задавать по одному. Но это сложно, вообще-то. Потому что за такими склейками стоит не столько неумение задавать вопросы, сколько напряжение исследователя-новичка.
Ошибка 6️⃣ - задавать двусмысленные вопросы (которые пользователь не знает, как интерпретировать)
Например - «Расскажите о своих кулинарных привычках». А респондент в ответ - «А что вы имеете в виду?»
Это правильный подход, вопросы должны быть понятны респонденту.
В статье предлагается провести «пилот», чтобы отсечь такие вопросы. Добавим, что на паре первых интервью вы в любом случае обкатываете сценарий и заменяете неработающие вопросы, это общая практика качественных исследований, пришедшая туда из Grounded Theory.
На самом деле, ошибок гораздо больше. И ключевая – не объяснить респонденту правила и не устанавливать с ним контакт. Собственно, если этого не сделать, то даже на правильно заданные вопросы ответы будут не полны.
Важно понимать, что исследователь исследует не продукты. А людей. Он не должен быть машиной по задаванию вопросов и извлечению ответов из респондентов.
Продолжаем борьбу с фрагментацией исследовательского сообщества.
Отдельный чат «Вакансии для ресечеров».
/channel/+hXnxx6KWb29kNDY6
Onboarding
Рассказывали про вводную часть интервью новым слушателям нашего курса.
Ту часть, в которой мы объясняем правила, знакомимся с респондентом и устанавливаем контакт.
Продуктовые исследователи часто исследуют онбординг в приложениях. А бывает, и помогают проектировать.
И все знают, что хороший онбординг:
- без длинного EULA
- без 10 подробных экранов с затемнением интерфейса, чтобы человек обучился
- без нудных сторизов, которые не промотать.
Начало интервью - это тоже онбординг.
Если пропустить вводную, респондент - если он не завсегдатай чата Custdev Boost - просто не поймет ничего. И напряжется - как в плохом приложении, где ничего не понятно.
Вводная часть на интервью должна быть такой же, как хороший онбординг в приложениях - понятной, ненавязчивой, располагающей к себе.
Расскажите:
- кто вы,
- чем вы занимаетесь
- для какого проекта вам нужно это интервью
- для чего вам его запись.
Вы приглашаете респондента в разговор. И в ваших силах сделать так, чтобы это приглашение было внятным. И чтобы респондент испытывал вдохновение.
В нашем парке несколько лет боролись с "пользовательским опытом" - перекапывали натоптанную тропинку, флажки вешали. А в один прекрасный день сдались и замостили так, как люди ходят.
Читать полностью…Обычно мы пишем только про свои курсы, но тут интересное событие.
10 февраля ОИРОМ начинает курс по маркетинговым исследованиям. Из преподавателей я лично знаю троих: Антона Морина, Андрея Ермолаева, Ольгу Пронину. С Антоном и Ольгой я вместе работал в Ipsos.
Это обзорный курс, направленный на понимание, а не на обучение. Его ЦА - скорее заказчики, чем сами исследователи. Хотя и исследователям может быть интересно. Курс модульный, можно брать частями, чтобы составить представление о том, что вам нужно.
Как говорят с людьми маркетинговый и продуктовый исследователи?
Маркетинговый исследователь: прежде чем писать сценарий интервью, изучает продукт или сервис во всех подробностях. В интервью задаёт отдельный вопрос про каждый аспект явления, не пропуская ни одного. Как вы оцениваете ассортимент продуктов в приложении? Что думаете по поводу скорости доставки? Как вы оцениваете манеру общения курьеров? Что можете сказать по поводу свежести продуктов, которые вам привезли? Каковы, с вашей точки зрения, достоинства и недостатки сервиса?
В результате получает данные абсолютно по всем нюансам, кроме двух самых важных: как именно человек выбирает продукт и как его использует.
Потому что спрашивает, исходя из своей картины мира, а не из той, которая есть у пользователя.
Продуктовый исследователь в нюансы заранее не вдаётся, потому что знает удачную схему интервью. Расскажите, как вы выбрали этот сервис? Рассматривали ли какие-то альтернативы? Были ли какие-то сложности? На чем в итоге остановились и почему?
И шарашит этой схемой по всем видимым целям, иногда дополняя «расскажите про ваш выбор» вариантом «расскажите, как это было в последний раз». One size fits all. Будь то доставка еды, выбор холодильника или использование приложения для медитаций.
И эта простая штука безошибочно работает - потому что вытаскивает все важные для человека особенности выбора или использования, которые есть в его сознании.
Позволяет выяснить, что имеет значение для пользователя, а не для исследователя.
Некоторые продуктовые исследователи называют эту технику «JTBD-интервью», как будто именно они - те самые люди, которые придумали секс.
Но эта техника - точно не заслуга продуктового подхода и не заслуга JTBD-фреймворка. Ей как минимум несколько тысяч лет, это - канва сторителлинга, ободранная до скелета. Одни люди рассказывают истории, а другие их спрашивают: мужики, чо случилось? Чо там было? А это ты зачем так сделал? А он в ответ чо? В социологии эта техника называется «нарративное интервью» и используется неоправданно редко.
Это не значит, что нужно выбросить к чертям модель явления, которое вы изучаете, и навсегда забыть все уточняющие вопросы. Это значит, что модель нужно строить прежде всего на том, что вам рассказывают люди. И только потом задавать вопросы, исходя из того представления, которое есть в вашей голове.
Одного вопроса «Расскажите, как вы приняли это решение, как историю» - недостаточно. Даже если вы после этого спросите про сложности принятого решения, его альтернативы и источники информации. Чтобы получить больше информации, нужно минимально разбираться в том, о чем вы спрашиваете. Держать в голове, как люди обычно делают это и на что они смотрят, когда это делают.
Но освоить эту технику может каждый.
Задайте человеку вопрос: расскажите, как вы это делаете. Молчите. Дышите. Пауза. Чшш.
И слушайте.
А потом вспомните все, что вы знаете в этой области. И уточняйте до тех пор, пока сами не будете в состоянии рассказать, что и зачем делает ваш пользователь.
Можно начать применять с понедельника.
😂 Истории от исследователей #байки
Мы в конце ноября объявляли конкурс историй.
Нам прислали три, и все авторы получают кружки от нас.
«Белый порошок на таможне» - от Артема Тинчурина:
Году примерно в 2005 я ехал поездом в Киев запускать холтест. Заодно полевой отдел попросил отвезти материалы для других тестов. На вокзале оказалось, что материалы — шесть коробок. В коробках без товарных упаковок — россыпь прокладок и стиральный белый порошок (!) в пакетиках. Провезти это нужно было через две границы :). Наши пограничники точно знали, чего хотят. А вот украинские видимо так удивились, что прямо взяли и пропустили. Провез, одним словом.
«Интервью со звездой» - от Юлии Кожуховой:
Мой первый опыт проведения интервью. Рекрутирую респондентов.
Тогда ещё пользователи были не особо привыкшие к разным опросам, да и то, что их могут куда-то приглашать.
Плюс ещё специфика приложения. Это приложение для оплаты штрафов.
В итоге туго шёл обзвон, пока один потенциальный респондент не сказал:
«Вы приглашаете меня на интервью? Да я - не публичный человек, поэтому отказываюсь»
После этого я начала использовать слово «беседа» и все было хорошо :)
«Антифрод не знает, что это UX тест» - от Евгения Семашко:
Когда-то в 14-15 году мы делали большое исследование CJM процесса взятия потребительского кредита в салоне связи одного из операторов большой тройки. Вопросов по процессу было очень много, помню, куча косяков была на стыке софта и оборудования в салоне: например, оператор заполнял анкету минут 15, а потом понимал, что ему нужно приложить фотографию заявителя, которую можно сделать только на другом компьютере, а при переходе на другой компьютер, выяснялось, что анкету нужно заполнять повторно с начала и так далее.
Важно, что процесс нужно было доводить почти до конца (отменял покупку я уже в самом конце, получив ответ от банка), и данные моего паспорта больше 10 раз были отправлены всем банкам-партнерам. Первые 3-4 раза мне кредит одобрили, а потом стали давать отказы, что надо сказать не мешало исследованию.
Мы успешно завершили полевую часть, подготовили отличный отчёт, но кажется, что кредитная история у меня до сих пор испорчена. По крайней мере, я хотел уже в 2020 году хотел провернуть вариант с покупкой дорогой техники «в рассрочку» (когда магазин дает тебе скидку в размере на обслуживание кредита, а ты закрываешь кредит через день после покупки) и мне несмотря на официальное трудоустройство и отсутствие каких-либо просрочек пришли отказы от банка 😉 Сдается, что мой паспорт до сих пор где-то в чёрном списке болтается.