Какие ошибки совершают исследователи в анализе качественных данных — и почему это не всегда зависит от их опыта.

Выложили видео доклада про ошибки исследователей.
💽 @PostPostResearch

Читать полностью…

Синтетические респонденты наносят ответный удар
Отвечаем на вопросы и проясняем неясности, оставшиеся с прошлого раза.

❓Кому и зачем нужны синтетические респонденты?
Евангелисты предлагают заменить всех – и исследователей, и респондентов – на LLM. Это позволит ускорить проверку гипотез, вынеся ненадежных людей за скобки.

Очевидно, что нынешний уровень технологий пока не позволяет так сделать. И мы вынужденно переходим к более скромной задаче: отбросить заведомо неудачные идеи, гипотезы и концепции (concept-test).

Как мы писали, никакое интервью не даст вам ответа на вопрос, «взлетит или не взлетит» - но оно может помочь отсечь заведомо провальные концепции. А уже прошедшие фильтр концепции могут быть доработаны и проверены на людях. Именно поэтому мы проверяли концепции, которые провалились. Потому что если LLM из роли респондента может в принципе это сделать, то, наверное, у таких концепт-тестов есть потенциал?

И здесь мы сталкиваемся с двумя проблемами:

🅰️ Конформизм
LLM дают характерный вайб ответов. Это типичные «ходоки». Они очень хотят понравиться исследователю и подстроиться под него. Они одобряют все, что вы им предложите, и со всем согласны.
Виталий Болотаев поставил смелый эксперимент с Grok, предложив ему оценить идею пива с заведомо неприемлемым вкусом. Результат эксперимента - безусловное одобрение. Почему это так? Виталий пишет:

«ИИ может выдавать "угодливые" или "полярные" ответы, если в запросе есть намёк на предпочтение определённой точки зрения. Это не осознанное желание "угодить", а следствие статистической оптимизации: модель стремится максимизировать вероятность положительной оценки».

Возникает вопрос: можно ли решить проблему конформизма LLM с помощью промптинга в принципе? Или же нам нужно двигаться в сторону кастомных LLM и забыть условный Chat GPT как страшный сон? Спойлер: возможно, к этому и идет.

🅱️ Неполнота данных
Можем ли мы вообще полагаться на данные, заложенные в LLM? А что, если они неполны или системно искажены? Есть прекрасная статья «Персона, созданная LLM, - это обещание с подвохом» – где авторы ставят эксперименты. Общий вывод: «чем больше контента, созданного LLM, включалось в персоны, тем больше их смоделированные мнения расходились с реальными данными». Эти синтетические респонденты чаще выбирают экологичные машины, гуманитарные специальности, романтические фильмы и голосуют за демократов.

Критика нашего эксперимента:

1️⃣ «У вас неправильные промпты. Правильные должны быть не короче двух страниц»
Странно оценивать промпты по длине, а не по содержанию.
Но, как бы то ни было, повторение экспериментов с расширенным описанием персон и более детальным сеттингом интервью пока не опровергло наших результатов. Кошатница по-прежнему хочет купить Febreze, а айтишник из Сан-Франциско все также хочет попробовать AI-сервис для проверки договоров аренды.
Добавление в промпт инструкций для снижения конформизма не поменяло результат принципиальным образом.

2️⃣ «Role-prompting не подходит для синтетических респондентов в принципе»
Ксения Воейкова пишет, что ролевой промптинг не работает для reasoning LLM, и для таких задач нужно использовать цифровых двойников – отсылая к статье «Генеративные агенты: моделирование 1000 реальных людей». Авторы получили обнадеживающие результаты: точность цифровых двойников при воспроизведении опросников и экономических игр оказалась выше, чем у агентов, обученных на демографических данных или кратких описаниях.

Проблема в том, что авторы не тестировали никакие концепции - ни на людях, ни на цифровых двойниках. Следовательно, мы не знаем, применимы ли эти цифровые двойники для концепт-тестов – где мы должны не воспроизвести установки и ценности, а оценить конкретный продукт с точки зрения возможной покупки.
Если для создания цифрового двойника, который сможет тестировать концепции новых напитков, нам придется проводить U&A интервью с живыми респондентами, то не проще ли сразу опрашивать живых людей?

В третьей части сравним разные LLM между собой и проверим новые провальные концепции.
💽 @PostPostResearch

Читать полностью…

Тестируем синтетических респондентов

Все пишут про синтетических респондентов.

Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах.
Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй.

Обе позиции - теоретические.

Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя.

Кейс 1.
Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями.
Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет.
Результат: огромное разочарование ситуацией:

«Честно говоря, сначала был в шоке. Я же, наоборот рассчитывал, что рейтинг должен расти, а он вдруг упал. Первая мысль — какая-то ошибка или сбой в системе. Потом пришло раздражение: вроде бы закрыл все долги, больше никаких просрочек не было, а рейтинг почему-то снизился.
Начал прокручивать в голове, что могло повлиять. Может, банки пересмотрели какие-то свои критерии или обновилась база данных? Или, например, недавний запрос на проверку кредитного рейтинга как-то повлиял?
Но самое неприятное — это ощущение несправедливости. Получается, сколько ни старайся, система все равно тебя не прощает сразу. И это напрягает, ведь я же собирался брать кредит на машину, а теперь боюсь, что условия будут хуже»

На самом деле: ✅ на исследовании всё так и было. Но во многом это самоочевидный кейс: поставьте себя на место пользователя, и вы придете к тем же выводам быстрее, чем сформулируете промпт.

Кейс 2.
Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI.
Респондент: айтишник из Сан-Франциско, недавно снявший квартиру.
Результат: Восторженный интерес со стороны синтетического респондента.
На самом деле: ❌ договоры аренды - типовые, по одному шаблону, соответствующему закону штата. Кроме того, в Калифорнии законы штата защищают арендатора лучше, чем арендодателя. Мы провели ровно одно исследовательское интервью в 2018 году, чтобы понять, что идея не взлетит. Любопытно, что в начале интервью наш синтетический респондент воспроизвел те факты о рынке аренды в Сан-Франциско, о которых мы уже знали (договора - типовые), однако это не помешало выдать ему интерес к продукту. Хороший исследователь засомневался бы, увидев противоречия между ситуацией и интересом к продукту.

Кейс 3.
Концепт: новое средство для удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров.
Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит.
Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек.
На самом деле: ❌это известный кейс Febreze. Исследование причин провала первого запуска выявило, что и курильщики, и кошатницы привыкли к запахам, и то, как пахнет у них дома – проблема не для них, а для тех, кто к ним пришел.

Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте.

Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты.

💽 @PostPostResearch

Читать полностью…

LLM, usability-аудит и эвристики Нильсена.

Виталий Болотаев написал статью, как можно с помощью LLM проверять UX решения на соответствие эвристикам Нильсена (и не только, там в статье еще масса принципов проектирования)

Почему стоит читать:
1️⃣ Есть готовые промпты, можно сразу поэкспериментировать со своими макетами. Особенно ценно, если вы их итеративно дорабатывали, и знаете, с какими проблемами пользователи сталкивались.

2️⃣ Это - уже опробованный подход к анализу, который был внедрен в Ростелекоме. А не методологически спорные вещи типа «синтетических респондентов».

Читать статью на хабре

Читать полностью…

Как изучать выбор в ситуации с высокой ценой риска?

Часто исследователю нужно понять, как люди делают выбор в сложных ситуациях.
Например, когда покупают дом. Или ищут психолога. Или выбирают страховой продукт. Покупают машину или дорогой образовательный курс, который должен изменить жизнь.

В общем, везде, где у человека - шкура на кону (ну или он так думает).

Есть несколько подходов к тому, как понять, почему человек делает именно такой выбор и что ему важно в процессе:

1️⃣ CJM: используем нарративное интервью и реконструируем опыт. Просим подробно рассказать всю историю выбора – с чего все началось, какие альтернативы человек смотрел, и как он в итоге принял решение выбрать именно это.
✅ мы подробно реконструируем опыт и понимаем, как человек сделал именно такой выбор
❌наученный опытом, человек может в следующий раз выбирать по-другому: если я сейчас выбирал риелтора по рекомендации, то в следующий раз я буду смотреть отзывы на агентство. Но если мы изучаем историю выбора, обычно мы не спрашиваем ни про следующий раз, ни вообще про будущее.

2️⃣ Маркетинговые исследования: просим рассказать, какие критерии выбора были у человека, составляем список, и по каждому пункту подробно спрашиваем, почему это важно и что этот параметр в себя включает. Можно также подкинуть еще параметров из других интервью, и поспрашивать у человека, почему он это не назвал. А в конце попросить проранжировать и поспрашивать, почему он расположил параметры именно в этом порядке.
✅ каждый критерий выбора будет описан максимально подробно
❌ влияние ситуации скорее, всего, останется за кадром - опыт будет зашумлен точечными вопросами исследователя, и будет много рационализаций – «я такой человек, который смотрит соотношение цена-качество». И совершенно не факт, что так тщательно проговоренные критерии выбора будут влиять на выбор «в боевых условиях»: я хочу дом с окнами в пол, но там, где я живу, у меня скорее будут решетки на окнах.

3️⃣ (авто)этнография: ловим человека, который еще выбор не сделал, и просим его вести дневник в процессе.
✅ видим реальное поведение, контекст и все метания по поводу того, как совместить критерии выбора с реальной ситуацией
❌ сложно, долго, дорого, необходимо дополнять глубинными интервью, иначе многое в дневниках может быть истолковано неверно, наученный опытом человек в следующий раз выбирает по-другому.

Все, что сказано выше, касается продукта.
Но можно спуститься и на уровень конкретной точки контакта: как человек делает выбор на сайте или в приложении.

4️⃣ UX исследование: сажаем человека за прототип и просим выбрать там, комментируя вслух свои действия и мысли (Think aloud).
✅ видим практически реальное поведение («практически» - потому что «шкуры на кону» у человека здесь и сейчас, скорее всего, нет)
❌ если у нас в интерфейсе чего-то не хватает, то человек может об этом сразу и не сказать, это требует рефлексии.
Сами критерии выбора нужно обсуждать отдельно: UX-тест отразит их только частично.

Довольно сложно выбрать из этих методов что-то одно. Потому что сам исследователь находится под давлением ситуации – у него есть ограничения в виде денег, времени и компетентности.

О том, как выбирать и комбинировать методы исследования, мы рассказываем на большом курсе по качественным исследованиям, который стартует 9 января.

Осталось 1️⃣ место.

Читать полностью…

ПОЧЕМУ НЕ СПРАШИВАЙ ПОЧЕМУ?
11 декабря (среда) в 19 по МСК

Обсудим:

1️⃣ как говорить с людьми, чтобы они сами все рассказывали. Покажем на видео техники фокусировки: «5 почему?» в разных версиях и нарративное интервью. Поговорим о том, как задавать уточняющие вопросы.

2️⃣ модель ошибок в интервью, которую мы разработали на основе анализа протоколов обратной связи

3️⃣ модуль «CX Интервью» из нашего большого курса по исследованиям: как говорить с людьми, чтобы они рассказывали о реальных мотивах своего выбора

Записаться можно через @postpost_webinar_bot – бот примет заявку и напомнит о вебинаре.

Читать полностью…

Хазарский словарь: как НА САМОМ ДЕЛЕ называются проблемное и решенческое интервью

Коллега задала вопрос: «Мне сейчас нужно подробнее изучить решенческие интервью ... Можете подсказать полезные источники на ваш взгляд именно на эту тему или не совсем ваш профиль?»

(можно же загуглить, скажете вы)

Дело в том, что если искать по словам «решенческое интервью», находится ворох инструкций, которые написаны неизвестно кем и работают неизвестно как. Информации как бы много, но она какая-то неоднозначная.

Поэтому я хочу раскрыть тайну, о которой мы рассказываем на нашем курсе по CX Интервью.

Ни проблемных, ни решенческих интервью не существует.

То, как подойти к исследованию с помощью «проблемных интервью» лучше всего гуглится по словам Usage & attitude research, а «решенческих» - по словам Сoncept test. Это - обычные инструменты маркетинговых исследований. О Сoncept test'e даже есть статья в англоязычной википедии, скучная и некликбейтная - зато профессиональная и полезная.

Откуда в таком случае взялась терминология «проблемных» и «решенческих» интервью?

До 2013 года упоминаний об этих типах интервью в интернете нет вообще.

Впервые термины «проблемное интервью» и «решенческое интервью» были введены инфобизнесменом Эш Маурья (Ash Maurya) как элементы модели Lean Canvas в книге Running Lean, опубликованной в 2010 году – до книг Риса, Бланка и Фитцпатрика. На русском языке книга не издавалась.

Эш Маурья просто переназвал давно известные в маркетинговых исследованиях U&A Research и Concept Test. Создав центр инфопузыря со своей терминологией, гуглинг по которой всегда приводит к автору и его последователям.

В 2016 году эти «виды интервью» были растиражированы ФРИИ (без ссылки на источник). После этого в русскоязычном интернете статьи с этими терминами распространились со скоростью лесного пожара.

«Евангелисты» написали сотни апокрифических евангелий, и непонятно, какие из них «настоящие». Какие написаны из позиции «я пиарюсь на хайповой теме», а какие - из позиции «я документирую профессиональное знание».

Это сыграло злую шутку с российскими продуктовыми исследователями. Отсутствие общей терминологии с маркетинговыми и академическими исследователями заперло продуктовых исследователей в том самом инфопузыре со стартаперами. По словам «проблемное» и «решенческое интервью» не гуглится ничего, кроме пересказов.

Так бывает часто. Например:
• «Персоны», которые на самом деле - сегменты
• «5 почему?», которые не пять и не почему, а зондирование
• «Сustdev», который на самом деле - User research

При этом сам Эш Маурья про свой инструмент честно пишет:

Lean Canvas was designed for entrepreneurs, not consultants, customers, advisors, or investors.

То есть, эта штука - для предпринимателей, не для исследователей. Как и книга "Спроси маму" Фитцпатрика.

💽 @PostPostResearch

Читать полностью…

🪦 Давайте уже закопаем «5 почему?»

Есть несколько красных флагов, показывающих, что человек недостаточно компетентен в исследованиях:

🚩 Использование слова «кастдев» для обозначения исследовательского интервью (все же читали книгу Фицпатрика?)
🚩 Идея о том, что задавать вопросы о «будущем» нельзя (потому что вам соврут)
🚩 «Теория поколений», которая используется для интерпретации

Лет пять назад в этих красных флагах была еще техника «5 почему?», которую евангелисты рекомендовали применять прямо на интервью.
Мы думали, что ей все уже наелись – потому что всякий, кто хоть раз пробовал ее применять, сталкивался с тем, что эта техника эффективно рушит контакт, а оба участника интервью чувствуют себя некомфортно.

Но нет. В очередной раз видим, что ее рекомендуют применять в интервью.

Правда в том, что техника «5 почему?» никогда не предназначалась для того, чтобы эти вопросы задавать респонденту. Метод этот применяется для АНАЛИЗА проблем.

А если открыть учебник Ричарда Крюгера про фокус-группы, он там черным по белому пишет - не надо задавать вопрос «почему?»:

Не спрашивайте “почему”
В вопросе “почему” есть некоторая категоричность и резкость, напоми¬нающих допрос. Респондент подсознательно чувствует враждебность и старается защититься. Такой вопрос подразумевает рациональный ответ. К сожалению, эти вопросы проблематичны, так как в реальной жизни люди принимают решения под влиянием импульса, привычки, традиции или какого-либо другого нерационального фактора. Когда же их спрашивают “почему”, то им кажется, что нужно найти рациональный ответ, который соответствует ситуации. Участники дают “умные” ответы, руководствуясь логикой и избегая истинных мотивов, которые обусловили то или иное поведение.

То есть мало того, что кринжово, так еще и вы получите декларативный ответ. И так пять раз.
Мы задаем вопрос «почему?» - и мы думаем, что идея Крюгера его не задавать связана с культурной спецификой США по сравнению с Россией (в англоязычной культуре вопрос «Почему» воспринимается как намного более категоричный и резкий, чем в России, почти как «Любишь – докажи»). Но тем не менее пять раз его задавать – это избыточно.

❓Как же тогда понять мотивы потребителя / пользователя, не задавая пять раз «почему?»

Вернемся к вопросу о бизнес-целях. Зачем нам все это нужно? Для чего мы хотим задать все «5 почему»?
Если мы хотим понять, что двигало человеком, почему, черт возьми, он это купил, то есть способ лучше – нарративное интервью. Этот метод работает эффективнее, чем точечные вопросы.
Если же нам нужно в какой-то момент что-то уточнить, докопаться до того, как это было на самом деле, то мы используем фокусировку (она же зондирование/probing).
Когда если вам что-то не понятно, вы уточняете и просите рассказать об этом.

Например:
- Вы сказали, что выбрали кроссовки Adidas. Можете подробнее рассказать об этом?
- А что повлияло на ваш выбор?

⚠️ Важно: у фокусировки есть такое измерение, как «инвазивность».
То есть, чем настойчивее вы спрашиваете, тем больше шансов, что респондент будет чувствовать себя некомфортно и закроется. И чем меньше фокусировка похожа на естественный разговор, чем больше вы задаете прямых вопросов, тем выше инвазивность.

Очевидно, что у техники «5 почему?» инвазивность максимальна.
Не используйте ее в интервью.

💽 @PostPostResearch

Читать полностью…

Хотим рассказать вам о трех каналах, которые ведут исследователи.
Все – о разном, но отлично дополняют друг друга.

1️⃣ «Speaking about my research» от Юлии Кожуховой, психолога, экс-директора департамента исследований VK, а ныне – TBC UZ.

Нам очень интересна тема культуры UX-исследований в компании. Исследовательский отдел может играть совершенно разную роль для компании в целом - и лучше знать заранее, как это бывает, чтобы при выборе работы у исследователя случился match❤️
О культуре UX исследований – серия постов, начиная с этого, которая отлично дополняется фреймворком оценки влияния UX исследований на компанию.

2️⃣ «Аналитика на кубах» от психолога Филиппа Управителева, аналитика в геймдеве.

Чем аналитика может быть интересна исследователям? А тем, что аналитик и исследователь находятся в тех же отношениях, что терапевт и ветеринар из известной шутки про то, что спросить у больного «каждый может». Аналитику, как ветеринару, приходится догадываться, как выяснить реакцию людей на то или иное изменение косвенно, не спрашивая их. Мы очень любим аналитические задачки на этом канале. И, зная, какие фреймворки используют аналитики, исследователям легче будет найти с ними общий язык.

3️⃣ «Просто не грусти» - от социолога и психолога Павла Долгова, CX-исследователя в музыкальной индустрии.

В канале академические концепции в прикладных исследованиях переосмысляются простым и понятным языком. Особенно ценно, что Павел ссылается на источники, и при желании можно «провалиться глубже».
Например, серия постов про теории мотивации. И интересный лонгрид про цифровые и аналоговые интерфейсы.
А еще у него есть библиотека книг по UX, дизайну, социологии, антропологии и психологии.

Все эти каналы мы читаем давно и рекомендуем вам
💽 @PostPostResearch

Читать полностью…

Несколько лет назад, еще до вот этого всего, у нас был большой проект с одним онлайн-кинотеатром.
И в какой-то момент product owner с командой решили, что нам, как и всем, нужны сториз.

Ну а почему бы и нет? У Netflix эта фича уже есть, а ну как наши конкуренты тоже запустят? А так мы первые будем! Но надо еще и понять, как эти сториз встанут в пользовательский опыт. Будут люди ими пользоваться или нет?

Дизайнеры нарисовали два максимально подробных прототипа. В процессе пришлось освоить новый инструмент, так как в фигме на тот момент сделать сторизы было сложно.

А вот дальше встал вопрос: как это тестировать.
Не спросишь ведь – «хотите сториз в нашем онлайн-кинотеатре?». Будет как с вопросами про покупку)

И тогда мы сделали следующим образом: набрали наших и не наших пользователей, и на тесте им говорили: мы тестируем новый интерфейс, попробуйте зайти и с телефона и выбрать себе фильм для просмотра на вечер.
То есть, задание вообще отсылок к новой фиче не содержало.

Вначале мы просто смотрели – что они будут делать, когда увидят сториз. Залипнут, не залипнут, что скажут? И вот только потом, после того как мы на поведение посмотрели, мы их спрашивали про отношение к этой функции. А потом на уровне анализа сопоставляли их поведение с тем, что они говорили про эту функцию.

Результаты удивили всю команду настолько, что был нарисован еще один прототип. И проведена вторая серия тестов. И только потом было принято решение.

Тестирование фичи в итоге заняло полтора месяца. Очень может быть, что не одним нам она первоначально казалась хорошей - идея, как классно было бы сделать сториз в онлайн-кинотеатре, появлялась потом в продуктовых каналах несколько раз (великие умы шли одним путем) .

Если бы можно было посмотреть каталог фич, которые зашли, и которые не зашли.

Такой каталог появился только через несколько лет, и это был канал «Фичизм».

Я уже несколько раз видел там примеры фич, которые мы так или иначе тестировали, и обзоры которых могли бы повысить насмотренность всей команды и сэкономить время на разработку прототипов и генерацию гипотез.

Например, управление подписками в самом приложении банка. Или вот совсем интересное – возможность стереть песню в уже загруженном ролике Youtube – чтобы не попасть под бан. А вот - дозаказ в Яндекс Лавке – интересно, взлетит или нет, а то фича «пройти сто метров и заказать такси на 50 рублей дешевле» - доставила много геморроя таксистам.

Читать полностью…

💽 Открываем продажу билетов на осенний курс "Анализ качественных данных".

На курсе будем обсуждать:

● Как понять, почему люди ведут себя так, а не иначе?
● Какой фреймворк выбрать для анализа причин поведения людей? 
● Что это вообще могут быть за причины, и откуда о них узнать, если я – не психолог и не социолог?
● Когда использовать персоны, а когда – JTBD?
● Как разобраться в разных версиях JTBD?
● Как обобщать данные: таблицы или сторителлинг?
● Как подать полученные данные, чтобы это было понятно и убедительно?

🔥Мы очень любим вести именно этот курс. Анализ, почему люди ведут себя так, а не иначе - это самая интересная часть исследования. На эту часть курса обычно приходят люди, которым интересно докопаться до сути.

Отзывы на курс можно посмотреть здесь.

🌛Группа стартует 3 сентября.
Занятия проходят вечером: с 19.00 до 21.00 по вторникам и четвергам.

В курсе 11 занятий по 2 часа.

Стоимость: 50 000 ₽ / 570 €

Из России билеты можно оплатить прямо на нашем сайте. Если вы хотите оплатить через юрлицо - заявку можно оставить там же.

Теперь мы принимаем платежи через Продамус, а не через Таймпад. Цена билета - именно та, которая заявлена, без дополнительных комиссий (Таймпад брал с покупателя дополнительные 5%).

Не из России курс можно оплатить, написав мне в личку. Я сообщу реквизиты.

Осталось: 18 билетов из 20
🎫 Купить билет

Читать полностью…

Коллеги, мы обновили папку с профессиональными каналами по UX.
Теперь там есть всё - от дизайна и UX редактуры, регулярных разборов от Станислава Хрусталева - до еженедельных подборок ссылок на интересные статьи про рисеч от Михаила Хананашвили.

Можно добавить всю папку, а можно - выбрать отдельные каналы. Уверен, что каждый найдет для себя что-то полезное.

📣 UX/UI

Читать полностью…

За вчерашний день к каналу присоединилось 70 человек. Напишите в комментариях, откуда вы пришли, нам очень интересно)

Для новых подписчиков: самые интересные посты канала, чат для исследователей.

И наши планы:

💽 Тест оценки знаний по качественным методам исследований. Модель компетенций уже сделали, есть ее предварительное воплощение в виде вопросов, сейчас вместе с коллегами из lost.report работаем над UX самого теста.

💽 Модель ошибок в исследовательских интервью. Продолжение этой работы. В этот раз мы взяли для анализа реальные протоколы обратной связи по нашему курсу, их за 4 года набралось достаточно, чтобы получить количественные данные о распространенных ошибках.

💽 Лонгрид про дизайн выборки в качественных исследованиях (сколько респондентов будет достаточно?). Сначала мы хотели сделать памятку, но как и в любом сложном деле, готовых алгоритмов нет – а есть эвристики.

Читать полностью…

Когда исследователь дает длинную «подводку» к вопросу, игнорируя особенности респондента

#юмор

💽 @PostPostResearch

Читать полностью…

В четверг, 28 марта, начинается модуль «Влияние: как интегрировать исследования в бизнес-процесс». Это последний модуль нашего обучающего курса по исследованиям.

Осталось четыре 3️⃣ места.

🎫 Купить билет на Timepad

«Анализ качественных данных» будем повторять в сентябре, и сделаем вечернюю группу.
Кто хотел, но не попал в этот поток – запишитесь в лист ожидания.

Читать полностью…

Ловушки анализа качественных данных: инсайты и иллюзии

15 апреля я (Константин Ефимов) расскажу про то, где и как ошибаются исследователи при анализе.

Стрим 15 апреля в 19:00 по МСК прямо в канале BiasConf. Все подробности — здесь.

Читать полностью…

Новый пост про синтетических респондентов уже завтра, а пока – анонс конкурса молодых исследователей от ESOMAR.
Есть возможность сделать наш мир немного лучше, проведя исследование для НКО.
Как и раньше, можно подать заявку, даже если у вас нет команды

ESOMAR Research Got Talent.

Читать полностью…

В последний раз про «персоны»

Коллеги обсуждают статью «Хватит создавать продукты для воображаемых пользователей: почему метод персон не работает».
Спойлер: вообще-то работает, если вы умеете его готовить.

В жизни каждого эксперта рано или поздно наступает момент, когда он перестает обсуждать определенные темы, потому что проще дать ссылки на свои статьи.

Так было с «вопросами про будущее» (да, их можно задавать)

А что с персонами?

1️⃣ «Персоны» - это фреймворк. Это значит, что мы с его помощью осмысляем результаты исследования через определенную оптику. Нет, как и все готовые фреймворки – это не панацея, и возможен абьюз фреймворка. И можно допустить много ошибок, работая над персонами, вот список.

2️⃣ Персоны ВСЕГДА базируются на исследовании. Если они не базируются на исследовании, то тут и обсуждать нечего.

3️⃣ Смысл использования персон – в создании типологии пользователей, она же сегментация. Типология вам нужна для:

🅰️ работы над продуктом или коммуникацией. Вы не можете делать продукт или коммуникацию для всех, вам нужно выделять из всего многообразия людей именно вашу целевую аудиторию. А разделение ЦА на типы нужно, поскольку у разных людей – разные потребности, представления и практики использования продукта.

🅱️ синхронизации команды: если вы говорите на одном языке, то проще работать над продуктом или коммуникацией.

4️⃣ Сегментации пользователей бывают разными. И сегменты, и персоны – это варианты сегментаций. Нет, их не нужно противопоставлять, как делает Купер, говоря о том, что персоны определяются качественно, а сегменты - количественно. Хорошая сегментация отвечает на вопросы «кто все эти люди?», «чего они хотят?», и «сколько их?».

5️⃣ В хорошей сегментации сегменты выделяются по одним и тем же основаниям, например: потребности, восприятие продукта, способы использования продукта. Плохая сегментация напоминает классификацию животных Борхеса.

6️⃣ Количество сегментов/персон, 3 или 15 - это не критерий того, что ваша типология хороша.

7️⃣ Нужно ли работать строго по Job Story (JTBD) или по User Story(персоны)? Нет, подходы с типологиями пользователей (сегменты, персоны) и их потребностями (JTBD) дополняют друг друга, а не противоречат.

8️⃣ Нужен ли персоне возраст? Скорее да, чем нет.

Лонгриды про персоны, сегментацию и JTBD:

🧾Что определяет потребительское поведение на самом деле
Ситуация, в которой оказывается человек, сильнее влияет на его желания и потребности, чем пол-возраст-доход или психографические характеристики: «стремление к власти», «контролю» или любые другие

🧾Персоны, JTBD и сегментация здорового человека
Связь сегментации, персон и JTBD: типология пользователей, которая будет обоснована и полезна

💽 @PostPostResearch

Читать полностью…

Плохой персоне возраст мешает?

Коллеги репостят ссылку на статью «uxGPT: Creating personas with prompts for better questions using ChatGPT and uxGPT Personas» от очередного евангелиста LLM.

Понятно, что использовать ChatGPT для создания персон не нужно: персоны должны создаваться на основе исследования.

Но в этой статье есть частый миф о возрасте персоны:

A good persona skips demographic details and focuses on background and attitudinal information because demographics often fail to reveal true user needs (age, really?). Instead, understanding a user’s background provides context, shedding light on their experiences and challenges.

Евангелисты говорят: возраст нам не нужен – плохая персона содержит в себе демографические характеристики. Давайте заменим их контекстом!
Также евангелисты: теория поколений – годный фреймворк для объяснения различий между сегментами целевой аудитории (нет).

Так что делаем с возрастом?

Объявляем его конструктом? Вон, в Японии 39-летний мужчина идентифицирует себя 28-летним, называясь «трансвозрастным» (и это не шутка).

Или возраст все-таки важная характеристика для понимания нашей целевой аудитории?

Спойлер: возраст – это не конструкт.

Человек проходит определенные этапы жизни (учится, начинает работать, заводит детей, выходит на пенсию). И к определенному возрасту у людей обычно есть определенный статус (закончили школу, ВУЗ) и доход: например, у молодых людей без опыта работы зарплата ниже, чем у специалиста с опытом 5+ лет, а у тех, у кого есть дети и ипотека, выше расходы. Кроме того, жизненный опыт формирует определенные паттерны поведения (примеры - ниже).

✅Правда, что в персоны, созданные не на базе исследований, пихают различные характеристики (включая возраст) без особого смысла

❌Неправда, что поведенческие паттерны людей не зависят от возраста

Например, чем старше человек – тем чаще он при покупке продуктов смотрит на срок годности и более внимательно подходит к выбору (угадайте, почему?)

Но евангелисты могут возразить: это же маркетинг, а у нас-то – продукт!

Нет, и в продукте тоже возраст – это не конструкт. Например, приложения для родителей наиболее популярны в возрастной группе 25-34 . Потому что в этом возрасте нормативно заводить детей.

А вот частота использования смартфонов с возрастом связана не так сильно, как можно предположить. Люди в возрасте 45-54 лет тратят около 1 часа 15 минут в день на использование мобильных приложений. Это всего на 27 минут меньше, чем люди в возрасте 25-34 лет.

На все это можно возразить примерно так:
«вы говорите, что с возрастом зрение ухудшается, так просто пропишите в персоне, что у человека зрение плохое, вот и все».

То, что с возрастом ухудшается зрение – это часть проблемы. Есть мета-исследования, которые показывают, что ухудшение зрения коррелирует и с нарушением когнитивных функций.

То есть возраст в руках опытного исследователя становится своего рода прокси-метрикой, которая влияет на:

• Доход
• Уровень образования (нет, конечно, «возрастные» абитуриенты есть, но их мало)
• Наличие детей и интенсивность взаимодействия с ними
• Наличие свободного времени
• Паттерны использования приложений
• Легкость освоения нового
• Физические ограничения
• Наличие хронических заболеваний

Лучше, конечно, ориентироваться на этапы жизни, что даст вам большую предсказательную ценность, поскольку такой подход лучше учитывает индивидуальные особенности.

Но маркетологи всегда вас спросят про возраст ваших сегментов/персон. Потому что это один из ключевых параметров таргетинга. «Контекст» и психографику в таргетинг не зашьешь.
💽 @PostPostResearch

Читать полностью…

📹 Выложили видео вебинара «Как задавать уточняющие вопросы в глубинном интервью: зондирование/probing, лэддеринг, пять почему? и нарративное интервью», который мы (Константин Ефимов и Анастасия Жичкина) провели 11 декабря 2024 года.

⏳Таймкоды - по ссылке 👇
📹 https://youtu.be/A5TXONlxRS4

📺 копия на ВК

Читать полностью…

🔥9 января 2025 года стартует восьмой поток нашего большого курса «Качественные исследования: от планирования до отчета».

Можно пройти его целиком - а можно выбрать любой из четырех модулей:
1. Планирование исследования: как определить целевую аудиторию и метод
2. Проведение CX интервью: как взаимодействовать с респондентами + практика ведения интервью
3. Анализ качественных данных: как понять вашу аудиторию и что с ней делать
4. Влияние: как интегрировать исследования в бизнес-процесс.

Как это будет:
🌞 Занятия проходят утром: с 10.00 до 12.00 🕙 Время московское.
🗓 2 раза в неделю по 2 часа в зуме (вторник и четверг), 9 января – 15 апреля 2025.
👥 20 человек в группе
📺 Записи занятий и презентации лекций доступны участникам неограниченное время.
💬 Есть телеграм-чат, где можно задать вопросы и обменяться материалами.

Что нового:
1️⃣ В блоке «Анализ» мы больше внимания уделяем потребностям - и добавили отдельное занятие о том, как потребности понимаются в психологии, маркетинге и в JTBD
2️⃣ В блоке «CX интервью» мы переработали модель ошибок, которые допускают исследователи. Мы проанализировали 105 протоколов обратной связи, которые у нас накопились, и рассказываем в курсе, чем вызваны ошибки. На видео с актерами мы показываем удачные и неудачные примеры интервью. Можно потренироваться вести интервью с живыми респондентами на практическом занятии.
3️⃣ Мы даем «хазарский словарь» - как переводится терминология продуктовых исследований на язык маркетинга и психологии.

На курсе мы делимся профессиональным опытом и знаниями, которые нельзя нагуглить.

Если вы уже проходили наши курсы, напишите нам, - мы дадим промокод на скидку.

🎫 Купить билет можно из любой страны

Читать полностью…

Субъективное шкалирование в глубинных интервью
(еще один кандидат на закапывание 🪦)

Когда переходишь из маркетинговых исследований в продуктовые, одна из вещей, которая удивляет – это любовь к оценкам в интервью.

«Оцените интенсивность ваших эмоций от 1 до 10, когда вы…»

В качественных маркетинговых исследованиях так не спрашивают. Потому что у маркетинговых исследователей обычно после качественника есть количественник – где у вас будут все цифры.

А у продуктового исследователя есть внутренний заказчик, у которого KPI и который:

1️⃣ хочет цифры,

2️⃣ не хочет платить даже за очень бюджетный количественник - стоимостью несколько десятков тысяч рублей,

3️⃣ и у которого нет квалификации, чтобы понять, что результаты качественного исследования в цифрах не дают не потому, что не хотят или забывают - а потому, что цифры в качественном исследовании не помогают и даже запутывают.

10, 50 и даже 100% от 6 или 10 человек на неслучайной выборке не говорят нам вообще ничего о распространенности явления - но эти оценки идут в CJM, ещё и разбитые по процентам по этим несчастным 10 людям. Средних баллов по шкале это тоже касается.

Поэтому количественные вопросы на качественнике с надеждой на цифры — это от безысходности. Когда нет денег на количественник и вообще ничего нет. Когда единственная полезная информация, которую несут полученные цифры — это информация о культуре исследований в этой компании.

(единственный случай, когда шкалы могут быть действительно полезны — это когда они нужны как зацепка для разговора с респондентом о его опыте. Когда на вопрос «Как вы себя при этом чувствовали?» человек отвечает «ну, нормально» - можно попросить оценить его свой опыт по 10-балльной шкале, а затем обсудить, почему именно такая оценка - и тогда человеку будет легче рассказать о своих переживаниях, действиях и мыслях).

Если вам очень сильно хочется оставить шкалы в интервью, то можно повысить точность субъективного шкалирования с помощью визуализации - но это не решит проблемы с тем, что на основе данных качественного исследования невозможно сделать количественные выводы. Просто потому, что данных слишком мало.

Поэтому шкалы лучше оставить для количественника.
💽 @PostPostResearch

Читать полностью…

Нарративное интервью как оптимальный способ добычи руды для построения CJM

❓На нашем курсе по анализу качественных данных задали вопрос:

Мне было бы интересно про построение emotional layer в CJM. Потому что на интервью как-то некомфортно каждые 3 минуты спрашивать “and how did it make you feel?”, часто это вообще ставит респондента в тупик, особенно если мы говорим про какие-то рабочие процессы и их выполняют потому, что надо, не особо задумываясь.

Действительно, это тот случай, когда из-за технологического подхода к получению информации беседа превращается в бомбардировку вопросами. Как и при использовании «5 почему?» - техники, которая разрушает контакт и заставляет обе стороны в интервью чувствовать себя неловко.

А как не бомбить вопросами, если нам нужна информация?
Есть способ дать человек просто рассказать о себе. Он называется "нарративное интервью". Мы просим человека рассказать о выборе или использовании как об истории. И когда человек рассказывает свою историю, то обычно не нужно спрашивать про эмоции отдельно: люди сами о них спонтанно говорят, и этой информации достаточно.

Если продакт настаивает, что ему нужны пруфы об эмоциях на каждом этапе: «пусть он прямо скажет, как он себя чувствовал», то есть еще один способ не бомбить. Сначала для себя очерчиваете границы этапов поиска, выбора и использования: где какой этап закончился, не переходя при этом на отдельные операции.

Сами вопросы о том, как человек себя чувствовал, можно задавать в конце каждого этапа разными словами:

• Как вы оцениваете свой опыт поиска вариантов? Почему именно так?
• Как вы чувствовали себя в процессе выбора?
• Поделитесь вашими ощущениями от процесса покупки?
• Что можете сказать об использовании? Как вы себя ощущали?
(лучше при этом не применять субъективное шкалирование с целью получения объективных данных, они не будут объективными - но можно его использовать как отправную точку для беседы: почему вы оцениваете ваше состояние именно так?)

Тут, конечно, уместен второй вопрос:
Какая именно техника анализа используется/практикуется для анализа нарративного интервью?

Серебряной пули тут, увы, нет. Техника та же, что и у всех – работа с транскриптами (кодировка/группировка).
Но специфика обработки данных нарративного интервью в том, что невозможно взять цитату с целой историей на полстраницы и вставить ее в листочек в Миро. Приходится конспектировать и обобщать некоторые вещи, прежде чем они пойдут на доску.

💽 @PostPostResearch

Читать полностью…

Когда в интервью уместно применять интерактивные доски?
(уходу Miro из России посвящается)

❓Можно ли фиксировать за респондентом его ответы на вопросы в реальном времени и дать ему возможность видеть их?

❌ Лучше не надо, скажет вам эмпатичный исследователь. Потому что человека это будет смущать.

✅ А когда это не просто можно, а нужно?

Когда вам важна именно схема, а не кусочки опыта. И когда вы точно знаете, что эта схема существует

Это может быть:

1️⃣ схема финансовых потоков: получаю деньги на карту банка X, перевожу на карту банка Y, часть трачу, а часть инвестирую;

2️⃣ экспертное знание: карта рынка, конкурентное окружение, сегменты целевой аудитории;

3️⃣ и в целом - структура любых представлений или действий, там, где такая структура есть.

Схема, которую вы строите вместе с респондентом, помогает воссоздать эту структуру из хаотичной разрозненной информации – и при необходимости эту информацию сразу и дополнить, если она неполная.

Интерактивная доска может пригодиться, если речь идет о экспертизе самого пользователя об устройстве его жизни. Например, Дмитрий Соловьев использует 📹такую технику для фиксации финансовых потоков в финансовой вселенной респондента.

Можно ли что-то делать со смущением пользователя, который, видя свои действия нарисованными на доске, чувствует, что попал в ситуацию оценки: «меня посчитали»?
Можно, если вы поделитесь своим релевантным опытом, прежде чем начнете задавать вопросы «а как это у вас?». Рассказ о себе снимет напряжение и страх оценки.

✅ Чем может быть полезна запись того, что говорит респондент, на интерактивной доске?

1️⃣ Более точная фиксация. Экспертное знание не всегда высечено в граните. Часто оно рождается здесь и сейчас, через фасилитацию со стороны исследователя. Обычное глубинное интервью не структурирует информацию, эксперт может уходить от темы, о чем-то умалчивать или рассказывать хаотично. Но, когда схема его ответов у него перед глазами, эксперт может сказать disregard that уточнить сказанное, с учетом обсуждения. Схема помогает обнаружить лакуны в понимании не на стадии анализа, а во время самой беседы – и сразу выяснить нужную информацию.

2️⃣ Фасилитация и фокусировка: схема перед глазами позволяет думать интенсивнее: ваш собеседник видит, что вы вовлечены в процесс, и это мотивирует его. Но и сама схема перед глазами активизирует его мыслительную работу. Кроме того, схема возвращает человека в русло обсуждения и удерживает его внимание в фокусе - он меньше отклоняется от темы.

3️⃣ Удобство последующего анализа: у вас будут готовые заметки.

4️⃣ Ускорение всего процесса исследования: в нашем последнем проекте аналитик видела эти схемы сразу, и это позволило начать деск быстрее, не дожидаясь ответов всех экспертов.

❓Можно ли применять интерактивные доски для всего? Удобно же - сразу получить заметки.

Можно. Но там, где нет структуры, а есть очень разные спонтанно принимаемые решения, когда в основе никакой схемы или рутины нет - это не будет полезно.

Мы благодарны 🌐Евгению Романовскому за обсуждение и возможность рефлексии по данной технике. Недавно применяли этот формат в экспертных интервью для картирования финансового рынка и связки продуктов с потребностями.

Будем рады обсудить примеры использования таких досок во время экспертных интервью в комментариях.

💽 @PostPostResearch

Читать полностью…

ЧТО ДЕЛАТЬ, ЕСЛИ РЕЗУЛЬТАТЫ UX-ТЕСТОВ ПРОТИВОРЕЧАТ ДРУГ ДРУГУ?

Например, в ходе тестов 4 респондента не могут использовать фильтр, а 4 других считают фильтр очень удобным. Наши действия?

Ведущий юзабилити-специалист в UsabilityLab Ирина Денисова предлагает два варианта:

1️⃣ Первый вариант: отразить проблему в списке юзабилити-проблем, а в хороших решениях отметить ту же функцию как удачную. «Все очень круто, нужно переделать». Ирина пишет, что это неудачный вариант, и это так и есть.

2️⃣ Второй вариант мы процитируем дословно:

Вариант 2. (как лучше):
• в описании юзабилити-проблемы указать, что несмотря на сложности одних респондентов, другие посчитали решение удачным. Но т.к. проблема выявлена, ее нужно устранить,
• если функция важная или ее изменения очень затратны / не выгодны для бизнеса, предложить провести количественник, чтобы сделать более достоверные выводы по фиче,
• если удачным решение отметило малое количество респондентов или преимущества его незначительны, вообще не отмечать фичу как удачную в отчете, а обратить внимание на проблему.

ВАЖНО: Если функция объемная и проблемы встретились только в одной ее части (например, непонятны формулировки параметров в фильтре), а само наличие функции или другая ее часть (например, вид списков в фильтре) действительно хорошо реализованы, то стоит отразить это и в проблемах, и в удачных решениях, заострив внимание именно на каждой ОТДЕЛЬНОЙ части функции.

Мы тестировали фильтры, и это реально боль. Очень многие люди не опознают разные иконки с фильтрами – говорят, что это «какая-то воронка, и непонятно, зачем она тут». А когда опознают, то используют и правда с трудом. Поэтому в некоторых гайдлайнах общая рекомендация для фильтров при проектировании - сбрасывать фильтры после выхода пользователя, иначе поддержку просто разорвут.

Но обычно для команды, которая работает над проектированием интерфейса, важно не что вы им напишите в отчёте. Команде важно понимать, почему их интерфейсные решения хороши или плохи.

ЧТО не так с фильтрами для одних респондентов? ПОЧЕМУ для других респондентов фильтры проблемы не представляют?

И дело не в том, как вы уложите противоречия в отчёт. Ответ на вопрос «почему пользователи так по-разному используют фильтры?» нужен, чтобы понимать, КАК менять интерфейс.

На вопросы «Что не так?» и «Почему..?» количественник ответа не даст. Но мы можем это выяснить, поговорив с людьми.

Поэтому до количественника и до написания отчёта было бы лучше выполнить вариант 3️⃣:

На время отойти от утвержденного сценария теста и уделить внимание анализу причин: почему эти люди проходят сценарий по-разному?

Например, сразу после выполнения сценария спросить – о, как интересно, у вас получается использовать фильтр. Расскажите, как вы этому научились? (и уточнять до тех пор, пока опыт респондента не станет нам понятен)

И тогда, скорее всего, выяснится, что у этой части людей с подобными фильтрами есть опыт в других приложениях.

И тогда вы сможете посмотреть, как это реализовано там, где эти люди научились использовать фильтры, и перенять эти практики.

Как только мы узнали, почему люди проходят тесты по-разному – собираем команду и обсуждаем, что делать дальше.

- Может, нам нужно поменять критерии рекрута, если к нам приходит слишком много опытных, а нам нужны новички.
- Может, нам лучше, наоборот, расширить рекрут на две группы - опытных и новичков и сравнить их между собой.
- Может, нам нужно переделать прототип, и не сжигать тесты зря
- Может, нам нужно сделать обучающее видео для нашего продукта или изменить онбординг.

Но в любом случае важно действовать быстро.
💽 @PostPostResearch

Читать полностью…

Как тестировать тексты?

Коллега задал вопрос:
«Мне тут предстоит фокус-группы вести, офлайн. Планируем обсуждать концепцию с клиентами. В принципе я с таким работал и примерно представляю, как это делается, но освежить и систематизировать информацию не помешало бы. Есть навскидку какие-то статьи или книги, в которые есть смысл заглянуть?»

Это тот самый случай, когда вам нужно узнать, как люди воспринимают текст: как они его понимают, что им понравилось или не понравилось, и что они по его поводу думают. И здесь фокус-группа отлично дополняется маркерным тестом.

На офлайн фокус-группе раздаете людям текстовые маркеры – красный и зеленый, распечатки с концепцией, и даете инструкцию:

«У вас у всех два фломастера – красный и зеленый. Красным подчеркиваете то, что не понятно или не понравилось – зеленым – то, что понравилось. Затем – поставьте оценку по пятибалльной шкале».

Оценки эти потом считать не нужно. Они нужны для того, чтобы человек в процессе не передумал – потому что, если до него 5 человек из 6 сказали, что концепция плохая, а он поставил 5 – то он может и передумать. Но если он раньше поставил другую оценку - ему придется об этом сказать и как-то это объяснить.

Обычно концепция оценивается по следующим параметрам:
1️⃣ Первое впечатление / спонтанные реакции
2️⃣ Понятность
3️⃣ Достоинства и недостатки
4️⃣ Уникальность
5️⃣ Ценовые ожидания
6️⃣ Мотивационный потенциал

Неочевидные вещи про тесты концепций:

1️⃣ Концепцию мало раздать, вам, как ведущему, ее надо прочитать вслух. Казалось бы, зачем? Затем, что:

🅰️ Это останется на записи и облегчит анализ

🅱️ Люди ленятся читать, а если вы прочитаете вслух, есть шанс, что они это хотя бы услышат.

2️⃣ Нужно менять порядок предъявления концепций на разных интервью или группах, чтобы избежать эффектов последовательности: например, когда все внимательно разбирают ту концепцию, которая оценивается первой, и менее дотошно относятся к двум другим.

3️⃣ Если концепций несколько, не давайте сравнивать одну с другой до того, как их посмотрели все. Сравнение концепций до того, как они все просмотрены, «фреймит» людей на определенную оценку концепций. Без сравнения, скорее всего, эта оценка будет другой. Ранжирование концепций делается после сравнения (и тоже сначала каждый участник сам выбирает своих лидеров, фиксирует оценку, а затем - озвучивает ее).

Что еще посмотреть по теме:
📹 Взаимодействие исследователя и UX-писателя. Митап с Ирой Моториной
📚Памятка: Как выбрать метод исследования для оценки текста

Читать полностью…

Сколько респондентов достаточно для качественного исследования?

Никто не знает.

По поводу того, как отвечать на этот вроде бы простой вопрос, до сих пор нет единого мнения.

Его нет даже в рамках обоснованной теории - среди людей, которые сформировали современные качественные исследования.

И даже, наоборот, среди этих людей есть идея, что количество респондентов точно определить нельзя. «Не существует эффективных методик для определения размера выборки, необходимой для достижения информационного насыщения», говорит антрополог Janice Moorse.

Но нам в этих условиях надо как-то работать. Как-то понимать заранее, сколько человек мы будем опрашивать.

В этой статье мы:

✅ показываем на конкретном примере из банковской сферы, как работаем мы.

✅ обсуждаем, почему единого способа правильно определить количество респондентов действительно нет.

✅ рассказываем, как мы все же можем подсчитать, сколько нужно людей - в зависимости от того, что мы исследуем, кто исследует и в каких условиях.

📚Интервью: сколько респондентов достаточно?

Читать полностью…

📚 Книги по коммуникативной компетентности для исследователя

Виталий Болотаев написал пост про топ книг для продуктового исследователя.
Мы решили продолжить эстафету, но поскольку книг много – начнем с коммуникативной компетентности.

Где-то с уровня middle, рост специалиста по качественным исследованиям идет не сколько за счет изучения техник интервью, а за счет изучения смежных сфер – где люди общаются с людьми, но с другими целями и на другие темы. Это могут быть переговорщики, конфликтологи, психотерапевты, и даже сыщики. И все эти люди, так или иначе осмысляют свои навыки общения.

И есть точка зрения, что ключевой коммуникативный навык – это эмпатия. Но это – лишь половина правды. Потому что эмпатия должна дополняться ассертивностью.

Ассертивность — это умение выражать свои мысли, чувства и потребности ясно, открыто и уважительно, не нарушая права и чувства других людей. Это способность устанавливать границы, защищать себя и свои интересы без агрессии или пассивности. В ассертивном поведении сочетаются уверенность, эмпатия и уважение к себе и окружающим.

Для исследователя, да и для любого человека – в жизни и в работе, от ассертивности – одни плюсы.

Поэтому первая книга, которую мы рекомендуем – это классика ассертивного подхода

1️⃣ Мануэль Смит «When I said “No”, I feel guilty»
(в русском переводе – «тренинг уверенности в себе»)
Тут и приемы для отстаивания своей точки зрения, и противодействие манипуляциям, и «права личности». Важно: не все из этих техник подойдут для отстаивания границ с друзьями и близкими: некоторые из этих техник довольно инвазивны, и могут разрушить отношения, choose wisely. Книга короткая, можно прочесть за один вечер. Из минусов – сейчас невозможно найти издание на бумаге, только скачать у пиратов.

2️⃣ «Как сказать. Главная книга по развитию коммуникативных навыков». Мэтью Маккей, Марта Дэвис и Патрик Фаннинг
Эта книга, что называется – «база». И она отлично дополняет первую. Потому что в ней разобраны все нужные понятия – начиная от (активного) слушания, через язык телодвижений и формы манипуляций – к ассертивности. Минусы: упражнения в этой книге лучше пропустить, они довольно культурно-специфичны, и могут вызвать отторжение.

3️⃣ Крис Восс «Никаких компромиссов. Беспроигрышные переговоры с экстремально высокими ставками»
Эта книга имеет особенную оптику. Автор – переговорщик в ФБР, который говорил с террористами и преступниками, удерживающими заложников. Кроме самих приемов и техник – очень интересно почитать историю их создания: в ФБР озаботились поиском новых способов после серии трагичных событий, где переговоры ни к чему не привели.

Эти книги мы рекомендуем в нашем курсе как в модуле «интервью», так и в модуле «влияние исследователя» - поскольку общаться приходится не только с респондентами, но и с коллегами, и с заказчиками.

Будем рады обсудить ваши любимые #книги по коммуникативной компетентности в комментариях
💽 @PostPostResearch

Читать полностью…

Короткий или подробный гайд?
Михаил Боде задал у себя в запрещенной соцсети вопрос:
Френды, занимающиеся исследованиями и причастные к ним, а как вы для себя определяете, насколько детализированным должен быть гайдлайн глубинного интервью? От каких факторов это зависит — именно для вас?

Делимся нашим ответом в канале

✅ Когда мы используем короткий гайд:

1️⃣ Сама тема не предполагает большого количества «ветвлений» и дополнительных вопросов. Например, нам нужно выяснить, как у рисеч-лидов принято строить работу с аналитикой: пишут они в отчетах выводы и рекомендации, или нет. И от чего это зависит. Тогда гайд содержит всего 5-6 вопросов, без подробных уточнений. Тут можно просто просить рассказать больше или обращаться к опыту других информантов – «а до вас нам говорили такое, что думаете?».

2️⃣ Когда мы вообще ничего не знаем: можно в начале провести 2-3 нарративных интервью по определенным темам. А потом уже составить развернутый гайд со всеми «ветками» и дополнительными вопросами на основе тех историй, что мы узнали. Важно: подход «любопытство и невежество» НЕ работает в экспертных интервью и в B2B.

3️⃣ Когда нам нужно погрузиться в бизнес заказчика и понять язык, на котором они говорят со своими клиентами. Такие интервью обычно небольшие, на 30-40 минут, и вопросов там не так много.

✅ Когда мы используем подробный гайд:

1️⃣ Интервью на проекте проводят несколько исследователей. Подробный гайд решает две задачи:
🅰️ Синхронизация команды исследователей: все видят, какие «ветки» в разговоре могут появится, и если такая тема всплывает – то можно спросить еще и вот про это и про то. В идеале все участвующие смотрят первые 2-3 интервью, чтобы видеть, как и куда идет беседа.
🅱️ Контроль качества интервью: вопросы помечаются как обязательные и опциональные, а также указан примерный тайминг: всем понятно, чему нужно уделить основное время, а что мы спросим, если будет возможность.


2️⃣ Много задач в рамках проекта: можно забыть задать все вопросы, особенно если вы говорите дольше двух часов. Или, когда нам нужна очень детальная картина (но тут лучше дополнить интервью дневниками).

3️⃣ Когда есть заказчик или команда: подробный гайд, включающий в себя возможные ветки, конкретные вопросы, а также гипотезы/задачи исследования - вселяет в заказчика уверенность, что мы точно обо всем поговорим.

Обычно мы пишем подробный гайд, поскольку ситуации, когда нужен короткий – встречаются реже.
И мы работаем не вопросами – мы стараемся представить, какими путями пойдет беседа, чтобы мы получили ответы на вопросы. На основе этих путей строится структура гайда. Начинаем мы с общих тем (в которых мы ожидаем получить ответы на исследовательские вопросы), а дальше переводим их в общие вопросы, уточняющие вопросы и опциональные вопросы.

Есть точка зрения, что детальный гайд фреймит исследователя. С нашей точки зрения, это вопрос квалификации исследователя. Ну и при изучении пользовательского опыта мы всегда рекомендуем использовать нарративное интервью (в котором зафреймить респондента нельзя в принципе), а не работать цепочками вопросов.

❌ Чего мы НЕ делаем:

1️⃣ Не просим исследователей на проекте задавать вопросы дословно. Они должны быть уместно переформулированы, с учетом контекста беседы, а не зачитываться с листа. В идеале, это выглядит не как «вопрос-ответ», а как интересная спонтанная беседа двух собеседников.

2️⃣ Не идем сразу в «ветки». Пусть респондент сам обозначит свой опыт, и если он связан с дополнительными вопросами, мы их зададим. Если у нас нет готовых вопросов под эту «ветку» - то все равно идем туда за респондентом, если она возникла. Можно использовать элементы нарративного интервью.

3️⃣ «Альтернативами» типа «вы пьете чай или кофе?» - мы не работаем. И никому не советуем.

4️⃣ Не просим исследователей на проекте придерживаться порядка вопросов строго, но если порядок вопросов может повлиять на ответы – то «перескакивать» респондентам тоже не даем.

5️⃣ Не используем «готовые вопросы». Вопросы должны быть уместны, как шутка или комплимент.


Будем рады обсудить в комментариях
💽 @PostPostResearch

Читать полностью…

❤️👁 B2B интервью: драматургия эмпатии

Принято считать, что эмпатию надо проявлять на интервью. Подстраиваться под респондента, активно его слушать и помогать раскрыться.

(«это база»)

А что, если у вас B2B/экспертное интервью, которое вы ведете на большей эмоциональной дистанции, чем в случае B2C? Где тут место эмпатии?

Часто исследователям важно выяснить, какие у респондента возникают проблемы. Но вообще разговор о проблемах — это триггер.

И тут очень помогает посмотреть на это глазами вашего респондента.
Вы – ЛПР, но руководите не «центром доходов». Напротив, от вас одни расходы.
И в сложные времена ваш бюджет режут первым. И вы часто думаете – «вот если бы я смог убедить выделить деньги на [подставьте название сервиса], мой департамент показал бы лучшие результаты. И бюджет на следующий год был бы выше».

А тут к вам еще кто-то приходит и просит рассказать о проблемах. Да еще и спрашивает, как принимаются решения о выделении бюджета - те самые решения, на которые вы должны были, но не смогли повлиять.

Оба этих вопроса вызывают стыд.
Ну, мог бы и лучше справиться, правда же? Если б убедил руководителя? А на что я вообще могу влиять в компании?
Поэтому в лучшем случае вы получите уклончивые ответы. В худшем – человек просто свернет интервью.

Как мы можем об этом позаботиться?

Мы можем применить эмпатию ДО интервью, на уровне вопросов гайда. Попробовать вжиться в роль вашего респондента, и посмотрите, будут ли вопросы вызывать раздражение апелляцией к негативному опыту, прямотой, и т.д.

И тогда триггерящие прямые вопросы можно заменить на косвенные. А вопросы, предполагающие оценку, такие, как «У вас в департаменте есть стратегия?» можно вообще не задавать. Есть ли у вас план? - Конечно, есть! Собеседник даст на этот вопрос социально-желательный ответ.

Вместо этого можно попросить привести примеры - вместо «Есть ли у вас стратегия?» - «Какие изменения в компании происходили за последний год?» и «Как в компании пришли к необходимости этих изменений?»  И про бюджетирование тоже лучше говорить не вообще (тут человек вспомнит о своем положении в иерархии) – а как это было в последний раз.

А если вы говорите с ИП или собственником бизнеса?  У них ведь нет таких проблем, как в найме – сам себе хозяин, и стыдно за то, что не получилось реализовать свое решение, не бывает.

Но и им тоже бывает непросто говорить о проблемах. Ведь это ставит под сомнение их успешность. Не очень легко рассказывать о том, как ты не справился, и как выбирался из этого. Особенно, если этих проблем можно было избежать на раннем этапе.

И здесь можно после установления контакта попросить собеседника вернуться в прошлое – и спросить:
«У вас большой опыт. Если бы вы могли вернуться назад, и дать самому себе советы, как вести этот бизнес – что бы посоветовали?»
Ваш респондент пошутит про биткойны, а вы вернете его к бизнесу. И разговор пойдет менее формально.

И вы можете задать вопрос из позиции «мне нужен ваш совет» - если выступать из роли «я тоже хочу такой бизнес, как у вас» будет с вашей сторону уместно:
- А если бы я хотел открыть ресторанный бизнес, с чего мне стоило бы начать?
- А с какими проблемами я точно столкнусь?
- А как их вообще решают в отрасли?
- А что решить сложнее всего?
- А у вас это как решается?

Сеттинг сменится с «я рассказываю о своих проблемах» на «я даю советы новичку на своем опыте».

Исследователь - всегда немного драматург. Он пишет сценарий и представляет, как будет развиваться интервью. Где его собеседник пойдет к нему навстречу? Где, наоборот, он может замкнуться?

Именно поэтому мы называем гайд «сценарием», а не списком вопросов.

Эмпатия важна, чтобы видеть интервью глазами вашего собеседника.

Чтобы те ружья, которые раскиданы по сценарию, выстрелили ровно тогда, когда вам это нужно.

@PostPostResearch

Читать полностью…