postpostresearch | Неотсортированное

Telegram-канал postpostresearch - PostPostResearch: Константин Ефимов и Анастасия Жичкина

11895

О личном опыте маркетинговых и продуктовых исследований: нетривиальных случаях, труднодоступных аудиториях и работающих методах. Канал ведут Константин Ефимов и Анастасия Жичкина. Контакты: @teplorod Чат для исследователей: @pro_research Рекламы нет

Подписаться на канал

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Лёха Бородкин написал про User Stories VS Job Stories
👥 User Stories говорят, что причины поведения - в том, что это за человек.
🔨 Job Stories сводит поведение человека к ситуации (контексту).
Как выбрать, когда все такое вкусное? Лёха дает интересный алгоритм, но неполный.

Разобраться в том, что делать, нам поможет наука.

Когда-то все люди, включая психологов, думали, что поведение человека зависит от того, что это за человек.
Но потом пришел Стэнли Милгрэм и заставил одних людей бить током других. ⚡️

И оказалось, что в определенных условиях многие люди ведет себя одинаково: большинство людей соглашались бить током других людей только потому, что так велел экспериментатор.

Значит ли это, что то, какой человек, не влияет на его поведение, а влияет только ситуация? Нет, не значит.

Пришел Уолтер Мишел и поделил ситуации на «сильные» - в которых выбор вариантов действий ограничен - и «слабые» - в которых человек может действовать свободно.
В «сильных» ситуациях поведение определяется ситуацией. В «слабых» ситуациях, там, где человек может свободно себя проявлять - поведение в большей степени определяется тем, какой он.

Таким образом, в социальной психологии спор между условными сторонниками User Stories (личностные черты) и Job Stories (ситуация) был решен больше 60 лет назад. Решили, что на поведение человека влияет и то, какой это человек, так и ситуация, в которой он оказался.

В JTBD классификации ситуаций (контекста) до сих пор нет. И нет идеи, что ситуации можно разделить на «сильные» и «слабые» по степени их влияния на человека. А User Stories до сих пор не учитывают ситуацию.

Так что делать-то? 💊Какую таблетку взять, синюю или красную?

Знание того, какой это продукт, тут не поможет. Поможет выяснить, как люди этот продукт используют:

🅰️ Если влияние ситуации минимально, у людей есть свобода действий, и вы видите, что пользователи действуют по-разному - подойдут User Stories.

🅱️ Если вашим продуктом пользуются разные люди, но их действия что-то ограничивает (физические ограничения, социальные нормы, регламенты, законы), и вы видите, как в общем-то разные люди вынуждены бить других людей током делают одно и то же, - подойдут Job Stories.

Рассмотрим на примере болезней и лекарств:

1️⃣ Есть «гусиная фигня», она вызывает сильную боль, это состояние нужно срочно облегчить. Это «сильная ситуация», в которой пациент не может ждать. И есть два препарата, из которых один помогает сразу, другой - через 6 часов. В этой ситуации все врачи назначают тот препарат, который действует сразу, вне зависимости от своих представлений о прекрасном. Job Stories.

2️⃣ Есть «синдром песочного человека», который может тянуться годами. Жить мешает, но не очень. Это «слабая ситуация». И есть много разных препаратов, но ни один не может это вылечить быстро. И вот тут врачи четко делятся по своим личностным особенностям. Одни назначают максимально безопасные препараты, потому что главное для них – «не навреди». Другие назначают максимально эффективное с их точки зрения средство, пусть и с побочными эффектами – потому что главное – эффективность. User Stories.

Знания о том, что люди делают с продуктом, у вас могут быть уже накоплены.
Если таких знаний нет – нужно исследование.

Почитать про персоны, сегменты, джобы и ситуацию:

🧾Что определяет потребительское поведение на самом деле
Ситуация, в которой оказывается человек, сильнее влияет на его желания и потребности, чем пол-возраст-доход или психографические характеристики: «стремление к власти», «контролю» или любые другие

🧾Персоны, JTBD и сегментация здорового человека

Связь сегментации, персон и JTBD: типология пользователей, которая будет обоснована и полезна

💽 @PostPostResearch

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

22 апреля, в эту субботу, будет UX-Марафон про ошибки, провалы и факапы в работе UX дизайнера.

Из интересных спикеров там будут Алексей Бородкин и Юлия Кожухова.

Есть два бесплатных билета для наших подписчиков.

Первые два человека, ответившие на вопрос «Кто первым применил проективные методики в маркетинговых исследованиях?» - эти билеты и получат.

Пишите в комментарии.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

С помощью расширения ChatGPT для Google Sheets можно «чистить» данные, полученные в открытых вопросах!

Частая ситуация – когда люди пишут в форме одни и те же слова по-разному.
Например, описывая вид психотерапии, они могут писать: гештальт-терапия, гештальттерапия, gestalt и допускать ошибки в тексте.

Раньше перед анализом такие данные нужно было отдавать кодировщику – чтобы он «причесал» их для последующей обработки.
А теперь ChatGPT может сделать такую чистку по образцу (видео).

Для того, чтобы это заработало в вашем google аккаунте, нужно иметь регистрацию в ChatGPT (вам потребуется не-российский телефонный номер), а затем подключить расширение к Google Sheets (инструкция).

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Как сделать, чтобы исследовательский отчёт сам заходил в голову и там легко усваивался?

Особенно если это качественное исследование. Инсайты, драйверы, барьеры, персоны, работы - все это текст.

Как это показать наглядно? Что сделать, чтобы стена текста не отделяла вас от читателя?

Помогает визуализация.
Есть сайт «A Periodic Table of Visualization Methods»

(адаптирован только под компьютер).
Сайт не новый, но его премущество в том, что в одном месте собрано очень много способов визуализации - в том числе не очень известных.

Какие способы визуализации оттуда подходят для отчетов по качественным исследованиям:

1️⃣ Table (да, таблицы — это хорошо)
2️⃣ Cartesian coordinates (для сегментаций/персон и распределения объектов в условном двумерном пространстве)
3️⃣ Mindmap (и все другие map-ы оттуда вам тоже могут пригодиться)
4️⃣ Все виды того что в таблице описывается как Metaphor Visualisation (у нас это зовется инфографикой)
5️⃣ Timeline (да, CJM это вариант таймлайна)
6️⃣ Venn diagram (диаграмма Венна)
7️⃣ Force Field (предтеча 4-х сил прогресса)

@postpostresearch

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

⏱ Два года назад писали про то, как ускорить проведение качественного исследования.
TL;DR: ускорить можно, но это будет стоить вам денег или человекочасов. А аналитическая фаза исследования ускоряется хуже всего.

Но с тех пор произошел довольно серьезный прогресс в AI.
DoveTail довольно точно расшифровывает интервью на английском по видео, распознавая и выделяя отдельных собеседников.
А ChatGPT уже сейчас может довольно качественно резюмировать тексты и пересказывать их простыми словами.

Мы предполагаем, что на горизонте 2-3 лет процесс кодировки цитат в качественных исследованиях смогут автоматизировать. А следующая версия ChatGPT сможет на основе этих кодировок писать вполне внятную дескриптивную версию ответов на вопросы. Из серии – обобщить достоинства и недостатки конкретного сервиса на основе мнения респондентов.
Но интерпретировать поведение респондентов все равно придется самим. Как и писать выводы и рекомендации.

А вы что думаете❓
#discuss

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

💽 На этой неделе заканчивается первый блок курса "Качественные исследования".
Группа - 🔥 🔥🔥

Пока есть 6️⃣ билетов на блок по проведению интервью (стартует 24 января), блок по анализу полностью раскуплен.

И еще остался 1️⃣ билет на блок по влиянию исследователя на процессы внутри компании.

Если вам интересен курс, но в этот раз вы не попадаете, можете записаться в лист ожидания. Мы сообщим о повторе курса.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Сегодня на курсе разбирали схему разработки и исследования из книги «Спринт: Как разработать и протестировать новый продукт всего за пять дней» (Джейк Кнапп).

Казалось бы, все на месте: истории успеха, техники «мозгового штурма», рекомендации по проведению интервью, Автор работал в Google, на книгу множество прекрасных отзывов.

Сложный кандидат для рубрики #facepalmresearch. Но мы уже писали разбор книги Фицпатрика, так что отступать – поздно.

Посмотрите на схему спринта глазами исследователя.
❓Что здесь не так?
Какие практики сработали бы лучше?
Пишите в комментариях 👇

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Исследователь Дмитрий Соловьев написал интересные итоги/тренды года.
Нам особенно отзывается про новую эмпатию, гуманизм, человечность и сострадательную метапозицию (которой так не хватает в соцсетях).
Ну и нейросети - как же без них.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

⏱Быстрый результат
В digital-среде хотеть быстрый результат – принято.
Сначала - готовые фреймворки для исследований. Потом канвасы. А теперь еще и списки лучших готовых вопросов для интервью. Я знал, что рано или поздно мы перейдем и на эту дрянь.

Например, вопрос «Расскажите, что изменило вашу жизнь за последний год больше всего?». Его и до войны задавать в начале интервью, до установления хорошего контакта не стоило, а теперь он стал совсем по-дурацки сензитивным и неуместным. И звучит как мем «А что случилось?»

Или вот «Как можно описать вас одним предложением, что вы за человек?» Этот вопрос часто задают в начале разговора. Но, как и предыдущий – он там не уместен, а уместен только после установления контакта. Если вы зададите его в начале, респондент напряжется и уйдет от ответа. «Я идентифицирую себя как боевой вертолет». Нужно ли вам это?

Есть еще, для «ушедших клиентов»: «Из-за чего вы ушли, куда и почему там лучше?» По сути, вопрос, конечно, верный. Но на практике он обычно возвращает клиента в ситуацию, в которой он пытался решить свою проблему много раз и безуспешно. Звонил в службу поддержки, эскалировал проблему, писал письма, а затем, отчаявшись – и в социальные сети. А проблема не решалась. И повторять этот опыт, отвечая вам на вопрос «а почему вы ушли?», клиент не хочет.
Поэтому, перед тем как говорить с ушедшими клиентами, изучите цифровые следы, которые вам доступны. Благодаря этому во время интервью вы сможете показать, что вам не все равно.

И вопрос-чемпион: «Как вы по-другому хотели себя чувствовать от того, что вам пришло письмо от налоговой, что у вас задолженность [триггер+контекст], вы захотели увидеть сумму задолженности?»
24 слова. Я не возьмусь это комментировать.

Дело не в том, что эти вопросы плохие. Дело в том, что их предполагается задавать дословно, потому что они будто бы «хорошие» - работают во всех ситуациях. Нажми на кнопку – получишь результат. Но таких вопросов, которые работали бы во всех ситуациях со всеми людьми, просто не существует.

Именно поэтому хорошему исследователю пофиг на вопросы. Он не работает вопросами. Это не значит, что ему все равно, что говорить. Но он держит в голове не списки вопросов, а бизнес-задачу, и строит «пути», по которым пойдет беседа. И формулирует нужные вопросы «на лету».

Нужно пойти глубже в проблему – просит рассказать подробнее. Нужно снять напряжение – пошутит. Нужно раскрепостить замкнутого респондента – применит самораскрытие.

А со стороны хорошие вопросы выглядят так, будто респондент сам все рассказывает. И вы со стороны можете оценить качество интервью - в нем больше информации и она лучше связана между собой.

Вы спросите меня, а как же сценарий интервью, если респондент как будто сам все рассказывает? Он нужен. Но он содержит примерные вопросы, а не точные. Сценарий интервью — это план дискуссии, а вопросы в нем МОГУТ быть переформулированы. Хороший сценарий интервью содержит ветки разговора и уточнения: что делаем, если респондент не отвечает на какой-то из вопросов. Хороший исследователь НЕ ЗАЧИТЫВАЕТ вопросы из гайда (это звучало бы неестественно), а дополняет их в соответствии с контекстом.

Но быстрого результата все равно хочется. Поэтому люди берут «списки лучших вопросов» и зачитывают их на интервью. И в итоге - тратят больше времени, чем если бы учились системно. Потому что, поняв принципы того, как интервью работает – тебе не нужно учить отдельно «проблемное», «решенческое» или «JTBD интервью». И списки вопросов учить не надо. Ты от респондента просто получишь ту информацию, которая нужна.

В общем, качественные исследования — это ремесло, easy to start, hard to master (Герман, спасибо за определение).

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

А теперь о том, как на практике лучше тестировать дизайн сайта банка.

Ваши вводные:
мало времени, нужно оценить, как люди воспринимают дизайн.

Восприятие дизайна - довольно простой опыт. Это не CJM, который у всех разный. Проводить в этой ситуации 70 пользовательских интервью – это жечь рабочее время исследовательской команды неизвестно зачем.

Если вы изучаете простой опыт – эффективнее уйти от индивидуальных интервью. Куда уйти – зависит от того, сколько у вас денег. Есть два основных способа быстро собрать мнения многих людей – это анкетирование на панели и фокус-группы.

Если денег нет, а внутренний заказчик хочет циферки, используйте анкетирование на панели. Самый дешевый количественник на панели из 100 человек у Фастуны стоит 13 200 рублей и проводится за 24 часа.

Но если вы работаете в очень хороших условиях: заказчику важен результат как таковой, не обязательно в цифрах, а у вас есть и квалификация, и деньги на рекрут и вознаграждение респондентов – проводите фокус-группы.

Если лично вы не можете вести фокус-группы, пригласите модератора, который это может. 4 групп хватит, займет это 3-5 дней на рекрут, 2 дня - на проведение групп и 2-3 - на краткий отчет. Стоить будет от 60 тысяч (без отчета, с рекрутом и вознаграждением на вашей стороне у фрилансера) до 450 тысяч (с отчетом, рекрутом и вознаграждением у агентства) - в зависимости от достижимости респондентов и ценника агентства /фрилансера.

Почему для тестирования концепции, дизайна и упаковки хорошо подходит фокус-группа?

Огромное преимущество фокус-группы - она дает больше информации относительно восприятия эмоциональных вещей. И эту информацию можно получить намного, намного быстрее, чем опрашивать то же количество людей индивидуально.

Почему для проведения фокус-групп нужна квалификация?

Потому что запороть фокус-группу проще, чем интервью. Если вы не проводили фокус-группы никогда, есть риск, что люди будут влиять друг на друга. Но если вы будете использовать техники снижения влияния, - например, при оценке концепций просить респондентов сначала записать свое мнение, а затем его высказывать, - то это уменьшит проблему.

Почему именно 4 фокус-группы, а не одна и не две? Количество фокус-групп – это страховка на случай, если людям в результате групповой динамики попала вожжа под хвост, и они дружно выражают крайне нетипичную позицию - например, расхвалить тот вариант дизайна, который никто и никогда больше не хвалит, или, наоборот, разругать то, что остальным нравится. Этот риск реален, и это частая претензия к фокус-группам – поэтому их нужно несколько. Нет, такого, что вожжа под хвост попадает сразу нескольким группам на одном проекте, не бывает.

На фокус-группе вы сможете:

1️⃣ Узнать, как вообще люди воспринимают вашу категорию и соответствует ли ваш дизайн ожидания от категории в целом. Это дает возможность, например, понять, стоит ли выходить с веселеньким дизайном в цветочек в категории «банки» или «страхование».

2️⃣ Узнать, какие требования у людей к дизайну сайтов банков – на примере конкурентов. Вы можете сказать: ну и что, у нас новаторские продукты, мы хотим отличаться от всех. Но если от категории в целом ждут надежности, пользователи не поймут, если вы будете отличаться в веселенькую сторону. Не этим надо отличаться. Отличаться надо в рамках ожиданий пользователей, например, тем, что вы – единственная компания с человеческим лицом.

3️⃣ Получить примеры удачного и неудачного дизайна банков - чтобы не повторять чужих ошибок.

4️⃣ Провести ассоциативный тест: «возьмите ручки и листы бумаги и опишите дизайн сайта, который вы видите с помощью прилагательных» - после чего обсудить с респондентами, что стоит за словами «яркий», «нестандартный», и какую оценку эти прилагательные несут.

5️⃣ Попросить оценить дизайн в естественных условиях, дав им возможность посмотреть на сайт дольше, чем 5 секунд. Столько, сколько захотят на него смотреть.

А дальше – вы вносите правки в макеты, составляете анкету и выносите это на количественник с внятной выборкой, без UX-исследователей в качестве респондентов.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Принято считать, что «dark patterns», они же темные паттерны – сравнительно новая история.

А вот и нет – их использовали еще в доцифровом мире, чтобы продавать больше. Например, в супермаркетах.

То, что вы видите на картинке – это типичный темный паттерн. Хотя возможно «так совпало». Человек, который ходит в супермаркет Lidl, привыкает, что перечеркнутый ценник – акционный, и может не смотреть на саму цену. А она на самом деле – выше, чем была.

Пару лет назад обнаружили канал Игоря Кузнецова о темных паттернах. Пожалуй, это самая большая их энциклопедия. С тех пор читаем.

А что особенно приятно – то что там можно посмотреть реакцию людей на свежие попытки отечественных компаний. Например, додстер от Додо Пиццы

@brainshare

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Вы наверняка видели серию материалов про интерфейсные решения и лучшие практики UX/UI в e-Сommerce.

Это, пожалуй, лучший справочный материал про то, как «делать хорошо» и какие ошибки не стоит совершать. На русском языке аналогов нет: в 24 статьях собрано более 2500 гайдлайнов с примерами.

Не все знают, что автор этой базы знаний, Станислав Хрусталёв ведёт канал @hardclient

На канале Станислав написал уже более 60 статей про управление клиентским опытом, CJM, обратную связь, лучшие практики в различных областях.

Наш интерес к его материалам начался со статьи про 30(!) ошибок в разработке CJM. Это было еще до того, как Станислав завел канал, но уровень экспертизы был виден сразу. Или вот, реальная карта, весьма детальная.

Рекомендуем 👉 подписаться

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Не самый простой кейс для рубрики #facepalmresearch.

Горячо поддержанная статья с историей успеха. Четко и ясно описаны практические приемы оценки - которые показали, что в данном случае дизайн действительно удался. Тысяча лайков на медиуме. Множество репостов.

Да, это - статья Лены Бородиной «borodish/%D0%B4%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD-%D0%B3%D0%BE%D0%B4%D0%BD%D1%8B%D0%B9-%D0%B8%D0%BB%D0%B8-%D0%BD%D0%B5%D1%82-%D0%BA%D0%B0%D0%BA-%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C-%D1%82%D0%BE%D0%BB%D1%8C%D0%BA%D0%BE-%D0%B2%D0%BD%D0%B5%D1%88%D0%BD%D0%B8%D0%B9-%D0%B2%D0%B8%D0%B4-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%B0-%D0%B0-%D0%BD%D0%B5-%D0%BA%D0%BB%D0%B8%D0%B5%D0%BD%D1%82%D1%81%D0%BA%D0%B8%D0%B9-%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2-%D1%86%D0%B5%D0%BB%D0%BE%D0%BC-b4b9290e5ed6">Дизайн годный или нет: как проверить только внешний вид продукта, а не клиентский опыт в целом».

Кажется, что все прекрасно от и до. Что могло пойти не так?

Предлагаем разобраться в оценке дизайна вместе.
Особенно ценно будет, если вы не только укажете на ошибку, но и напишете, как действовали бы лично вы.

Какие ошибки и грабли вы нашли в статье? Какие практики сработали бы лучше?
Пишите в комментариях.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Что еще можно почитать на тему вопросов про будущее:

● Как вопросы про будущее могут помочь при проектировании интерфейса
● Можно ли задавать вопросы про будущее?
● Что делать, если вам врут на интервью?
● Вранье респондентов в маркетинговых исследованиях
● Нужно ли продавать на интервью?
● Памятка: Как удалить яд из ответов про будущее?
● Митап «Вопросы про будущее»

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

💽 Гид по каналу
❓О чем этот канал?
Пишем про наш личный опыт маркетинговых и продуктовых исследований. Про teplorod/marketing-and-produst-research-d1aaef039633">различия продуктового и маркетингового подхода к исследованиям (видео с митапа) и возможность синтеза. А также про предубеждения в отрасли - например, про неискренность респондентов.

🔥Самое интересное на этом канале:
Восемь типов ошибок в глубинном интервью
Как исследовать ценовые ожидания? Какие вопросы задавать?
Как правильно читать «Спроси маму»: 9 полезных и 3 вредных совета от Фицпатрика
Как ускорить проведение качественного исследования?
Как можно изучать те продукты, про которые люди не могут толком рассказать
Что продуктовый исследователь может взять из методики проведения допросов ФБР?
Как люди воспринимают рекламу с фигурами без лиц? Похожее исследование от Лаборатории Касперского
Первое использование проективных методов в маркетинговых исследованиях
Почему можно проводить «проблемное» и «решенческое» интервью в одном
Можно ли задавать вопросы про будущее? Нужно!

🗎 Все наши лонгриды

🛠Полезное:
📝Памятка «Косвенные вопросы в интервью»
📝Памятка «Барьеры к использованию продукта» (в нашем фреймворке X-Rays)
📝Памятка «Как выбрать метод исследования для оценки текста»
📝Памятка «Ошибки в UX-тестах и как их избежать»

📹postpostresearch3520">Наш Youtube-канал
💬 Чат для исследователей

💕Авторы:
Канал ведут Константин Ефимов (FB, сайт ) и Анастасия Жичкина (FB).
Мы - социальные психологи, проводим маркетинговые и продуктовые исследования больше 20 лет. Также мы учим людей проводить качественные исследования, занимаемся этим с 2011 года.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

170 фреймворков для приоритизации
Статья Джордана Лэмборна, продакта из Slice.

There’s no silver bullet for prioritization. Your team and situation matter. Get inspired with this list of 170 methods. This is the complete list of roadmap prioritization frameworks on the internet and contains tons of linked resources.

Полезно всем, кто вынужден выставлять приоритеты для фич, идей, продуктов.
Спасибо Андрею Ермолаеву за ссылку.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Какой он, идеальный исследователь?
В интернете много списков Soft Skills, необходимых для исследователя. И на собеседовании вас об этом тоже могут спросить.

Если обобщить эти требования, получается примерно как у Сандры Буллок в фильме «Сеть»:

Наблюдательный, чуткий, блестящий интеллект...
В нем слились доктор Хаус и Виктор Франкл.
Проводит весь день, бросаясь в борьбу за то, чтобы мир был безопасен для пользователей.
А по вечерам он играет кантаты Баха и исправляет ошибки в интерфейсах для пользователей с особыми потребностями.

Вот только на практике от такого списка толку мало. Потому что эти качества в одном человеке в таком сочетании встречаются очень редко.

Идеи, что человека можно научить эмпатии, прокачать эмоциональный интеллект, или еще лучше – развить память, мы обсуждать не будем. Для развития таких вещей люди должны иметь определенную «основу», без которой ничего не получится. Или хотя бы не иметь особенностей, которые могут мешать.

Так а что делать-то? Если эмоциональный и обычный интеллект развивать не надо?

Развивать же, с нашей точки зрения нужно два навыка:
1️⃣ Менеджмент
2️⃣ Переговоры

Если вы не стартапер, а работаете в агентстве или исследователем inhouse - то для вас исследования – это прежде всего менеджмент.

Собрать требования, сделать тайминг, запустить рекрут, согласовать участие всех заинтересованных лиц в исследовании, успеть все это сделать в сжатые сроки.

А переговоры вам понадобятся везде: чтобы договориться о том, что в исследовании будет и чего не будет, чтобы соблюсти баланс интересов заказчиков и исследователя, где надо идти на встречу, а где - не соглашаться, и распознавать манипуляции.

Как собирать гипотезы, просить помощи и рекрутировать респондентов (а ещё лучше - договориться с вашим колл-центром, чтобы они помогли, или выбить бюджет на аутсорс рекрута).

Ведение интервью - очевидно, что и там применимы многие навыки из переговоров.

📚Хорошие книги про переговоры и влияние:
Крис Восс «Никаких компромиссов» - масса полезных приемов от переговорщика ФБР (про методики ФБР мы писали здесь)
Мануэль Смит «Тренинг уверенности в себе» («When I said no, I feel guilty») - книга об ассертивном поведении и противостоянии манипуляциям.
Дэвид Майерс «Социальная психология» - классический учебник, с большим количеством примеров влияния людей на группу и друг на друга.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Мы завели телеграм-чат для обсуждения содержательных вещей про исследования.
@pro_research

✅ Будем рады видеть всех, кто может и хочет поддерживать разговор по делу
✅ Будем обсуждать новые статьи, методики и исследовательские фреймворки
✅ Ссылки на интересные материалы приветствуются
Знание – сила.

👉Присоединиться

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

📆 В 2006 году вместе с Сергеем Шейхетовым и Иваном Безденежных делали большой проект по исследованию трендов среди молодежи, для одного крупного оператора сотовой связи. На этом проекте мы впервые использовали онлайн-форум в России, и в целом – там было много инноваций для того времени - таких, как этнография.

В числе прочего, мы узнали, что молодые трендсеттеры ведут активный образ жизни: прыгают с парашютом, устраивают вечеринки в заброшенных зданиях, гоняют на байках, играют в пейнтбол и т.д.

И в этих приключениях очень легко теряется или непоправимо портится телефон - часто вместе с симкой.

А дальше – трудный квест восстановления телефонной книжки: получение детализации от оператора и звонки по телефонам с вопросами «а ты кто?».

Напрашивалось как-то эту боль пользователей облегчить. И в рекомендациях мы предложили прорывной по тем временам сервис: сохранение контактов в облаке.
Да, смартфонов с сенсорным экраном не было, но тогдашние смартфоны уже умели в интернет, фото и текст.
Прежде чем сервис Google Contacts будет реализован в смартфоне Nexus, пройдет еще долгих 4 года. А до того, как эта инновация распространится на все смартфоны, пройдет еще 5 лет.

Знаете, что нам сказали на презентации?
– Только 10% пользователей готовы доверить нам свои данные.
И решили это не делать.
Хотя вообще 10% - это очень много.
А сейчас вообще странно представить, что когда-то было иначе.

Когда вы видите яркую неудовлетворенную потребность, а пользователи говорят «shut up and take my money!» - знайте, что она будет реализована рано или поздно. Не вами, так конкурентом. Не конкурентом, так в сопредельной с вами нише.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

ПОЧЕМУ В РОССИИ НИЗКИЙ ПРОТЕСТНЫЙ ПОТЕНЦИАЛ?
(на самом деле - нет)

Принято считать, что в России мало протестов. Но так ли это? А никто не считал!
Алекс Бадин сделал то, что давно стоило сделать: сопоставил данные по протестам с типом режима.

- Почему в России так мало протестов?
- В России за последние пять лет было значительно больше протестов, чем во всех остальных авторитарных странах - кроме Ирана.
• В авторитарных странах было в среднем было по 1,9 протеста.
• В России было зафиксировано 7 протестов. Из авторитарных стран больше только у Ирана - 9.
• В полных демократиях протестуют меньше всего (1,5 протеста на страну за 5 лет), почти на уровне авторитарных (1,8). В демократиях - меньше поводов, а в авторитарных странах - меньше возможностей.
• Больше всего протестов в неполных демократиях (2,8) и гибридных режимах (2,9).

- Почему в России протесты такие малочисленные?
- В России протесты, наоборот, многочисленные для авторитарного режима. По сравнению с другими авторитарными и даже гибридными режимами в России больше протестов, собравших сотни тысяч человек, и в разы больше протестов, собравших десятки тысяч человек.
• Большинство протестов небольшие (чаще всего - тысячи). Массовые протесты на десятки тысяч - характерная черта демократий. Претензии из Европы про малочисленность протестов - чистая реинкарнация фразы про «пусть тогда едят пирожные».
• В авторитарных режимах протесты вообще более малочисленны – так как власти чаще готовы применять насилие (40% случаев применения насилия к протестующим в авторитарных режимах, около 20% - в гибридных режимах и неполных демократиях, и 9% - в полных демократиях)
• В авторитарных странах цена протеста велика, по сути, это сильный фильтр на участие. В демократиях, наоборот, цена протеста низкая, а во многих случаях, наоборот, участие дает преимущества.
• По протестам с «максималистскими» целями (смена власти, отделение региона). Чем больше население страны, тем сложнее собрать на такой протест даже 1% населения. Если сравнивать численность российских протестов 2017 года («Он вам не Димон») и 2021 года («За Навального) с численностью «максималистских» протестов в странах с населением больше 50 миллионов – численность российских протестов выше медианного уровня.

- Просто выходите на улицы, и режим падет!
- Успешность протеста* зависит от готовности власти удовлетворять требования протестующих. В России эта готовность – нулевая: требования не удовлетворяются демонстративно.
• У Ирана за то же время - 3 успеха несмотря на то, что по всем рейтингам свобод он ниже России.
• Успешность протеста не зависит ни от политического режима - в среднем протесты успешны в 30 процентах случаев, в том числе в авторитарных странах, ни от количества протестующих – если только на улицу одновременно не выходят миллионы человек (из 10 случаев миллионных протестов 7 успешны, но таких протестов – единицы).
• Даже выход на улицы более чем 3,5% населения не гарантирует успешности протеста, как показали примеры Беларуси и Гонконга.

* Успешным протест считался, если его требования в какой-то степени – не обязательно на 100% - удовлетворены.

Источники:
База антиправительственных протестов Carnegie Endowment Protest Tracker for International Peace; по типам режимов - Democracy Index by Economist Intelligence Unit (EIU). Данные по протестам собраны за последние 5 лет (2017-22). Всего 390 случаев из 167 стран.
База NAVCO (Nonviolent and Violent Conflict Outcomes) - проект, изучающий протесты с «максималистскими» целями, Данные за почти 60 лет (1945-2013), зафиксировано 390 протестов в 145 странах.

Протестный уровень в России на самом деле совсем не низкий (он даже выше среднего), хотя СМИ создают другую картинку.
Один из самых успешных нарративов пропаганды - протесты в России унылые, бесперспективные и организованы кучкой неудачников. Поразительно, но многие представители российской оппозиционной мысли поместили этот нарратив себе на флаг (вечное разочарование в русском народе, «да как так можно», «рабский менталитет», постоянно находя себе подтверждения - confirmation bias).

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Что не так с идеей уместить в пять дней создание продукта и его тест?

Красные флажки:

🚩 Использование психотехнологий, которые меняют состояние сознания людей через постоянный цейтнот – аналогично тому, что происходит в деструктивных культах. Пять дней, 3 минуты на презентацию идеи, 3 минуты на набросок решения проблемы (по таймеру, который должен коммуницировать экспертность фасилитатора!), один час на сбор прототипа (расскажите об этом UX-дизайнеру). Постоянное напряжение приводит к тому, что довольно банальная мысль кажется ИНСАЙТОМ. А когда люди успокаиваются – инсайтом быть перестает.

🚩 Метод объявляется универсальным. Так не бывает.

🚩 Обещают быстрый результат. Результат может быть быстрым, но не настолько. Исследовательский спринт требует не меньше 2 недель.

Книга написана для продажи иллюзий с крутыми инсайтами, универсальным методом и супербыстрым результатом. А купившим спринт авторы книги продают в придачу к иллюзии результата еще и аттракцион в виде вовлечения команды.

Тут можно было бы и закончить, но давайте взглянем на книгу глазами исследователя:

1️⃣ Исследования – это цикл, который повторяется несколько раз за время разработки продукта. Идею мало проверить на 5 пользователях один раз (о том, что цифра 5 спорная – ниже). Обычно после тестирования прототипа ее нужно доработать и еще раз проверить. Через 5 дней вы получите очень сырой результат.

2️⃣ Как правильно сказали в комментариях – нет фазы эмпатии. Фазе генерации идей должна предшествовать исследовательская работа. Мы должны понимать, кто все эти люди, для которых мы делаем продукт и что им нужно. Здесь же это предлагается решить «экспертно». Все бы ничего, но сами авторы приводят пример, когда CJM был составлен неверно и только вмешательство сотрудника (он один знал, как оно на самом деле происходит) спасло ситуацию. Фаза исследования клиентов и является страховкой от таких ситуаций.

3️⃣ Рекрут респондентов – отдельная сложная и часто долгая задача. Если у вас продукт для директоров по безопасности, вы вряд ли найдете их за четыре дня.

4️⃣ Рекрут респондентов, генерация идей и создание концепций идут параллельно. Но если вы заранее очертите целевую аудиторию, это СИЛЬНО ограничит вас в генерации идей и создании концепций. Например, у вас онлайн-кинотеатр и вы захотели придумать киллер-фичу. Предполагаемая целевая аудитория – домохозяйки, которые смотрят кино параллельно с домашними делами. А в итоге вы придумали фичу для путешественников, которые смотрят кино в дороге. И вы понимаете, что уже два дня вам ищут совсем не тех.

5️⃣ Пять респондентов, как у Нильсена. Постойте, при чем тут Нильсен? Он писал про UX-тесты для поиска проблем в существующем интерфейсе, а здесь у вас оценка концепции нового продукта. По-хорошему, нужно рассчитывать композицию с учетом разных характеристик ЦА и сегментов, по 6-7 на сегмент. Интервью может быть и больше 30, если предполагается много разных сегментов, и нужно учесть это разнообразие.

6️⃣ Нет фазы анализа. Авторы книги объясняют это тем, что вовлеченность команды снизится, пока исследователь напишет отчет. Да, иногда можно обойтись дебрифом. Например, если вы тестировали простую фичу на тех самых UX тестах. Но когда вы изобретаете новый бизнес, фаза анализа критически важна. Мало посмотреть на то, что респонденты сказали, надо еще это обдумать. А потом хорошо бы еще раз собраться и допилить прототип с учетом обратной связи. И снова затестить. Да, будет уже не так весело, но зато – результативно.

Пророк Канеман говорит, что есть две системы мышления: быстрая, которая принимает решения, экономя глюкозу (и может ошибаться), и медленная – затратная, но и более качественная.

Так и с исследованиями. Отчет – это не то, что вам сказали респонденты, а то, как вы это объяснили и переосмыслили. Аналитическая фаза и фаза придумывания удачных продуктовых решений – оптимизируются хуже всего.

Если качество решений важнее скорости и ощущения того, что вы круты, - стоит дать исследователю посидеть и подумать.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

«Гуманизм и человечность в подполье». 10 заметок-ощущений накануне 2023 года о текущем и предстоящем.

Я не политолог и не профессиональный тренд-хантер, просто хочу зафиксировать мысли и ощущения, которые возникли к концу года и может кому-то помогут спроектировать свою траекторию или оттолкнувшись от этих размышлений построить свою картину происходящего, даже сильно отличающуюся от написанного. В связи с тем, что я живу в России, многие вещи будут касаться этой страны и ее жителей, хотя некоторые интуиции могут быть верны и для части остального мира. При всем накале в соц. сетях публикую заметку здесь.

1. Затяжное противостояние России и Украины, латиноамериканизация и стагнация России, страна вечного СССР без прогресса
2. Мир с неравномерно распределенным временем, переосмысление идеи прогресса
3. Новая эмпатия
4. Смерть социальных сетей для осмысленного контакта
5. Мир перешел в режим «Гуманизм и человечность в подполье»
6. Рассвет ИИ и удешевление творческого труда
7. Спрос на концептуальное мышление
8. Вопросы образования и синьор-кадров в корпоративном секторе
9. Крипта — новый фиат
10. Кризис веры и смыслов, и спрос на ясные картины мира

Желаю всем нам найти место в этом мире и скорейшего прекращения страданий.

https://telegra.ph/Gumanizm-i-chelovechnost-v-podpole-10-zametok-oshchushchenij-nakanune-2023-goda-o-tekushchem-i-predstoyashchem-12-31

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

P.S. Исследователи – не первые, кто пытался работать «готовыми вопросами». В 2008 году психолог Дарья Кутузова написала про то, как с помощью нарративного подхода можно работать с пострадавшими при артобстреле. И перевела опросник Дэвида Денборо. В числе прочих был вопрос про события в момент артобстрела: «Вы делали что-нибудь для того, чтобы сохранить достоинство и гордость? (Что именно?)»
Очень надеемся, что в такой форме этот вопрос не был задан никому, кто пострадал при артобстрелах.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Приглашаем к участию в Чат рисёчеров!

Более 4800 участников - коллег, специализирующихся на проведении маркетинговых, социологических, продуктовых, UX/UI исследований.
Проконсультироваться по сложному проекту, обсудить методологию, получить контакты агентства в регионе или задать интересующий вопрос и получить ответ можно здесь:

Присоединиться: /channel/researchers_chat

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Группы набраны. Вы можете записаться в лист ожидания, чтобы узнать о повторении курса.
================
🔥10 января 2023 стартует шестой поток обучающего курса «Качественные исследования: от планирования до отчета»

За полтора года мы сильно изменили большой курс.
Теперь он разделен на отдельные блоки, из которых вы можете выбрать любые:
1. Подготовка к исследованию
2. Проведение интервью
3. Анализ качественных данных
4. Влияние исследователя: интеграция исследований в бизнес-процессы.

По сравнению с предыдущей версией в курс добавилось два блока:
1️⃣ Блок о том, как писать аналитику. По нашему опыту, это самый частый исследовательский вопрос.
2️⃣ Блок о влиянии исследователя на бизнес-процессы - как в ходе исследования договариваться с продуктовой командой, с заказчиками и друг с другом.

Как это будет:
🌞 Занятия проходят утром: с 10.00 до 12.00 🕰 Время московское.
🗓 2 раза в неделю по 2 часа в зуме (вторник и четверг), 10 января – 10 апреля 2023.
📺 Записи занятий и презентации лекций доступны участникам.
💬 Телеграм-чат, где можно задать вопросы и обменяться материалами.

Если вы уже проходили наши курсы, напишите нам, и мы дадим промокод на скидку.

🎫 Купить билет можно из любой страны

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Продолжаем.
А зачем вообще оценивать дизайн? Есть же A/B тесты, они регулярно применяются, когда мы хотим сделать дизайн лучше?
A/B тесты, увы, совсем не про отношение к дизайну. Они про эффективность для бизнеса. В A/B тесте мы меняем один признак и смотрим, изменились ли метрики. Например, меняем величину слезы у совенка Duolingo, и смотрим, стали ли пользователи чаще возвращаться в приложение. Это - не тестирование дизайна. Может быть, плачущий совенок раздражает пользователей, или вызывает у них сочувствие, или чувство вины, мы ничего об этом не знаем. Все, что мы видим - это изменение метрик.

А для чего в таком случае нужен новый дизайн? В каких случаях мы выходим за рамки тестирования эффективности?

Мы задали этот же вопрос Рустаму Салимзянову, креативному директору РА «Практика».

Редизайн, как правило, инициируется по следующим причинам:
1️⃣ Моральное устаревание существующей айдентики
2️⃣ Изменение архитектуры бренда – продукты перестают “влезать” в существующую
3️⃣ Смена собственника/акционеров или радикальная перестройка команды
4️⃣ Новая стратегия/бренд-платформа
5️⃣ Желание сменить аудиторию (как правило, омолодить)

И сейчас часто попадаются кейсы, когда ушедшие международные компании продают их российскому топ-менеджменту. Тот затевает ребрендинг)

И тогда с помощью исследования мы сможем понять:
1️⃣ как воспринимается существующая айдентика/упаковка
2️⃣ как потребители/пользователи видят конкурентов, которые появились или изменились за то время, пока компания не проводила исследования
3️⃣ в какую сторону лучше развивать бренд
4️⃣ какой из новых вариантов айдентики/упаковки лучше зайдет и как его нужно доработать

Что объединяет эти случаи? То, что во всех них идет речь не о продукте и эффективности, а о восприятии дизайна. А оно – эмоциональное и субъективное. Более того, есть кейсы, когда более приятный дизайн менее удобен и хуже выполняет бизнес задачи.

И вот теперь, когда мы понимаем, ЗАЧЕМ такое исследование нужно, можно уже решить - как его проводить. И в ближайшие дни мы об этом напишем.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Почему мы вообще пишем о статье Лены Бородиной? Мало ли других примеров не очень удачных исследований?

Потому что статья Лены об оценке дизайна предлагается как история успеха, удачный кейс, на который нужно ориентироваться. Но успех выглядит не так. И мы категорически против того, чтобы образец бредовой работы выдавался за годный отраслевой стандарт.

⛔️Это не история успеха. Это история подгонки результата под ожидания заказчика.

И когда читаешь, спотыкаешься просто на каждом тезисе.

"Когда команда дизайнеров предлагала новые концепции ключевым заказчикам, они отзывались по-разному" - а почему концепции предлагались стейкхолдерам, а не пользователям? Почему исследователи не начали с тестирования концепций дизайна? Это более болезненно для дизайнеров, но позволяет отсеять неподходящие варианты, не затрачиваясь на их воплощение.

Почему методов оценки дизайна всего три: юзабилити-тест, айтрекинг и методика «5 секунд» от Microsoft? Почему не интервью, не фокус-группа и не количественное исследование? В рюкзаке моем сало и спички, и Тургенева десять томов.

Каким образом айтрекинг помогает объективно измерить отношение к дизайну? Как написали в комментариях: если человек долго смотрит на элементы дизайна, это он хорошо или плохо относится? Тот же вопрос относительно юзабилити-теста – а выполнение сценариев как поможет оценить дизайн?

Почему была выбрана методическая химера под названием «пятисекундный тест от Microsoft»? Цитируем: «человеку показывают скриншот экрана всего 5–10 секунд, а потом просят оценить и описать только внешний вид продукта. За такое короткое время никто не успевает вникнуть в функциональность и даже прочитать названия всех разделов — это как раз помогает нам собрать первое впечатление от увиденного, а не прочитанного или понятого».

В экспериментальной психологии есть понятие «экологическая валидность» - возможность обобщить данные эксперимента на реальную ситуацию. Нет никакого смысла изучать то, что в природе не встречается. В какой реальной жизненной ситуации ваш пользователь будет смотреть на сайт в течение 5-10 секунд? Ни в какой. Как правило, он смотрит на сайт дольше 5 секунд. А если он смотрит 5 секунд – то это «отказ», человек попал на сайт случайно и закрыл его.

Насколько идея оценивать дизайн отдельно от функциональности соответствует реальности? Клиенты Газпромбанка предпочитают любоваться на дизайн, ничего не делая на сайте? Тем более, что, судя по результатам, оценить дизайн отдельно от удобства не получилось. Самым частотным словом, которое называли пользователи, описывая дизайн, было слово «УДОБНЫЙ» (!).

Количество респондентов. Идея «сначала взять небольшую выборку и проверить распределение, а если данные не подойдут, просто добрать людей» - категорически не ок. Даже в симуляторе GoPractice написано, что так делать нельзя. Вы не можете добирать выборку до тех пор, пока результаты станут статистически значимыми. Потому что это тупо подгонка под желаемый результат.

Выборка и ее соответствие ЦА. Как-то вышли на 70 человек. Но почему среди них были жители Стокгольма и «разумеется, и специалисты UX-отрасли», если тестировался дизайн приложения российского банка? Что помешало отсеять тех, кто не является целевой аудиторией, и тех, кто смотрит на сайт с профессиональной точки зрения?

Почему оценивались именно тройки характеристик, а не отдельные характеристики? В результате, например, «тройка» из двух слов (буквально так) «красивый» и «много всего» получила положительно-отрицательную оценку.

Но стейкхолдеры эти результаты приняли. Ведь 75% характеристик, которые называли пользователи – были положительными.

Это, видимо, и была основная задача исследования – принятие стейкхолдерами. По крайней мере, о других задачах, которые ГПБ хотел решить с помощью редизайна, ничего не было сказано.

Как лучше было бы действовать и почему именно так – об этом следующий пост.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

✅ ГРУППЫ НАБРАНЫ. Вы можете записаться в лист ожидания, чтобы узнать о повторении курса.
===========================

🔥💽 10 января 2023 года стартует наш курс про качественные исследования.
Мы сильно переработали наш большой курс «Качественные исследования: от планирования до отчета».

Полтора года назад, когда мы его проводили, мы не могли представить себе, что возможна и такая версия реальности. С войной и всем, что это повлекло за собой.

И мы не могли себе представить, что в мире, который никогда не будет прежним, по-прежнему могут иметь значение исследования. Все ещё есть люди, которые устанавливают контакт с респондентами. Анализируют то, что им ответили. И как все работающие люди, хотят, чтобы их работа была полезной, и результаты исследования помогали сделать мир лучше.

Поэтому мы продолжаем делать то, что считаем важным.
Рассказываем о том, как проводить исследования.

За полтора года мы сильно изменили большой курс.
Мы сделали его модульным.
Теперь можно послушать отдельными блоками:
▪️ про подготовку к исследованию
▪️ про проведение интервью
▪️ про анализ качественных данных
▪️ про влияние исследователя и интеграцию исследований в бизнес-процессы

И мы добавили в курс два блока.

1️⃣ Блок о том, как писать аналитику. По нашему опыту, это самый частый исследовательский вопрос.

2️⃣ Блок о влиянии исследователя на те самые бизнес-процессы. Как в ходе исследования договариваться с продуктовой командой, с заказчиками и друг с другом. Как организовать взаимодействие так, чтобы получить действительно ценный результат. Будет интересно всем, кто работает над проектами в команде: исследователям, продактам, заказчикам.

Продажа билетов начнется в декабре, а пока мы обновили сайт. Там же можно посмотреть полную программу и записаться в лист ожидания.

Даты: 10 января - 11 апреля 2023 года.
Для тех, кто уже проходил наши курсы, будут скидки от 10% до 50%.
20 мест на каждый модуль.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Опять видел в чужой презентации «не задавайте вопросы про будущее».

Да что ж такое-то.

Как сказал поэт, «я устал быть послом рок-н-ролла в неритмичной стране».

Так вот, я не устал.
И поэтому я напишу ещё раз.

В глубинных интервью вопросы про будущее задавать - НУЖНО. Вопросы про будущее помогают строить прогноз. Но нужно задавать их к месту и правильно интерпретировать. Нет, не надо верить респонденту на слово. Есть рабочие способы отличать декларативное от реального. Какие? Мы писали в этой памятке и подробно рассказывали на митапе.

А вот в UX тестах, стоя с респондентом у работающего прототипа, спрашивать, как вы будете его использовать - НЕ НУЖНО. Но очень многие это делают. Видимо, потому, что Фитцпатрик про UX тесты не писал.

В UX-тесте нужно просто попросить показать.
В глубинном интервью допустимо спросить «Как вы собираетесь действовать?».

Главное, не перепутать одно с другим.

Читать полностью…

PostPostResearch: Константин Ефимов и Анастасия Жичкина

Памятка «Ошибки в UX-тестах и как их избежать»

Разбираем ошибки на разных стадиях UX-теста – от подготовки – до завершения.

(на картинке - превью четвертого слайда)

📝Интерактивная памятка в Figma
🧾Скачать версию для печати в PDF

Памятка создана Константином Ефимовым и Анастасией Жичкиной.

Спасибо Юлии Кингсеп, Мише Хананашвили и Кириллу Улитину за комментарии и дополнения.
Над дизайном работали Анастасия Андреева и Наталья Селезнева.

@postpostresearch

Читать полностью…
Подписаться на канал