Продукторий Владимира Меркушева

29 марта 2024 13:49

Знакомая ситуация? 😉
#producthumor

Продукторий Владимира Меркушева

28 марта 2024 20:50

Круто! Мой вопрос про длительность A/B теста увидел Андрей Менде из @productdo и написал свой развернутый ответ. К этому джедаю экспериментов точно стоит прислушаться — у Андрея огромный практический опыт A/B тестов на алгоритмах поиска Booking. Его комментарий про сложность определения чувствительности изменений заранее мне очень откликается, сам несколько раз был в ситуации, когда сложно предсказать насколько изменится метрика. Подход, когда аналитик считает несколько вариантов длительности для разного минимально детектируемого эффекта может хорошо помочь в этой ситуации. Да прибудет с вами статистическая Сила! 😉

Продукторий Владимира Меркушева

27 марта 2024 10:17

Вы продакт в компании, которая развивает один из самых популярных онлайн сервисов в стране. Много трафика, постоянных клиентов и денег. Вы планируете эксперимент в виде A/B теста UI изменений формы, через которую проходит большинство пользователей сервиса.

Аналитик показывает вам расчёт необходимого количество трафика для того, чтобы результаты теста были статистически значимыми. По его расчётам тест займёт всего 2 часа. Что будете делать?

👇🏻Выбирайте вариант, который считаете правильным в опросе. Завтра напишу разбор вопроса и всех вариантов ответа.

#productquestion

Продукторий Владимира Меркушева

25 марта 2024 11:22

Прожарка резюме продакта в прямом эфире

26 марта, в 18:00 мск пройдёт прямой эфир с Ильёй Шифриным, экспертом Карьерного маркетплейса hh.ru и продактом в Tinkoff Travel.

В эфире:

✔️«прожарят» реальное резюме на вакансию продакт-менеджера;

✔️узнаете, как дела сейчас на рынке продактов;

✔️поймёте, что делать, чтобы устроиться в топовую компанию.

Зарегистрироваться на эфир можно в чат-боте. Бот отправит напоминание об этом и следующих вебинарах, чтобы вы не пропустили самое важное!

Реклама. ООО «Хэдхантер»‎, 129085, г. Москва, ул. Годовикова, д.9, стр.10, ОГРН 1067761906805. erid: 2Vtzqw8DuUh

Продукторий Владимира Меркушева

21 марта 2024 12:22

Продуктовый дайджест

Как обещал, раз в две недели публикую список интересных постов из лучшей продуктовой папки телеграм-каналов Products. Список субъективный, составляю его в процессе чтения каналов из папки, порядок в списке ничего не значит.

✔️Юлия Билинкис пишет про тёмную сторону монетизации Miro. Полностью согласен!

✔️Притча про большие и маленькие заборы в интерфейсе от Алексея Рытова

✔️Интересный анализ новостей про рекламу в Телеграм от Единорога и немного конспирологии на тему связи с запретом рекламы у инноагентов

✔️Миша Греков нашел ещё одно различие между проектом и продуктом. Для разработки второго требуется смекалка! Хорошие примеры в посте

✔️Даша Васятина разбирается где поставить запятую в фразе «быть продактом нельзя быть профессиональным спортсменом»

✔️Вам мешает реклама в каналах о продуктах? А как насчет канала только из одной рекламы? Эксперимент от Глеба Кудрявцева

✔️Аня Подображных делится своим свежим опытом евангелиста AI в Тинькофф

✔️Новый канал в папке Фичизм — кратко о новых фичах в популярных продуктах. Размышления на тему будущего Twitter/X

✔️Иногда участники папки ходят в гости друг к другу. Записи воркшопов про коммуникации с Аней Подображных и Лешей Писаревским в канале Саши Клименко

✔️Рома Абрамов помогает начинающим продактам с поиском работы, пользуйтесь возможностью

✔️Богдан Гончаренко пишет о приобретенных аффордансах в интерфейсе

Это лишь избранные посты из папки Products, подписывайтесь на папку, выбирайте и читайте те каналы, которые вам нравятся 😉

Продукторий Владимира Меркушева

19 марта 2024 11:45

Новый курс от GoPractice

Больше года назад ребята из GoPractice начали работу над новым курсом для тех, кто хочет перейти в профессию продакта из смежных ролей и индустрий. Я даже немного помогал им с набором группы бета-тестеров и поучаствовал в создании кусочка контента для курса — рассказываю в одной из глав про ожидания от junior продакт менеджера.

Сегодня курс вышел в открытый доступ! Поздравляю. Это новость, которой действительно хочется поделиться. Если вы проходили один из симуляторов GoPractice, вы знаете какое там качество материалов. А теперь представьте, что это не симулятор, который можно пройти за пару месяцев, а 11-месячный курс «Профессия: продакт-менеджер» с менторской поддержкой и помощью в трудоустройстве. Мне даже сложно представить сколько сил вложили в создание этого курса.

Курс состоит из 4 частей:
✔️Траектории перехода в продакт-менеджмент. Много о самой профессии, отличиях и общих чертах со смежными профессиями, реальные истории перехода
✔️Основы продакт-менеджмента и практические кейсы. От discovery до OKR и взаимодействия с командой
✔️Симулятор управления продуктом на основе данных. Тот самый симулятор, где вы живете несколько месяцев в роли продакта небольшого стартапа
✔️Дипломный проект. Возможность пополнить своё резюме реальным кейсом под присмотром опытных наставников

Ещё одна особенность этого курса — каждая глава сопровождается небольшими видео от практикующих продактов. У команды GoPractice мощный нетворк, я увидел очень много знакомых лиц из продуктового сообщества.

Короче, ещё один курс, который приятно порекомендовать начинающим ребятам. Все подробности по ссылке:

▶️ https://gopractice.ru/switchers/

#дружескийпиар

Продукторий Владимира Меркушева

14 марта 2024 14:01

Пятьдесят оттенков дейтинга

Как вы думаете, что можно нового придумать в такой нише онлайн продуктов как дейтинг? Кажется, что всё уже существует и сделать что-то новое невозможно. Оказывается, нет.

Недавно случайно погрузился в портфолио продуктов компании Social Discovery Group. Основным бизнесом группы является классический dating сервис на одноименном .com домене. Но, чтобы уйти от прямой конкуренции с Тиндером, который уже можно писать с маленькой буквы, как ксерокс, команда развивает ещё несколько продуктов. Каждый из них создан вокруг потребности, которую плохо решают классические дейтинг продукты, или вокруг побочных эффектов от основной модели сервисов онлайн знакомств.

Magnet — приложение для знакомства без фотографий. Точнее фото есть, но его не видно другим пользователям до определенного момента. Сначала начните общаться, потом посмотрите как выглядит ваш собеседник. Вместо фото пользователи видят нарисованные аватары друг друга. Думаю, неплохо решает потребности тех, кто стесняется или не умеет / не любит фотографироваться.

Once — приложение для знакомств, которое убирает обязательную составляющую процесса поиска — листание бесконечной ленты профилей. Для каждого пользователя алгоритмы подбирают всего 5 вариантов в день, из профилей, которые наиболее совпадают с ним по интересам. При таком выборе качество переписки и осмысленность выбора точно должны быть повыше.

Eva AI — продукт компании, который вообще исключает одну ключевую аудиторию из процесса знакомства. Виртуальные аватары красоток на любой вкус готовы пообщаться с вами 24/7. Аватаров мужского пола на сайте я не нашел, видимо не пользуются популярностью 😁

Также у компании есть несколько экспериментов для подрастающего поколения, например, знакомства без выбора пола. Или знакомства через виртуального друга — аватар, который «развивается при общении с владельцем и может первым начать переписку с аватаром другого пользователя». Вот это полёт фантазии у продактов! Мне было бы интересно посмотреть на продуктовую стратегию компании, и как такие разные продукты в ней уживаются. Если она конечно есть, возможно драйвером многообразия продуктов является вижн основателя компании Дмитрия Волкова, интервью с которым я посмотрел на днях.

А вы как считаете, есть ли шансы побороться с тиндером за рынок знакомств через продуктовый подход?

#productlinks

Продукторий Владимира Меркушева

11 марта 2024 16:06

AI внедрение с масштабом

Klarna поделилась результатами запуска AI помощника на основе Open AI. За первый месяц ассистент пообщался в 2,3 млн чатах с клиентами и сделал это не хуже сотрудников поддержки (они сравнили средний рейтинг оценки разговора клиентами).

Klarna предоставляет сервис оплаты товаров в рассрочку для более чем 150 млн клиентов по всему миру. Представляете сколько у них сотрудников поддержки? Думаю, очень много, но в ближайшее время станет меньше. Ведь ассистент уже справляется с работой, которую бы делали 700 человек, отвечая на две трети всех обращений. Причём он делает это лучше, среднее время решения вопроса сократилось с 11 до 2 минут! А ещё он говорит на 35 языках.

Если бы я работал менеджером поддержки, я бы сейчас сильно задумался о смене профессии 😉

▶️ https://www.klarna.com/international/press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/

#aifuture

Продукторий Владимира Меркушева

08 марта 2024 13:39

Традиционная подборка продуктовых каналов

Раз в месяц я делюсь подборкой из 3 небольших каналов на продуктовую тему, которые мне приглянулись. Новых каналов о продуктах становится всё больше, а лучшая мотивация для начинающих авторов писать интересно и регулярно — внимание подписчиков. Давайте поддержим!

Product Cult — канал Сережи Паращенко, бывшего Head of Product Development МТС, где он трансформировал телеком в продуктовую компанию, а до этого работал продактом Яндекса, Тинькофф, и делал свои стартапы. Сейчас он занимается развитием продуктового управления как product adviser в корпорациях. Пишет про выстраивание Product Discovery, продуктовую культуру и развитие Soft Skills.

Мёд и молоко, чувак — канал Андрея Бакаленко, Chief Product Яндекс Доставки в межнаре и основателя менторского проекта для старшеклассников Путь. У Андрея в канале микс из легких и интересных постов про забавное и бесячее в повседневности, к чему приложили или могли приложить руку продакты, а также душевных рассказов про то, как проходить сложные моменты в карьере и жизни. До Яндекса Андрей строил тот самый мобильный Сбер Онлайн и организовывал образовательную программу в Стэнфорде.

А на третьем месте сегодня нестандартная рекомендация. У нас есть клуб авторов каналов, которые пишут о продуктах и стартапах. Среди участников как владельцы больших и авторитетных каналов, так и владельцы каналов поменьше и помоложе. Недавно ребята с каналами до 5000 подписчиков объединились в папку ProdChannels. В папке много каналов от практикующих продактов, дизайнеров, инженеров, маркетологов, HRов и других специалистов, которые участвуют в создании продуктов. Вы можете одним махом добавить папку к себе, дать шанс всем авторам, а потом оставить только те каналы, которые вас зацепили. Я обычно так и делаю 😉

#дружескийпиар

Продукторий Владимира Меркушева

06 марта 2024 16:05

Проводим интервью сами

Попробую оживить старую и когда-то очень популярную рубрику канала #productquestion.
Я сейчас глубоко погружен в пользовательские исследования, поэтому серия вопросов будет про интервью и проблеме, JTBD-интервью и другие инструменты получения знаний из первых рук.

Итак, вы менеджер продукта в онлайн маркетплейсе одежды, присоединились к команде недавно. У продукта уже есть постоянная аудитория, но до вас никто не проводил исследования с клиентами. Вы хотите лучше понять как они покупают одежду, почему выбирают ваш продукт и какие другие способы используют. Ресурсы ограничены, поэтому вы, начитавшись книг про customer development, решаете провести интервью с клиентами сами.

О каких моментах нужно поговорить с респондентом до того как начать спрашивать про покупку одежды?

Ответы в опрос👇🏻, выбирайте все варианты, которые считаете правильными. Завтра подробно разберём все варианты ответов.

Продукторий Владимира Меркушева

04 марта 2024 13:38

Качаем насмотренность!

Новая инициатива от автора канала Дизраптор — цикл историй о локальных IT компаниях, которые добились успеха благодаря (или вопреки?) конкуренции с мировыми гигантами вроде Google, Amazon, Meta и прочих.

В первой части вы узнаете про:

✔️Суперапп, который превратил стикеры для мессенджера в отдельный бренд и даже создал на их основе свою киновселенную.
✔️Поисковик, который еще недавно занимал 90% местного рынка, но сейчас начал уступать позиции Гуглу из-за недальновидности руководства.
✔️Мессенджер, который быстро захватил рынок за счет функционала помощи при землетрясениях.

Такие истории отлично помогают расширять кругозор и прокачивать продуктовую насмотренность. Тем более что написано всё живым языком и с хорошей долей юмора.

▶️ https://vc.ru/services/1056639-bigteh-o-kotorom-vy-ne-slyshali-kak-lokalnye-it-kompanii-podvinuli-google-amazon-i-drugih-gigantov

#productlinks

Продукторий Владимира Меркушева

29 февраля 2024 14:12

Лучшие посты месяца. Февраль 2024

Приветствую всех новых подписчиков! Специально для вас (на самом деле нет, это регулярная рубрика 😉) сделал подборку постов, которые набрали самое большое количество пересылок и добавлений в избранное. На мой взгляд, это сама честная метрика полезности контента.

✔️Моя рекомендация открытой лекции тренинга «Как делать продукт» от Вани Замесина ожидаемо заняла первое место и с большим отрывом. Там реально полезно!
/channel/vladimir_merkushev/2060

✔️Интервью со звездой продуктовой стратегии Ричардом Румелтом, автором «Good strategy, bad strategy». Он помогал создавать стратегии Microsoft, Shell, Apple и другим, когда мы ещё пешком под стол ходили
/channel/vladimir_merkushev/2065

✔️Испытательный срок работает в обе стороны, слышали? Этот чекист поможет вам принять решение, ну или как минимум задуматься о разных моментах взаимодействия с работодателем
/channel/vladimir_merkushev/2059

✔️Крутое интервью с основателем amoCRM Михаилом Токовининым. Много поленых уроков, которые он выучил вместе с командой на пути к международному продукту
/channel/vladimir_merkushev/2052

✔️Свежий пост про задачи, которые НЕ должен делать продакт, бодро ворвался в топ-5. Зацепило! Не забудьте оставить свой голос в опросе
/channel/vladimir_merkushev/2067

✔️Про маркетплейсы глазами продавцов. Отличная обзорная статья от Дизраптора
/channel/vladimir_merkushev/2054

✔️Подборка в подборке. Мой экспериментальный обзор популярных продуктовых каналов за 2 недели. Планирую продолжить на следующей неделе
/channel/vladimir_merkushev/2057

✔️Свежий опыт тестирования навыков переговоров, который изменил мое мнение о собственных скиллах и заставил задуматься о курсе для их прокачки
/channel/vladimir_merkushev/2066

Спасибо, что читаете Продукторий! 🙏🏻

Продукторий Владимира Меркушева

27 февраля 2024 11:52

Что НЕ должен делать менеджер продукта

Есть много статей на тему обязанностей продакта и задач, которые он должен выполнять, чтобы быть успешным. Но вот о том что не должен делать продакт, пишут редко. Я имею ввиду те задачи, которые другие сотрудники ожидают от роли продакта. Или те задачи, которые вынуждены выполнять продакты, но полезнее было бы их делегировать другим людям в компании.

Ребята из GoPractice решили заполнить этот пробел. Они пообщались с опытными продактами, которые работают на международном рынке. Каждый поделился своим опытом и мнением. Я не могу сказать, что согласен с каждым, но почитать было интересно. Попробую собрать этот список здесь и дополнить его из своего опыта.

Итак, от продакта ожидают что он будет:

Решать проблемы конкретных клиентов. Продакт на основе аналитики и взаимодействия с поддержкой/аккаунт менеджерами должен находить проблемы, которые нужно решать для целого сегмента клиентов.

Быть первой, а иногда, единственной точкой контакта при технических сбоях в продукте. Плохая практика, если продакт каждый день тушит пожары, ему некогда думать про видение и роудмап. Это могут взять на себя служба поддержки и другие члены продуктовой команды. Конечно, если речь не про аварию или критичный баг, тогда в решение проблемы вовлечены все.

Определять как должно выглядеть техническое решение задач клиентов. Продакт должен участвовать в процессе выбора решения, но сам выбор должны делать техлид (Engineering Manager, если вам повезло и он у вас есть) и команда.

Самостоятельно определять бизнес-модель и ценовую политику продукта. Продакт должен лидировать эти вопросы, но работать в тесном контакте с командами финансов, продаж и маркетинга.

Быть проектным менеджером и управлять людьми. Без проектной деятельности очень сложно обойтись, только если у вас в команде нет выделенного проджекта, что редко в наше время. А вот управление людьми вполне можно убрать из обязанностей продакта и дать ему больше времени на исследования, метрики и коммуникации со стейкхолдерами.

Самостоятельно принимать решения. Продакты управляют процессом принятия решений, они определяют какие проблемы, почему, когда и каким путём должны быть решены. Решение принимается сообща, а задача продакта удостовериться, что оно подходит всем стейкхолдерам и держать их в курсе дела.

Управлять бюджетом команды. Это из моего опыта — ни разу не видел, чтобы продакт полноценно мог управлять PnL своей команды. Сложно посчитать profit и никогда нет полного контроля над loss. В итоге все делают вид, что управляют и что-то решают.

Полный текст статьи на английском здесь: https://gopractice.io/skills/what-product-managers-do-not-do/

А вам я предлагаю выбрать, какие задачи по вашему мнению точно не должен делать продакт. Выбирайте несколько вариантов в опросе. Посмотрим, что болит сильнее всего👇🏻

#productlinks #lifehacks

Продукторий Владимира Меркушева

23 февраля 2024 21:28

На выходные хочу порекомендовать вам посмотреть интервью с Ричардом Румелтом, автором «Good strategy, bad strategy». Книга заслуживает внимания, помню ходил под впечатлением после прочтения. Автор тоже, хотя придется приложить немного усилий. Ричард уже в возрасте, когда хочется поговорить о политике и иногда скатывается в эту тему. Но сразу видно сколько знаний, людей и кейсов прошли через этого человека! Он успел поработать с Microsoft, Shell, Apple, AT&T, Intel и спецслужбами США. Много лет преподавал в Гарварде. Очень много ёмких и мудрых высказываний на тему стратегии компании, оценки рисков, создания единой системы принятия решений в команде.

Эти мысли наиболее зацепили:

✔️Нет описания проблемы — нет стратегии. Понимание ситуации и связей между элементами системы это большая часть работы над стратегией. Очень часто это пропускают

✔️Не путайте амбиции и стратегию. Цели стратегии должны быть достижимы и описаны конкретными шагами

✔️Найдите свою силу — чем вы отличаетесь от других, и начните строить стратегию с этого

▶️ https://youtu.be/4uWKEG0s9Kc

#videoholidays

Продукторий Владимира Меркушева

21 февраля 2024 12:41

Клиент созрел

Помните сцену из Брильянтовой руки?

— Сеня, ты уже дошёл до кондиции?
— До какой?
— До нужной!

Сейчас помогаю одной компании с поиском рынка для роста бизнеса через развитие основного продукта для совершенно новых сегментов аудитории. Сделали исследование через серию интервью о проблемах, проверили несколько ключевых гипотез, готовим первый эксперимент...

Руководитель компании — предприниматель со стажем, давно в онлайн бизнесе и запускал много чего с нуля. Его фраза на первой встрече «Я столько денег потерял при запуске продуктов на основе только веры в идею, что хочу хоть раз сделать как надо — сначала найти и проверить проблему, а уже потом разрабатывать решение! Владимир, помоги сделать правильно!» меня подкупила и замотивировала. Клиент дошёл до кондиции! И сделал это через самый эффективный, но дорогой способ — собственные ошибки.

С такими клиентами хочется работать. Им не надо объяснять важность исследований и скорости экспериментов. Хотя, даже с такими начальными установками, бывают запросы «а давайте ещё вот это добавим на лендинг для эксперимента?» или «а может параллельно сделаем решение ещё и для вот этого типа клиентов?». Я стараюсь ограничивать такие шатания. Иногда, приходится напоминать тот первый разговор и задавать вопрос «Мы хотим проверить несколько гипотез роста твоего бизнеса или делаем ещё один красивый, но не нужный клиентам продукт?». Помогает 😉

Если вам нужна помощь в поисках точек роста бизнеса, анализе и улучшении клиентского пути, настройке системы метрик, которые действительно отражают потребности клиентов и бизнеса — обращайтесь. Буду рад помочь. Есть большой опыт, проверенные партнеры и возможность привлечения экспертов с международным опытом практически в любом бизнес домене. Первый вводный звонок — бесплатный, дальше работаем по прозрачной почасовой схеме оплаты, когда вы получаете в свое распоряжение специалистов очень высокого уровня за адекватные деньги. Мой личный контакт в описании канала 👆🏻

А если вы умеете круто делать дизайн, исследования, маркетинг или разработку, и вам нужны интересные клиенты — тоже пишите, буду рад добавить вас в список партнеров после опыта совместной работы.

#lifehacks

Продукторий Владимира Меркушева

28 марта 2024 20:50

Разбор кейса 👆 от Андрея Менде

(1) Первое что бросается в глаза при чтении кейса – то что там не упоминается напрямую один из самых главных параметров. Минимальный детектируемый эффект (он жe MDE или MRE). Длительность теста напрямую (но не линейно) зависит от того, какой эффект мы ожидаем от изменения. Поэтому я ожидаю от аналитика не ответ "два часа", а что-то вроде:
- за два часа мы задетектим изменение метрики на 5%
- за день на 1%
- за неделю на 0.5%
Можно построить график этой зависимости и вместе выбрать на этом графике точку, которая соответствует целям эксперимента.

Предположим, что продакт с аналитиком заранее договорились о том какой эффект они ожидают. Хотя на практике такое редко встречается, потому что никто не умеет предсказывать насколько ответит метрика).

(2) Если у вас такой бешеный избыток мощности, то с той ли метрикой вы работаете? Как правило, чем метрика ближе к истинной бизнес ценности, тем у нее меньше чувствительность и опытный продакт-экспериментатор будет выбирать максимально точную метрику, на которую у него хватает трафика.
Круто работать с конверсией, но если трафика пока мало, можно работать с добавлением в корзину или вообще с кликом на предложение. Поэтому большинство продактов работают на грани мощности. Если мощности в избытке – можно посмотреть нет ли более точной и глубокой метрики.

(3) Длительность теста зависит не только от мощности. У большинства бизнесов есть существенные суточные и недельные циклы, что означает что рандомные два часа в какой-то день недели не репрезентативны, выводы сделанные на такой выбоке нельзя экстраполировать на всю аудиторию сервиса. Поэтому в большинстве компаний длительность теста округляют до целой недели в большую сторону.

(4) Изменять соотношение между базой и вариантом и запускать тест на 90/10 имеет смысл только в одном случае: если у вас в тесте могут быть негативные последтсвия, которые видны только с большой задержкой. Представим себе, что наш эксперимент уменьшает конверсию на 5%. Если вы помните, как устроен расчет мощности, то чтобы задетектить это изменение вам нужно N наблюдей. Если вы запустите тест на небольшую долю аудитории, то единственное что вы сделаете – это увеличите время через которое вы этот результат получите. Пострадает ровно такое же количество пользователей! Мощность не зависит от времени, только от количества наблюдений. Поэтому тесты почти всегда стоит запускать 50/50.

Что бы я сделал (если более удачной метрики нет): запустил бы тест на неделю и порадовался. Работать на пределе мощности теста – на самом деле опасно и плохо, этого надо избегать. При избытке мощности сильно снижаются вероятности ошибок всех родов, так что надо радоваться.

Let the statistical power be with you.

Продукторий Владимира Меркушева

28 марта 2024 11:46

Разбираемся с вопросом про странный расчёт длительности A/B теста. Вопрос необычный. Чаще всего те из нас, кто сталкивается с A/B экспериментами, работают в ситуации, когда трафика мало. Поэтому длительность эксперимента в 2 часа кажется ошибкой. Но так может быть. Давайте вспомним от чего зависит и как можно оценить длительность A/B теста.

Размер выборки зависит от текущего значения метрики, которую мы хотим улучшить, и от чувствительности измерений, которая нам нужна. Обычно изменения стараются делать гранулярными, поэтому ожидаемый рост может составлять несколько процентных пунктов. Допустим, что наша форма — это подача объявления на самом популярном сервисе объявлений в стране. Текущая конверсия формы 30%, мы думаем, что наши изменения в интерфейсе могут повысить конверсию на 10%. Используем специальный калькулятор и получаем, что в каждой группе должно быть больше 6228 участников при мощности эксперимента и уровне доверия в 95%.

У нас популярный сервис. На таком может быть десятки и сотни тысяч новых объявлений в сутки. Наши 12000+ минимально необходимых экспериментов могут действительно пролететь за несколько часов при распределении всего трафика случайным образом на тестовую и контрольную группу в пропорции 50/50.

Ну и что? Получим результат за 2 часа — быстрее сделаем выводы и донесем ценность до клиента. Так нас учит Lean подход и все гуру продакт менеджмента. Да, но не в этом случае. Смысл A/B тестирования — проверить изменения на небольшой репрезентативной группе пользователей и сделать выводы о том, как изменения могут повлиять на всех. Является ли аудитория, которая за 2 часа увидит изменения, репрезентативной всей огромной аудитории нашего популярного сервиса? Какие 2 часа из суток это должны быть? В какой день недели? Чтобы таких вопросов не возникало за минимальную длительность эксперимента обычно берут неделю. Бывают исключения, но это правило подходит для большей части онлайн продуктов.

А что делать с «лишним» трафиком? В OLX Group, где я проводил много экспериментов, с этим поступали так: выделяют из всего трафика «кусочки» по 10%, на тестовую группу эксперимента назначают X кусочков, и на контрольную группу тоже X кусочков. Пользователи или сессии распределяются в кусочки случайным образом. Получается, что можно один A/B тест запустить на 10% трафика и оставить 80% на другие тесты. Обычно у нас шли несколько десятков экспериментов одновременно.

Так что правильный ответ — вариант 3 либо свой вариант, где вы предлагаете добавить время эксперимента до недели.

#productquestion

Продукторий Владимира Меркушева

26 марта 2024 09:06

Примите участие в масштабном исследовании современных подходов к управлению проектами от Школы управления СКОЛКОВО

– Какие практики управления отвечают вызовам времени?
– Существует ли новый «золотой стандарт» менеджмента?
– Что имеет успех, а что провально?

Осталось совсем немного времени – до 1 апреля – чтобы принять участие в исследовании и поделиться своим опытом.

Каждый участник получит:
✔️1000 бонусных баллов от Школы,
✔️результаты исследования в виде полных данных,
✔️приглашение на конференцию с презентацией результатов.


В исследовании собирается информация не только по успешным, но и по сложным / провальным проектам. Такие проекты особенно интересны. Научный руководитель исследования – профессор бизнес-практики Павел Алферов.

Успейте принять участие по ссылке!

Реклама. НОУ ДПО МОСКОВСКАЯ ШКОЛА УПРАВЛЕНИЯ «СКОЛКОВО», ИНН 5032180980
erid:2SDnjc7iQ5v

Продукторий Владимира Меркушева

24 марта 2024 11:15

Задача на выходные

Посмотрел за пару дней первый сезон нового сериала на Netflix от создателей «Игры Престолов». «Задача трёх тел» — масштабная фантастика с интересными главными героями и необычным сюжетом. В основе одноименный роман китайского писателя-фантаста Лю Цысиня, который я не читал, но судя по всем скоро это исправлю! Особенно радует, что это трилогия. Так что можно ожидать ещё с десяток сезонов про уже любимых героев.

Я всегда любил качественную фантастику с продуманной вселенной и сюжетом. К сожалению, сериалы по таким историям редко получаются хорошими — всю глубину фантазии автора сложно воплотить на экране, как технически, так и в плане описания сложного мира и его законов средствами кино. Но здесь, кажется, команда и роман нашли друг друга!

▶️ https://youtu.be/mogSbMD6EcY

#videoholidays

Продукторий Владимира Меркушева

20 марта 2024 17:42

Был бы я художником, дорисовал бы третьего кота, который с удочкой в виде этих двух котов ловит рыбу рядом. С надписью AI ARTISTS.
#producthumor

Продукторий Владимира Меркушева

18 марта 2024 09:54

НЕ консалтинг

Имидж слова «консалтинг» заметно подпорчен большими компаниями, которые за много-много денег делают толстые отчёты о том, в чём разбираются очень поверхностно. Я несколько раз лично сталкивался с результатами такой «работы» при разработке продуктов, когда отчёт должен был стать основной для создания нового сервиса. Бывали случаи, когда бы очевидно, что отчёт делали люди, которые никогда сами не запускали продукты.

Возможно, в оффлайн бизнесе консалтинг действительно вещь полезная — как открыть сеть магазинов или построить завод действительно лучше узнать у профессионалов и получить на выходе подробный план реализации.

В онлайне всё иначе. Не существует рецепта создания успешного продукта. Это всегда серия гипотез и экспериментов, которые приводят к конечной цели. Или не приводят 😉 Но и здесь можно оптимизировать усилия, обратившись к эксперту, который уже много раз проходил этот путь. Это не про знание как надо делать, это про то, какие подходы и инструменты использовать, чтобы проверить самые перспективные гипотезы и получить достоверные результаты. Для этого формат толстого консалтинг-отчёта не подходит. Эксперт работает в тесном контакте с заказчиком, его командой, продуктом и аудиторией. Вот несколько примеров из личного опыта:

✔️проектирование нового пути клиента в B2C-продукте для увеличения конверсии и создания aha-момента до контакта с отделом продаж

✔️настройка мультиканальной аналитики под ключ для выявления ключевых сегментов платящих клиентов

✔️исследование в нескольких странах Европы для проверки спроса и выявления потребностей, которые могут быть использованы для запуска B2B-продукта, успешного на рынке СНГ

✔️исследование потребностей целевой аудитории в новом сегменте рынка и запуск эксперимента для расширения бизнеса

Как назвать такой вид услуг? Я уже устал говорить на встречах с потенциальными клиентами, что занимаюсь «консалтингом, но не консалтингом». Экспертинг? 😁

Если сталкивались с типичным консалтингом — ставьте ❤️, а если примеры отзываются и вам нужен «экспертинг» — мои контакты в описании канала.

#мысливслух

Продукторий Владимира Меркушева

12 марта 2024 10:22

Жизненный #producthumor от @productsmemes 😅

Продукторий Владимира Меркушева

10 марта 2024 14:42

Продукторий, с днём рождения!

Ровно 6 лет назад я начал вести этот канал. Тогда это был скорее ещё один способ распространения для материалов, которые я писал в своем блоге на Medium. Сейчас канал отобрал у блога первый приоритет и стал самостоятельным инструментом для:

✔️общения и развития нетворка. Я познакомился с тысячами разных людей, собрал клуб единомышленников — авторов каналов о продуктах, сделал десятки гостевых постов с экспертами из других областей, сходил в гости к авторам популярных подкастов

✔️обучения себя и других. Я побывал на десятках конференций в статусе партнера, прошел несколько крутых курсов по приглашению авторов, запустил свой курс на EpicGrowth, помог сотням менти в вопросах карьеры и развития навыков

✔️самореализации. Возможность выражать свои мысли и получать обратную связь от классной дорогого стоит! А ещё, у меня теперь практически на любую тему есть ссылка на пост, которой можно поделиться с собеседником. Бывает очень полезно!

✔️дополнительного дохода. Я продолжаю очень тщательно фильтровать заявки на рекламу и отклоняю больше половины желающих что-то продать моим любимым читателям. А по-настоящему интересные предложения и рекламировать приятно! Ещё приятнее потом пробовать новые продукты и оплачивать подписки из заработанных на рекламе денег 😉

Спасибо за ваше внимание и реакции! Без них бы канал точно не дожил до такого солидного, по меркам Телеграм, возраста 🥳

PS: ссылка на пост времен начала Продуктория — моя попытка писать интересно на любые темы, даже про… кроссовки. Получилось? 😁

Продукторий Владимира Меркушева

07 марта 2024 11:40

Разбираем ответы на вопрос про начало интервью👆🏻. Для удобства я расположу правильные варианты в том порядке, в котором их стоит выполнить на интервью.

Познакомиться и установить эмоциональный контакт. Это важный шаг, который может повлиять на всё ваше общение. Респондент должен чувствовать себя свободно и комфортно. Поэтому стоит начать с небольшой беседы, немного рассказать о себе, найти что-то общее.

Рассказать с какой целью вы проводите исследование. Здесь мы даём понять, что хотим узнать опыт респондента и научиться на его опыте. Постарайтесь обозначить предмет исследования, но без конкретики. В нашем примере это «мы хотим лучше понять как люди покупают одежду».

Установить границы. Скажите сколько времени займёт интервью. Предупредите респондента, что будете задавать личные вопросы про его опыт. Важно сказать, что это не экзамен и здесь нет правильных и неправильных ответов. Можно сказать, что респондент не обязан отвечать на вопрос, если он не хочет.

Попросить разрешение на запись интервью. Записывать интервью — важно. В процессе разговора, даже если вы прокачали навыки конспектирования, вы точно пропустите что-то важное. Объясните для чего вам нужна запись (не хочу отвлекаться от беседы, буду использовать только для этого исследования, не буду никуда выкладывать), спросите разрешение.

Задать общие вопросы. Возраст, место жительства, сфера деятельности респондентов задают нужный нам контекст и помогают при сегментировании. Этот список можно расширить до хобби, любимых брендов, уровня образования и любых данных, которые вы сможете узнать у каждого респондента. Постарайтесь включать в список только те данные, которые вам действительно необходимы при анализе результатов.

Нет: Рассказать в какой компании работаете и какой продукт вы делаете. В B2C интервью не рекомендуется рассказывать о продукте, над которым вы работаете, в начале общения. Это может исказить результаты. В конце интервью можно немного рассказать о вашем продукте и даже предложить попробовать его новые функции. Но делать это уже после того, как вы получили «чистые» знания про опыт респондента.

Нет: Узнать точный уровень дохода респондента. Люди не любят вопросы про деньги. Подумайте несколько раз прежде чем добавить такой вопрос в список общих вопросов. Уровень дохода можно определить и по ответам на другие вопросы, а не спрашивать респондента напрямую.

#productquestion

Продукторий Владимира Меркушева

05 марта 2024 14:19

«Уровень любого Head of Product или CPO нужно оценивать по уровню его самого слабого подчиненного»
Марти Каган

Марти всегда топит за то, что менторство и развитие своих подчиненных (продакт менеджеров) — важнейшие задачи продуктового лидера.

Согласны? 😉

Продукторий Владимира Меркушева

01 марта 2024 13:57

Пятница, а значит пришло время рекомендации хорошего контента на выходные!

В свежем выпуске подкаста make sense круто поговорили о роли CPO в стартапах и больших компаниях. В гостях был Денис Пушкин, CPO Social Links, ex-Skyeng. У него двойной опыт присоединения к небольшим стартапам в роли CPO и серьезный опыт руководства продуктами крупной компании, лидера рынка онлайн образования. Это помогло сравнить и сделать выводы. Очень полезно послушать, если вы задумываетесь об этом пути.

О чем говорили:
1:51 Зачем Денис перешел из большой компании в стартапы
4:21 Отличие линейного продакта от CPO
5:18 Отличия стартапов и работе над продуктом в стартапе
7:11 Зачем стартапу CPO
9:26 Необходимость контроля и ручной работы в стартапах
11:49 Почему в стартапе важно уметь быстро увольнять людей
15:50 Необходимость выходить за рамки своей ответственности
20:21 Проблема с фокусом. Как определить, над чем стоит работать сейчас
22:51 Процент времени, которое тратится на общие цели. Оптимизационная метрика
24:48 Кейс по поиску оптимизационной метрики
27:45 Почему вредно работать над идеями, каналами и нишами параллельно
31:22 Когда стартапу начинать работать над следующей инициативой
34:43 Погружение в реальность в большой компании и стартапе
38:34 Стартапы — это непривычно и некомфортно для обычного CPO
39:55 За что CPO отвечает в стартапе
43:36 Временной горизонт действий CPO в стартапе

Слушать:
iTunes: https://clck.ru/38xvUc
YouTube: https://youtu.be/RsmIs9uuEjM
Castbox: https://clck.ru/38xvXA
Яндекс Музыка: https://clck.ru/38xvSq
Google Подкасты: https://clck.ru/38xvTn
mave: https://clck.ru/38xvRF

#videoholidays

PS: Денис недавно начал писать на HackerNoon, там есть несколько интересных статей на основе его опыта в роли CPO. Советую посмотреть!

Продукторий Владимира Меркушева

28 февраля 2024 15:15

#producthumor по мотивам моего недавнего поста про софт скиллы 😁
Леорадка и Рыкодил — вполне себе хорошие названия для команд. Я видел и более странные варианты 😉

Продукторий Владимира Меркушева

26 февраля 2024 12:46

На сколько вы уверены в своих софт скиллах?

Я считаю себя человеком, который может найти общий язык и договориться практически с любым собеседником. Технический бекграунд, много-много общения в очень разных форматах и много работы над своей врождённой интровертностью сделали из меня неплохого «переговорщика» в вопросах продуктовой разработки. Но я никогда не задумывался, какие приёмы я использую при общении и какое влияние на результат оказывают эмоции.

Недавно Саша Клименко, моя давняя знакомая и CEO компании Soft Skills Lab, пришла ко мне с интересным предложением — пройти их фирменное тестирование навыков ведения переговоров и написать честный отзыв. Тестирование занимает около часа живого общения с экспертом Soft Skills Lab, в моем случае это была сама Саша. Сначала она погрузилась в мой контекст и попросила рассказать несколько свежих рабочих кейсов, связанных с коммуникациями.

А потом началось интересное! Саша предложила разыграть по ролям несколько сценариев, которые выявят мои сильные и слабые стороны. Например, «ты пришел к своему менеджеру и хочешь обсудить увеличение сроков проекта, который вы ранее обсуждали и взяли в работу». Или «на встрече команды ты услышал как один разработчик, более опытный, довольно грубо обрывает и игнорирует предложения другого разработчика, недавно присоединившегося к команде. Что ты будешь делать?»

Саша играла очень сложного собеседника. В ход пошли и прямые манипуляции, и эмоциональные реакции, и подмена фактов в процессе разговора. А я несколько раз почувствовал, как ведусь на эти приёмы! Например, начинаю оправдываться там, где нужно продолжать отстаивать свою позицию. Или лезу в проблему, которую можно было вообще не обсуждать. Или чувствую, что собеседник ведёт себя так из-за эмоций, но не умею сказать об этом и проявить участие, чтобы выйти из конфликтной ситуации.

В результате я получил целый отчёт с разбором своих сильных и слабых сторон. В нём есть раздел рекомендаций, где собраны ссылки на тренажеры от Soft Skill Lab, полезные статьи и книги по теме навыков, которые нужно развивать. Хорошие новости в том, что эти навыки можно прокачать. Это как с когнитивными искажениями — если вы о них знаете, вы можете их избегать или даже использовать в своих интересах.

19 марта ребята стартуют новый поток курса Осознанные коммуникации для руководителей, и я сам уже задумался о том, чтобы присоединиться к группе.

Чтобы вы могли пообщаться c авторами до начала курса, проанализировать свои потребности и принять решение, нужно ли вам обучение, ребята создали канал предзаписи. Там они проводят мастермайнды и вебинары, отвечают на вопросы и разбирают кейсы учеников. Кстати, тестирование, о котором я писал, можно пройти на платной основе, а можно присоединиться к группе и получить его в подарок к регистрации на курс до первого марта.

#дружескийпиар

Продукторий Владимира Меркушева

22 февраля 2024 10:40

Не синхронизация

Купил недавно подписку на курсы от Синхронизации — уж очень убедительно Юра Дудь их рекламирует практически в каждом выпуске. Контент действительно крутой, вопросов нет. Но, ребята, что с платформой для продажи и просмотра этого контента? Такое ощущение, что у команды была цель сделать всё по-своему. К чёрту референсы и опыт огромного количества продуктов с контентом по подписке!

Началось с того, что при покупке мне не пришло письмо с доступом. Причём квитанция об оплате пришла, а доступ нет. Ну ок, понимаю, баги бывают у всех. Ребята из поддержки быстро отреагировали и прислали доступ.

Ввожу код активации, захожу в кабинет. Меня встречает встроенное видео «Как пользоваться подпиской Синхронизации». Уже тревожный звоночек: если ваш интерфейс нужно объяснять в 5 минутном видео — это плохой интерфейс.

А дальше вообще начинается странное. Оказывается, для активации подписки требуется время. Я прямо представил, как какие-то гномики бегают по базе контента и проставляют статусы «этот контент доступен для Владимира». Вы серьезно? Ок, жду минут 15, гномики работают… 😁

Подписка активировалась, ура! Ну, думаю, сейчас посмотрим. Захожу на красивый лендинг курса Кино глазами режиссёров, а он упорно предлагает купить мне курс за 9840₽. Неужели обманули? Тот самый курс, который мне рекомендовал Дудь, жадные создатели Синхронизации не добавили в подписку?! Нет, оказывается, чтобы добавить курс в свой кабинет и начать его смотреть, нужно ввести в форму емейл, на который вы купили подписку. Тогда лендинг курса сообразит, что вам можно его продать за 0₽. И действительно продаёт — процесс выглядит как покупка с нулевой суммой. Потом нужно зайти в кабинет и найти там новую ссылку на просмотр 🤯

Просмотр самого курса вытянул испорченные впечатления, но осадочек остался. Ребята из Синхронизации, если вы это прочитаете, опыт клиента должен быть «синхронизирован» с качеством вашего контента. У вас отличные лендинги и крутой маркетинг с целью продать подписку. Но разве те клиенты, которые уже заплатили вам деньги, менее важны?

Уверен, реклама у Дудя стоит дорого, и можно было потратить часть бюджета на проектирование и разработку удобного продукта.

#productlinks #lifehacks

Продукторий Владимира Меркушева

20 февраля 2024 13:49

Страшный сон продакта

Вчера проснулся среди ночи. Приснилось, что я беру свой телефон в руки, а вместо всех любимых приложений дырки, через которые видно картинку на фоне. Остались только приложения, которые используешь раз в месяц или ещё реже. Нет ни хрома, ни телеграма, ни почты… И в поиске по магазину приложений их не находит! Было реально страшно 😅

#producthumor