ProductDo: практика продакта

09 июля 2024 13:17

Как вы думаете, сколько микросервисов участвует в таком "простом" процессе, как вызов такси и поездка из A в Б? 5? 10? 100? Если верить статье Uber, то 2200 🙂

Выглядит это как будто рядом с вами существует какой-то глубокий мир, который спрятан за экраном смартфона. С точки зрения пассажира это прекрасно (я просто хочу доехать до аэропорта, сервисы оставьте себе), а вот если вы руководитель (продакт, проджект, менеджер, главный маркетолог) в Uber, то отмахнуться уже просто так не получится.

И даже если вы не в Uber, а в месте попроще (например, продаете физические товары или услуги), нужен сайт, система инвентаря и покупок, тд. Эта вся кухня работает с помощью микросервисов, общающихся по API. Масштабы другие, но смысл остается.

Можно ли сущестовать, не понимая этого мира? Можно, конечно, и многие так и делают. Это примерно, как жить в стране, не зная язык - криво-косо можно объясниться, перейти на английский, или общаться только с соотечественниками, но картина присходящего будет явно неполной и многие решения примут "за вас". Сделают ли вас технические знания CPO прямо завтра? Нет. Увеличат ли зарплату в 100500 раз джуну с опытом работы 1 год? Нет. Дадут ли скилл, который поможет вам планировать и завершать проекты сильно более эффективно за счет понимания того,"что же там на самом деле происходит"? А вот тут да. И с этим вы уже сами, год за годом можете метить в нужную должность, повышать зарплату и тд.

Как вы знаете, у нас по этому поводу есть практический симулятор - "Технологии для продакта". У курса средняя оценка 4.94/5.0, что говорит о том, что продакты получают именно то, за чем пришли, что нас, авторов, очень радует! Особенно нас радуют фразы "Начала уверенно общаться с тим. лидом", "Применил чек-лист на работе и меня первый раз поняли!". В общем сердце авторов тает.

Но знания растут только если впахивать. Неделя пота и мучений, и студенты выходят с новыми нейронами в голове, которые позволяют на уровне общаться с командой, прикидывать сложность и сроки проектов и уметь "защищать" продукт (который обязательно сломается, что бы вам не рассказывали со сцены улыбчивые CEO). Вот отзывы ребят с последнего потока:

"Я давно искала курс, который помог бы мне как специалисту, пришедшему в продукт из гуманитарной сферы, систематизировать мои довольно поверхностные и разрозненные знания "технички". И наконец-то нашла - паззл сложился)) Спасибо вам огромное, что сделали полезный, неводяной симулятор, где все по сути. "

"Спасибо за такой курс, это правда уникальный курс, который погружает в Tech домен. Было интересно и увлекательно, будто открываешь для себя что-то увлекательное и это затягивает как редкая книга. "

"На самом деле обучение понравилось мне больше чем любое другое. А в моем опыте есть такие как ГоуСимулятор, ПродактСтар и тд. Чем лучше - практические занятия классные, то есть они реально практические. Это удобно и это действительно очень качает."

Интенсив состоится на неделе 15 июля (15 июля 19-00, 17 июля 19-00, 20 июля 10-00 - время GMT+3). Вы пройдете симулятор и на созвонах вместе с коллегами-продактами раскатаете еще 3 стартапа: соц. сеть для автомобилистов, омниканальный мессенджер и умный дом. Ведет Lead PM Booking. com Владимир Калмыков. В ближайший четверг поднимем цену, так что впрыгивайте.

ProductDo: практика продакта

06 июля 2024 08:28

Не, ну честно!

(1) Во-первых, это сразу видно. Да-да, по водянистому привкусу бессмысленности текста.
(2) Во-вторых, это почти всегда ухудшает то, что вы хотите сказать. ChatGPT мягко приводит любую мысль к максимально банальной форме, лишая ее любой конкретики и индивидуальных особенностей.

ProductDo: практика продакта

04 июля 2024 08:53

Продолжаю рассказывать про работу с т.н. holdout-группами (ссылка на прошлый пост вот тут).

Обычно выделяют две разновидности холдаутов: глобальный и локальный. Глобальный означает, что указанная группа пользователей изолирована на уровне всего продукта и всех команд. Разумеется, это самый точный способ замерить долгосрочные эффекты и определить реальный эффект от раскатанных а/б тестов. Локальный же предполагает, что холдаут группа работает только на уровне твоей команды или департамента (чаще всего второе). Глобальные эффект таким образом не проверить, но эффекты в определенной части продукта (или же определенной направленности) а/б тестов это показывает.

Какие, казалось бы, с этим могут проблемы? Ну во-первых, пользователи в вашей холдаут группе наверное будут не в восторге от того, что они не получают новые обновления. Поэтому пользователей в холдаутах рекомендуется периодически ротировать (например 1 раз в квартал или полгода).

Но самая главная проблема кроется в организации этого процесса. На уровне команды или департамента обычно не возникает больших трудностей. Но на глобальном уровне организовать это становится практически невозможно, если команд и департаментов много. По сути, это означает, что все изменения, которые ты вносишь в продукт, должны учитывать холдаут. А если холдауты еще ротируются по кварталам (или их несколько, например, квартальный и годовой холдауты), то все становится еще сложнее. Достаточно, чтобы одна команда проигнорировала это правило разок, чтобы все труды пошли на смарку. Все релизы, баг фиксы и тд. должны быть спланированы с учетом существования изолированных групп пользователей и их ротаций. Что обычно бывает крайне-крайне сложно организовать.

Вот и получается, что механизм вроде эффективный и совсем несложный для понимания. Но организовать на практике его обычно получается только на локальном уровне. Парадокс, но именно организация релизов продукта с учетом изолированных групп пользователей становится главным препятствием. Но, несмотря на это, использование этого метода на локальном уровне весьма распространено и таких проблем обычно не вызывает.

В следующем посте я расскажу какие неявные эффекты позволяет эта методика отловить и как еще можно использовать изолированные группы.

ProductDo: практика продакта

01 июля 2024 06:14

Дополню свою серию про MVP примером из жизни.

Шел я пару дней назад по Загребу (классный, кстати, город) и захотел купить водички. Захожу в обычный с виду супермаркет, но там тихо, никого нет, и у входа сидит девушка. Она объясняет, что это Smart-версия их сети, поэтому тут нет кассира, зато надо тапнуть картой по карт-ридеру при входе (блокируется 10 евро), а при выходе цена покупки спишется с карты сама.

Вообще классно, идея мне нравится! Тапнул я pay pass-ом, собрался заходить, но ворота закрыты. Оказывается, мне надо ввести еще имя и имейл, чтобы "получить чек". Я говорю, а можно без этого? Нельзя, говорит – закон. Отдавать непонятному магазину свой имейл и имя на пустом месте как-то странно, не хочется этого делать. Значит надо вбить какой-то мусорный несуществующий имейл... vladimir100500@... Окошко долго не открывается, терминал тормозит. Можно еще приложение установить, говорит помощница – тогда всё будет как по маслу.

В общем для покупки водички процесс стал приобретать ненужную ему сложность, я прошелся еще 200 метров в олд-скульный супермаркет и всё сработало.

Ругать MVP других продактов – дело простое. А давайте лучше найдем 2 преимущества и 2 недостатка такого Minimal Viable Product?
Какие гипотезы удалось протестировать хорватскому коллеге, а где он немного, кажется, пустил под нож лишнего? Разумеется, это будет только наше мнение, настоящие данные есть только у него и его аналитика.

ProductDo: практика продакта

25 июня 2024 07:56

И продолжая тему MVP и практики (это одна из задачек нового урока).

Перед вами стартап аренды одежды. Суть его сводится к вопросу: "Зачем покупать платье за 100500 рублей, если можно его арендовать, а через неделю поменять на что-то еще?"

Джун набросал прототип CJM для MVP и это его первые три экрана (для простоты только три).

Внимание, вопрос: что можно обрезать, чтобы сделать MVP более "minimal"? Кто первым обрежет наибольшее число фичей, чтобы при этом кусок CJM остался viable, может получить наш любой мини-симулятор на выбор.

ProductDo: практика продакта

21 июня 2024 06:49

Вы знаете, что мы в ProductDo большие фанаты практики и реальных кейсов (и не очень любим сферических теоретиков в вакууме и универсальные фреймворки на все случаи жизни).

Сегодня у нас на канале #дружескийпиар Кристины и ее канала @productgames. Кристина (как и мы) очень много пишет о реальных продуктовых задачах и про то, как они решаются на практике.

Кристина – продакт менеджер в немецкой компании New Yorker (ex-ВТБ), основатель кейс-клуба по продакт-менеджменту Product Games и консультант по продуктам. Как и в ProductDo, в канале @productgames регулярно проходят стримы. Например, в последний раз разбирали, как развивать внутренние продукты – очень насущная тема.

Вот несколько постов для примера, которые мне понравились:

→ Продуктовый кейс: Dropbox и метрики вовлеченности
→ Как продакту оформить CV, Cover letter и LinkedIn
→ Взгляд продакт-менеджеров на работу с B2B-продуктами
→ Как развивать продукты для внутреннего пользователя: продакты делятся опытом

Если хотите больше полезных продуктовых примеров, которые повышают насмотренность – добавляйте Кристину (@productgames) в свою папочку с полезными подписками.

ProductDo: практика продакта

19 июня 2024 06:22

Запись вчерашнего вебинара: https://youtube.com/live/8QfOMVsVC3I

ProductDo: практика продакта

12 июня 2024 08:57

Повседевный лайфках продакта: саммари слайдов презентаций

Привет, на связи Владимир.
И я хочу поделиться небольшим, но очень полезным хаком, который я узнал от своего директора.

Я очень люблю такие штуки: они кажутся незаметными, но, поскольку применяются почти каждый день, могут вполне конкретно влиять на карьерный путь. Аналог из жизни: если научиться правильно водить щеткой по зубам (оказывается, там возможны варианты), можно изменить динамику похода к стоматологу и сильно сэкономить на масштабе 10 лет.

Лайфках кажется простым, но он в то же время сложный. Идея состоит в том, что в каждой вашей презентации (например, стратегии или отчете за квартал) вы суммируете то, о чем говорит весь слайд. То есть название слайда, под ним главная мысль, под ним остальной контент, например, вот так:

- Название слайда "Маркетинговая кампания: скидки на мороженое для детей"
- Главная мысль "Несмотря на инкрементальность в детском сегменте (+21%), мы не увидели общего роста для бизнеса (+0.02%)"
- Детали: графики, разбивка по сегментам, даты запуска, анализ каннибализации других сегментов и тд.

Почему это важно:
1) Сложно разбираться в деталях, пока не понятен контекст: у вас есть 3 минуты внимания аудитории и никто, кроме вас не знает обо всех тонкостях проекта. Да, в вашей голове это все связано нейронами, но для наблюдателя это пока просто набор несвязанных букв и кривых. Люди лучше всего понимают материал, если его выдавать по уровням: название, главная мысль, детали, подтверждающие ее.

2) Часто вы сами не до конца поняли свой же результат, поэтому хотите спрятаться за кашей деталей: гораздо проще накидать на слайд много цифр, чем сформулировать бизнес-вывод (этим, кстати, и отличается хороший продакт от плохого). В примере выше грустный вывод, что работа департамента за 2 месяца не привела к росту бизнеса, зато мы многому (надеюсь) научились. Можно было бы попытаться "спрятать" этот результат за 5 графиками, и надеяться, что аудитория "проспит" этот слайд (но директор не проспит!).

3) У топов нет времени читать все детали: спешу вас расстроить – то, что для вашей команды заняло год (например, повышения конверсии в регистрацию на 5%), для топа всего лишь одна строчка из 100 в отчете компании. В примере с мороженым, он не очень заинтересован в деталях теста, а просто хочет узнать, как мы подняли продажи (сюрприз: никак!). Конец, дальше он не читает.
Вы и сами ведете себя как "топы", когда ваш программист на стэндапе начинает рассказывать, как он, значит, нашел красивое старое API, потом отнаследовал уже готовый интерфейс из внутренней библиотеки, потом нашел баг в JS, и тд - хотя вас интересует только ответ, работает ли новая фича. Просто скажи, работает, блин, или нет! <продолжает рассказывать про параметры функции>

В итоге: 90% ваших слушателей доверяют вам сделать всю сложную работу и дать им на блюдечке ответ в 1-2 предложениях – его-то мы и ставим в шапку слайда. Получение "ответа" заставит вас напрячь мозг и сконцентрировать много данных в звонком и научно-выверенном предложении, но окупится понимающим взгядом аудитории и мыслями топов "Ну каконец-то четко и без воды, хороший лидер, надо ему наш новый проект вести".

ProductDo: практика продакта

03 июня 2024 08:34

Совсем недавно в мире гейминга прошумел нешуточный скандал по поводу одного из самых популярных на данный момент онлайн проектов от Sony: Helldivers 2. Если вкратце, то Sony внезапно решила закрыть продажи на ПК своего самого успешного за последний год проекта в 180 странах мира, где нет официальной поддержки ее собственного магазина и сервиса PSN. Все ради того, чтобы обязать всех игроков на ПК устанавливать и подключать свой аккаунт к PSN.

Этот весьма странный ход вызвал много недовольства. Мне он прежде всего интересен тем, что напоминает историю про «метрики тщеславия» (vanity metrics) и эффект Гудхарта. Мы этот момент разбираем вместе с выбором NSM в нашем курсе "Базовая аналитика для продакта". Это когда в качестве метрик успеха для твоего продукта ты выбираешь какие-то легкодостижимые, но абсолютно бессмысленные в долгосрочном плане показатели. Либо когда формальное достижение цифр становится целью в ущерб здравому смыслу.

Очевидно, что в плане роста метрик Sony делает ставку на увеличение количества подписок. Но делается это в ущерб продажам, отзывам и количеству активных игроков. Видимо, стратегией компании является показать рост пользователей PSN перед инвесторами. И, безусловно, самый быстрый способ это сделать – тупо обязать всех пользователей использовать их сервис. Казалось бы, тогда все будут довольны - инвесторы получат показатели роста, которые им нужны, а менеджеры получат свои премии, которые на эти показатели завязаны. Но много ли в этом шаге логики и будущего, если ты убираешь продажи в 180 странах мира, обрушаешь финансовые показатели и вместо пользы отворачиваешь своих пользователей от себя? Я думаю... вопрос риторический.

Как считаете, стоит ли достигать целей подобными методами? Были ли у вас в практике такие случаи? Делитесь своим мнением в комментариях.

ProductDo: практика продакта

29 мая 2024 09:55

Можно ли развивать внутреннюю аналитику как продукт?

В этот четверг к нам на эфир придет Рома Бунин, автор канала про дашборды и визуализацию данных. Рома, наверно, лучше всех понимает как строить системы дашбордов и аналитики для компаний. Как делать их полезными и даже насущно необходимыми для бизнеса.

Продакты, которые работают над внутренними продуктами, часто очень тушуются, когда их спрашиваешь про метрики и исследование потребностей. Это же внутренние пользователи, чего их мерять и исследовать? Куда они с нашего продукта денутся?

Я собираюсь обсудить с Ромой, можно ли развивать внутренний продукт также хорошо, как если бы он был внешним. Как отслеживать полезность и ценность дашбордов и другой аналитики для внутренних клиентов.

Ну и про визуализацию данных тоже поговорим, Рома обещал показать картинки. Мне как data driven продакту очень интересны лучшие практики визуализации, у Ромы наверняка есть несколько трюков в рукаве.

Где встечаемся?
Наш YouTube канал, раздел Streams/Трансляции: ProductDo/streams" rel="nofollow">https://www.youtube.com/@ProductDo/streams

Когда?
30 мая, четверг, 18:30 GMT+3 (17:30 по Амстердаму)

ProductDo: практика продакта

24 мая 2024 09:42

Сегодня пятница, так что напомним что важно не только работать, но и отдыхать. А еще лучше отдыхать с пользой)

Наши друзья из IT-Regatta для подписчиков канала ProductDo предлагают последние горячие места на катамаране в Турции 1-8 июня с офигенной скидкой: 1500€ (2500€).

IT-Регата — это мероприятие для русскоязычных IT-предпринимателей из разных стран мира. Бизнес-завтраки, йога, miniTEDx, решение кейсов, песни под гитару, дискотеки, игры, вкусная еда, вино и разговоры по душам.

В стоимость входит:
• проживание на катамаране с 1 по 8 июня
• питание полностью (завтраки и ужины в ресторанах, провизия на лодках)
• обучение основам управления яхтой
• организация и судейство гонок
• деловая и развлекательная программа
• фото и видео от медиагруппы
• фирменный стартпак участника

Бонус: кроме прочих крутых IT-специалистов, вы сможете плотно пообщаться с Андреем и Викторией Менде, которых наверняка знаете заочно;). Вика будет капитаном катамарана, Андрей рулит яхтой.

Подробности с программой, картой, расписанием: https://it-regatta.io/turkey2024
Если хотите поехать со скидкой – пишите @victoriamende

ProductDo: практика продакта

22 мая 2024 10:01

Совсем недавно Google анонсировали целую линейку AI продуктов, проинтегрированных с остальными сервисами. Они явно нацелены на то, чтобы побороться за место под солнцем на современном рынке AI продуктов. Конференция очень длинная, но они выпустили дополнительную recap версию на 10 минут для желающих сэкономить свое время (и даже открыли под этим видео комменты!).
Как авторы курсов по аналитике и ML мы не смогли пройти мимо.
(Если ты еще не разобрался и эти темы кажутся сложными – приходи на курс "Основы ML для продакта")

Вот какие мысли у меня сложились от увиденного:

1. Создалось впечатление, что наступают они по всем фронтам одновременно. Причем пытаются сделать все, а значит на самом деле ничего одновременно. Выглядит как стратегия “применяем новые ML модели ко всему, что есть, а там посмотрим что взлетит”. В каком-то плане это все тоже проклятие ChatGPT. Технология есть, а готового продукта и его четкого применения пока нет.

2. При этом полезные функции стали наконец-то прощупываться! Больше всего мне запомнились две вещи. Первая - это обещания проинтегрировать Gemini с Gmail для автоматической обработки информации из писем вроде: “Ок, Google. Найди все мои чеки из ресторанов за последний год и скажи на что я потратил больше всего денег”. Вторая - это обработка своих фотографий на устройстве/облаке по своему запросу. Вроде: “Ок, Google. Я как то фоткал красивую синюю машину на выставке пару лет назад. Отыщи мне эти фото“. Забавно, что я как-то делал мысленное упражнение вида “Какой продукт в Google ты бы улучшил и как?” для подготовки к собесам. И как раз вот этот пример я составил для себя 🙂 Я лично считаю, что при наличии таких массивов данных, которые есть сейчас (фото, видео, заметки, почта и т.д.), их обработка с помощью AI - это уже во многом необходимость. Что-то подобное в примитивном виде вроде есть в Google Photos и сейчас, но явно не на том уровне. Посмотрим смогут ли они докрутить эту идею до практического использования, а не ограничатся чисто маркетинговыми примерами.

3. Google все время подчеркивал и напирал на увеличенное количество токенов для обработки запросов и всячески “играл мускулами”. Посмотрим, что из этого выйдет, но учитывая сколько у Microsoft бабла в закромах, не думаю, что получится выиграть на этом поле. Поэтому на эти тезисы я как раз не сильно обращал внимание.

4. Ну и последнее. Упоминалась обработка поисковых запросов в Google и Youtube с помощью AI в том или ином виде. Вот это, кажется, самым логичным направлением для развития. Google пытается внедрить AI в поиск. В то время как ChatGPT наоборот интегрирует AI с поиском. Скорее всего самая главная битва будет происходить где то на этом поле. Как думаете, кто в итоге победит?

ProductDo: практика продакта

17 мая 2024 06:49

Запись вебинара доступна по ссылке: https://youtube.com/live/5sLeHapkoFE

ProductDo: практика продакта

15 мая 2024 08:16

У компании Meta (запрещена в РФ) есть такой продукт, который называется Workplace, ранее он был Facebook @ Work. По сути это такой маленький внутренний Facebook внутри компании.

Так все как в социальной сеточке: есть профили пользователей, сообщества по интересам и, конено же, залипательная лента.

Так вот, сегодня Meta объявила о том, что они закрывают этот продукт. По меркам любой другой компании он более чем успешный, но на игровом поле, где Metavervse и AI революция конкурируют за ресурсы – это непонятная B2B обуза с очень ограниченным потенциалом роста.

Меня новость коснулась напрямую: booking использовал workplace в качестве основного иструмента внутренней коммуникации. Прочитав эту новость я со вздохом добавил в список задач "скачать все посты о запусках команды за последние три года". Придется сохранить их где-то еще.

Внутренние социальные сеточки в больших компаниях я нежно люблю еще со времен самописной "этушки" Яндекса. Мне кажется, это очень важный элемент культуры компании. Там рождаются мемы, там формируются горизонтальные команды под клевые проекты. В конце концов там можно легально думскроллить, продолжая считать что ты работаешь. 🙂

По слухам, в качестве преемника (единственный официальный маршрут для миграции) facebook называет Workvivo от Zoom. Я ее пока не видел, видимо, придется знакомится. Слава богу не Microsoft Teams.

ProductDo: практика продакта

14 мая 2024 07:23

Какой продакт менеджер не согласится с тем, что очень важно поддерживать глубокое понимание контекста у команды?

Разработчик, который:
- хорошо понимает не только архитектуру своих систем,
- но и то, какую проблему решает продукт для пользователей,
- какие гипотезы мы сейчас тестируем,
- и на какие метрики смотрим...

будет гораздо эффективнее разработчика, который
- ничем кроме кода не интересуется.

Разработчикам с высоким контекстом требуется гораздо меньше информации, чтобы понять новую задачу. Они с гораздо меньшей вероятнотью поймут ее неправильно. Если таск будет противоречить тому контексту, который у них уже есть, девелоперы будут задавать уточняющие вопросы пока противоречие не будет разрешено.

Я (конечно же)) считаю, что я поддерживаю у команды высокий контекст (ср. 90% водителей считают, что они водят лучше среднего). Я стараюсь на каждом планировании делать секцию "intelligence report", где рассказываю про тенды рынка, новости компании, и что делают соседние команды, чтобы мои разработчики тоже были в курсе.

Точнее, я так считал, пока мне не пришло в голову сделать небольшой неформальный "тест". Я попросил разработчика рассказать мне о том, как он видит общую цель и текущий статус одного из проектов над которым мы работаем. Пока он отвечал ко мне пришло горькое осознание, что я далеко не так хорошо справляюсь с задачей поддержания общего контекста команды, как мне казалось...

Поделитесь со мной, какие форматы вы используете чтобы команда владела полным контекстом работы?
И как можно неформально "тестировать" наличие контекста, чтобы понимать, насколько эти усилия эффективны, или это совершенно безумная идея?

ProductDo: практика продакта

08 июля 2024 09:15

Чтобы ПМ не обрадовался раньше времени...

Это Константин с последней частью рассказа о т.н. “холдаутах” – изолированных группах пользователей, которые какое-то продолжительное время не получают обновлений в виде успешно завершенных экспериментов.

Собственно, зачем это надо, я описал в своем первом посте.
Здесь давайте подробнее раскроем тему долгосрочных эффектов. Они бывают разных типов, но все сводятся к примерно одному правилу. То изменение метрик (или его отсутствие), которое мы наблюдаем в течении эксперимента, может являться всего лишь временным эффектом. Этот эффект тяжело увидеть на краткосрочной дистанции, поэтому его лучше наблюдать и замерять на длинном забеге.

Что может пойти не так? Ну, например, т.н. “эффект новизны”. Это когда вы выпустили новую фичу или новый редизайн, пользователи в восторге, метрики растут! Но проходит чуть-чуть времени и ажиотаж спадает… Такое бывает чаще, чем хотелось бы. Кстати, если у вас есть мысли о том, как отслеживать такой эффект помимо использования холдаутов – делитесь в комментариях! (Я как минимум один способ знаю и он очень простой ;))

Своего рода разновидностью эффекта новизны может быть halo effect. Пользователи рады использовать какую-то новую фичу не потому, что она им нужна, а просто потому что им нравится продукт в целом или какая-то другая фича. Позитивные эмоции от нее они направляют на новую фичу в вашем эксперименте. Но со временем, такое позитивное восприятие сойдет на нет. Не говоря о том, что менее лояльные пользователи будут наоборот не в восторге.

Противоположность этому может быть learning effect. Вы сделали крутую фичу, она решает проблему пользователя… Но метрики почему-то не растут или растут медленно. Такое бывает, если требуется время на то, чтобы перестроиться под новый формат или надо потратить время и усилие на обучение пользователей, чтобы этот эффект увидеть. Все мы помним мем “Дуров, верни стену!”. Вот он примерно об этом. Даже если какое-то изменение прогрессивно и полезно, аудитории обычно требуется время на то, чтобы это изменение принять.

Собственно, все эти вещи (и не только) отлавливаются в долгосрочных изолированных группах. Более того, можно дополнительно реализовать процесс наоборот, организовав что-то вроде карантина для сомнительных тестов. Например, если вы видите признаки каких-то эффектов выше или просто вам не нравятся метрики в тесте, то безопаснее будет вначале собрать несколько таких тестов кучу и выложить их на ограниченное кол-во пользователей. Через какое-то время можно замерить результат и посмотреть, что стало с метриками. Всегда, когда работаете над а/б тестами, помните о долгосрочных и краткосрочных эффектах.

Делитесь вашими кейсами в комментариях и задавайте и вопросы.
И да обойдут вас стороной ложно-положительные и ложно-отрицательные результаты!

ProductDo: практика продакта

05 июля 2024 10:20

Влезу со своим ценным мнением!

Доброго утра. С вами Андрей. Сила канала ProductDo в том, что его пишет коллектив авторов, с достаточно разным опытом и взглядами. Поэтому на любой вопрос мы можем посмотреть с разных сторон, и получить достаточно объективную оценку интересного нам явления. Самый главный вопрос, который мы обычно себе задаем – какие примеры использования методики/фреймворка/технологии ты лично видел на опыте? Расскажу про мой опыт с холдаутами.

Глобальный холдаут (когда какую-то группу пользователей изолируют от всех без исключения новых фич) я не встречал на опыте ни разу. Участники нашего коммьюнити совершенно верно подметили кучу проблем с практической реализацией глобального холдаута – ценность знаний, полученных от него, не оправдывает затрат на реализацию и поддержку. Зато я часто видел, что вместо холдаута используют следующую эвристику: совокупное влияние нескольких A/B тестов хорошо оценивается суммой нижних границ доверительных интервалов эффекта. То есть если у вас есть десять экспериментов с положительным эффектом +1% ± 0.7% то их кумулятивный эффект будет гораздо ближе к (1% - 0.7%) * 10 = 0.3% * 10 = 3%, чем к 1% * 10 = 10% (понятно, что на практике нужно складывать абсолютные, а не относительные улучшения, то есть не в процентах, а в деньгах, пользователях или конверсиях).

А вот локальный холдаут я видел несколько раз. Вот пара самых интересных кейсов:

Кейс 1. Финтех компания развивала сложносочиненную программу активации и лояльности, в рамках которой они тестировали целый комплекс мер для повышения активности и удержания аудитории. Тут тебе скидка на тариф, тут тебе бонус за дополнительную активноть, и вот еще предложение от партнеров. 5% пользователей были из программы полностью исключены, чтобы через год можно было объективно оценить, стоит вообще этим проектом дальше заниматься или нет. Насколько я могу судить, результат был положительный. Программа по сей день активна. Видимо, удалось показать положительное влияние на важные долгосрочные метрики за счет холдаута.

Кейс 2. Я недавно писал пост о том, что "умные скидки" очень интересный механизм с точки зрения денег. Вместо того, чтобы давать скидки всем подряд, давать их только тем, для кого это может дать изменение решения с 'не куплю' на 'куплю' с помощью "умных алгоритмов".
Команда, которая занимается этим будет бесконечно тюнить свои модели и хвастаться, что они день ото дня становятся эффективнее. Однако локальный холдаут (группа, которой скидки не показываются никогда) показывается, что программа в целом может и имеет смысл, но вот вкладывать много зараплат и облачных вычислений в повышение эффективности экономически не оправдано. Надо оставить ее в покое, а команду отправить заниматься чем-то, что имеет больший рычаг влияния.

Мой опыт показывает: глобальный холдаут – это скорее ментальная модель, на практике особо не применяется. А вот локальный холдаут – очень полензный инструмент для оценки больших проектов. Берите в свой арсенал.

ProductDo: практика продакта

02 июля 2024 09:45

Привет! Константин на связи.

Вы когда-нибудь задумывались о том, какой реальный эффект оказали ваши эксперименты на ваш продукт? Ведь то, что вы закинули в продакшен кучу успешных а/б тестов, еще не гарантирует успех.

Почему так происходит?
Во-первых, среди успешных а/б тестов всегда есть большой процент ложно-положительных результатов. На этом базируется само понятие ложно-положительных результатов.

Во-вторых, даже если ваш а/б тест действительно реально успешен, никто на самом деле не знает насколько сильным будет эффект после раскатки на 100% аудитории продукта.

В-третьих, тот успех, который а/б тест показал на короткой дистанции, еще не гарантирует, что этот успех сохранится на длинной дистанции.

Однако, способ замерить эффект от раскатанных а/б тестов существует. Называется этот метод holdout. Реализуется это достаточно просто. Мы сохраняем часть пользователей, которая не видит наши изменения на долгое время. Затем каждый квартал замеряем разницу между этими двумя группами пользователей.

Вещь это крайней полезная и эффективная. По крайней мере, из всех известных мне методов, ничего более рабочего я не встречал.

Делитесь в комментариях используете ли вы подобные методы в своей работе. А в следующем посте я расскажу о неочевидных проблемах в использовании holdout’ов и какие с этим обычно возникают сложности.

ProductDo: практика продакта

28 июня 2024 10:26

Разбор задачки по MVP стартапа аренды одежды.

Первое место уходит безызвестному продакту, который использует ChatGPT для рекламы, цитирую: «А если я платье арендую, а потом его не возвращу?» (первый коммент, Deleted Account).

А если серьезно, то задача очень жизненная - как найти тот минимум, который все еще не выглядит как сковородка, но еще и не занимает год?

Нам кажется, что:
1) На странице регистрации надо оставить только регистрацию по имейлу для тех, кто пришел оформлять подписку, ну и ссылку на просмотр ассортимента. Остальные соц.сети - под нож.

2) На странице поиска можно пока убрать wishlist, и упростить фильтры - ограниченный ассортимент можно посмотреть и так.

3) На странице оплаты оставить только один платёжный метод и один метод доставки. Мы думали в сторону «фаундер-курьер бегает по городу», но те, кто отдал предпочтение почте - тоже молодцы. Мы не согласны с переходом на наличку - это потребует сильно больше процессов и вызовет много вопросов у клиента - проще формочка с картой на сайте.

В итоге большинство ответов упоминают какие-то из пунктов. Но наиболее полные первые ответы у Екатерины, Игоря и Никиты. Мы вам напишем в личку - можете уже выбирать мини-симулятор!

Вам понравился формат практических задачек? Ставьте палец 👍 если да, и чувака в черных очках, если на работе своих задач хватает.

ProductDo: практика продакта

24 июня 2024 08:30

Друзья, мы с новой порцией практики. Авторам ProductDo в кайф перекладывать их знания в интересные истории-задачки, и на этот раз мы сделали главу по MVP. Те из вас, кто уже "по-старше" в профессии и так все знают, а вот начинающим продактам советуем научиться видеть все через призму MVP.

Новый стартап? Придумываем MVP. Новый проект? Давай думать над MVP. Новая фича? Ищи MVP!
В один момент вы даже ремонт по дому или отпуски начинаете планировать через MVP 🙂 Потому что MVP позволяет быстро проверить валидность вашей идеи (90% идей никому не нужны - такая вот статистика) и уже потом, если взлетело, продолжать ее развивать.

Давайте посмотрим на пример. Представьте, что для приложения доставки еды вы хотите уменьшить звонки в саппорт с вопросами "а когда доставят?". Вместо сложного трекинга положения доставщика и отображение всего этого на картах кучи городов мира вы можете начать с MVP - взять историческое среднее время доставки и просто... сделать убывающий таймер на экране. Есть большая вероятность, что этого будет достаточно (конечно, если доставщик в итоге приехал, иначе это другая история).

Другой пример: в это же приложение вы хотите добавить доставку вещей из магазинов (например, домашних товаров) - такая вот экспансия в соседний домен. Вместо сложных интеграций и подписаний контрактов вы можете сделать страничку "Магазины" с выбором магазинов и просто посмотреть, сколько пользователей вообще заинтересуются этой идеей. Это такой пре-MVP.

Мало? Выкидываем и думаем над следующей идеей!

Если много, то строим настоящий - выбирайте несколько топовых сетей и добавляйте карточки их топ 50 товаров, а платить нам сети будут по инвойсу. Это уже настоящий MVP.

В общем, 2 урока по MVP появились в симуляторе "Основы продакт менеджмента" и мини-симуляторе "Продуктовое исследование" (который входит в Основы). Все, у кого эти курсы были куплены - наслаждайтесь новыми главами бесплатно.

ProductDo: практика продакта

19 июня 2024 07:02

Мой коллега из Flo Александр Зинчук опубликовал статью в Medium (на английском) о том, как там устроена оптимизация онбординга.

Как и в любом крупном приложении, живущем на подписках, онбординг является ключевым элементом активации пользователей. В статье много интересных подробностей о том, как проводить много экспериментов в мобильных приложениях при том, что релиз новой версии кода приложения, как правило, происходит не очень быстро.

Именно поэтому отдельная команда занимается развитием конструктора онбордингов, который c сервера управляет тем, что видит пользователь. Чтобы решить эту задачу, нужно хорошо себе представлять, как устроена работа API, клиент-серверных приложений, экспериментирование и т.д. Не могу не похвастаться, Саша проходил наши курсы: Тех. для продакта, Базовая аналитика, А/Б тестирование и является хорошим примером того, как качественное обучение может помочь вам строить крутые технологичные продукты, применяя полученные навыки.

Из статьи вы узнаете сколько пользователей мобильных приложений в среднем не имеют устойчивого подключения к интернету в момент прохождения онбординга, и как Саша изящно решил эту проблему.

Если у вас есть интересные вопросы, то можете оставлять их в комментариях, я знаю что Саша сюда частенько заглядывает.

https://medium.com/flo-health/mobile-onboarding-evolution-part-1-cfc9702835ce

ProductDo: практика продакта

17 июня 2024 06:49

Привет, коммьюнити!

Завтра (18.06) вечером (18:00 Амстердам / 19:00 Москва) к нам в гости на эфир придет Кирилл Зима. Он 15 лет помогает онлайн бизнесам повышать конверсию и другие метрики через улучшение UX и A/Б тестирование. Работал с продактами и проджектами в стартапах и корпорациях, UX консультант для E-commerce и SaaS.

kirillzima.com / linkedin.com/in/kirillzima

Я планирую обсудить с Кириллом:

- Последние тренды в UX, и что продакт должен знать о построении цифровых продуктов в 2024
- Как эффективно работать в паре продакт+дизайнер
- Как найти баланс между конверсионностью и консистентностью внешнего вида продукта

Как обычно встречаемся на нашем YouTube канале: ProductDo/streams" rel="nofollow">https://www.youtube.com/@ProductDo/streams

Если у вас есть вопросы, которые вы бы хотели задать Кириллу – пишите в комментариях, я озвучу их на эфире.

ProductDo: практика продакта

06 июня 2024 06:30

Как планирует твой руководитель?
Мини-подкаст о планировании на уровне Senior+, GPM+, Director:

👉 о структуре планирования
- лернинги
- стратегия
- запросы/требования

👉 об особенностях презентации
- слайды
- дискуссия
- модерация
- особенности человеческого восприятия

👉 о последствиях планирования

Тут👇

ProductDo: практика продакта

31 мая 2024 06:30

Запись вчерашнего вебинара: https://www.youtube.com/live/D54vre3iIF8?si=YtKqcE3hzk4sHg0j

ProductDo: практика продакта

27 мая 2024 08:06

Самый сложный этап в найме

(предыдущие посты о том, как я поменял работу и страну проживания: раз, два)

И... этим этапом является не собеседование с нанимающим менеджером, не даже рекрутинг скрининг, а… банально этап просмотра твоего резюме. Да-да, самым сложным является самый первый шаг, на котором тебя должны всего-лишь пригласить на рекрутинг скрининг (для проверки общей адекватности и соответствия резюме). На абсолютное большинство отправленных резюме компании попросту не отвечают.

Происходит это по разным причинам. Давай для понимания их разберем. Во-первых, в большие компании резюме присылают тысячами. Как бы это не было банально, но твое CV может потеряться или у рекрутера не дойдут руки, чтобы его прочитать. Часто бывает так, что вакансию закрывают еще до того, как успевают пригласить тебя на самый первый этап.

Во-вторых, конкурировать тебе приходится с лучшими из лучших (потому что резюме на позицию с релокацией шлют со всего мира). Масла в огонь подливают регулярные увольнения в тех самых big tech компаниях, которые готовы перевозить сотрудников. Поэтому за одну и ту же позицию приходится биться с ребятами из Google, Amazon, Meta и прочих запрещенных организаций, попавшими под сокращения, что не облегчает задачу.

Ну и в завершении отмечу, что с помощью присланных резюме вакансию обычно пытаются закрыть в последнюю очередь. В первую очередь это будет активный рекрутинг (включая внутренний) и рефералки. Поэтому не стоит удивляться низкому отклику. Один положительный ответ на 10 посланных резюме – это вполне нормальная статистика. Безусловно, свои шансы на отклик можно повысить. Считается, что резюме нужно адаптировать под каждую вакансию (ну или группу вакансий). Еще международные компании обычно требуют прикладывать cover letter к своей заявке, который тоже надо будет составлять индивидуально.

Собственно, что хотелось бы донести сегодняшним постом:

- Даже если у тебя крутое резюме и тонна лет опыта за плечами, процент откликов может быть очень низким.
- Ни в коем случае не надо расстраиваться, это часть нормального процесса.
- Свои шансы на первое интервью можно и нужно повышать через адаптацию резюме, cover letter и желательно через рефералки.

Так что статистику не обманешь. Всем соискателям желаем удачи! И как обычно делитесь в комментариях вашим опытом и какие лайфаки помогали вам добиться отклика на ваше резюме.

ProductDo: практика продакта

24 мая 2024 07:08

Как наиболее эффективно применить ML в e-commerce продукте?

Наверно, в первую очередь в голову будут приходить разные рекомендательные алгоритмы, и прочие способы персонализировать предложение под клиента, но на мой взгляд, это не совсем верно.

Представьте себе, что вы даете скидку или промо бонус потенциальным клиентам. Конверсия повысится? Почти наверняка! Цена и ценность – это элементы продукта, изменение которых практически гарантированно приводит к изменению метрик.

Есть одна проблема: этот инструмент стоит значительных денег, и измерять свой успех чисто по конверсии будет неправильно. Конверсия выросла, но выручка с посетителя упала, нужно оценивать tradeoff. ROI скидки вполне может быть и отрицательным.

А теперь представьте себе, что мы даем скидку не всем клиентам подряд, а только тем, которые без скидки скорее всего не купили бы. Это было бы очень круто, эффективность затрат стала бы значительно выше.

Но как понять кому именно предлагать скидку? Эта задача называется Uplift Modelling, и это одна из тех задач на которых ML часто показывает очень хорошие результаты.

Сначала придется некоторое время предлагать скидку половине посетителей случайным образом, но потом на этих данных можно будет обучить модель, которая выделит те сегменты, для которых скидка дает наибольшее увеличение конверсии, и вы сможете оптимизировать ROI промо-инструмента.

Мой экс-коллега Sam Bailey (теперь он в Google) написал универсальную python библиотеку для Uplift Modelling, если вы хотите применить этот подход в своем продукте, перешлите ссылку своему data scientist или аналитику.

К сожалению этот подход приводит к ситуации, которую так не любят пользователи: “А почему на андроиде моей жены этот же продукт на 10% дешевле?!” Самое печальное, что вы не сможете объяснить, почему в конкретном случае алгоритм решил предложить скидку. Так решил ML! ¯\_(ツ)_/¯

ProductDo: практика продакта

21 мая 2024 06:43

Какие проблемы у выпускников "обычных" курсов по продакт-менеджменту? – Как найти работу продактом.

Какие проблему у тех, кто знакончил ProductDo? – Как найти сильных коллег к себе в команду.

Вячеслав, который был одним из пионеров нашего курса по А/Б тестированию, уходит на повышение и ищет себе замену. Если методология эксперементирования – ваша сильная сторона, то вакансия от Вячеслава может стать вашей работой мечты.

Господа, я не устал, но я ухожу из Озона в Авито.
Мое хлебное место в легендарной АВ-платформе Озона освобождается, и команда готова взять себе новую боевую еденицу.

Мы смотрим продактов, либо аналитиков / эмэльщиков / ИТ технарей, которые хотят в продукт по АВ тестам

вот тут описание вакансии https://hh.ru/vacancy/97975967

все вопросы своё ремузе скидывайте мне в личку, только пожалуйсто кидайте ссылку на ХХ и проверьте пожалуйста настройку видимости.

Я передам вас эй чарам, и они пустят вас в гонку.

Опыт от 2 лет в ИТ.

Нужно понимать что такое api, волоч базово в SQL, уметь объяснить чё такое p-value, дов интервалы. Уметь в сбор требований и в приоритизацию фич в продукте.

Знания мат стат - это приемущество

ProductDo: практика продакта

16 мая 2024 09:03

Привет, коммьюнити.

Сегодня вечером (18:00 Амстердам/ 19:00 Москва) к нам в гости на эфир придет Ксения. Она не просто маркетолог, она продуктовый маркетолог: Product Marketing Manager.


Я планирую обсудить с Ксенией:
- что должен продакт менеджер знать о маркетинге
- как выглядит эффективновное сотрудничество PM и PMM
- что маркетологов раздражает в продактах
- как Ксения относится к концепции Product Led Growth

Если у вас есть вопросы, которые вы бы хотели задать компетентному маркетологу – пишите в комментариях, я задам их на эфире.

Встречаемся на нашем YouTube канале! (ProductDo/streams" rel="nofollow">https://www.youtube.com/@ProductDo/streams)

ProductDo: практика продакта

14 мая 2024 10:27

Лучше вы узнаете от меня, чем из каких-нибудь мутных каналов в телеграме: OpenAI выпустил новую большую версию ChatGPT 4o.

Смотрите демо: https://openai.com/index/spring-update/

До новой волны применения LLM в куче юзкейсов, где это ни коим образом не решает проблему пользователя осталось 3.. 2.. 1..

ProductDo: практика продакта

13 мая 2024 07:46

(2) Пример #2, плохой интерфейс. Это элемент некого B2B SaaS приложения, в котором я обязан время от времени писать тексты, потому что оно является частью рабочих процессов.

Когда я пытаюсь вставить в текст ссылку мне предлагается… выбрать протокол в отдельном дропдауне, а потом вставить оставшуюся часть ссылки (без протокола!) в текстовый инпут.

Почему? Because fuck you, that’s why. Потому что ты нам не платишь, нам платит директор совершенно другого департамента, он купил нас потому что мы закрываем какие-то его боли. А твое удобство никак не влияет на нашу выручку, так что заткнись, выбирай протокол и обрезай ссылку.

С точки зрения рационального целеполагания это даже до какой-то степени оправданно, но я думаю что массовая ненависть пользователей безусловно аукается этому продукту в долгосрочной перспективе.

А вы на какой стороне? Делать хорошие интерфейсы даже если на метрики это не влияет, или быть прагматичным продактом, забить на все второстепенное, и грести бабло лопатой?