13413
О менеджменте продуктов как науке. Ceterum censeo Carthaginem esse delendam.
Что я узнал за этот год, но никогда не хотел бы?
- Что площадь можно мерить в детских колясках. Пустых.
- Что одной секундой можно уничтожить десятки лет. И называть это планом.
- Что между самыми близкими самое дальнее расстояние. Вплоть до других галактик.
- Что песня "Сине-красне огни" Децла - это пророчество. "Мир на волоске, а головы в песке. Демоны ликуют, ангелы в тоске.".
- Что умные и безумные верят в одно и то же. Логику, историю, биолаборатории.
- Что свобода - это возможность в любое время открыто сказать, что "дважды два - четыре". Эта свобода стоит очень дорого.
- Что можно бояться смерти. Ожидая, что за тобой придут и твоя жизнь закончится в сыром окопе. Полюбить жизнь.
- Что снова гулаг. С вышек которого на тебя смотрят старики-конвоиры. У кого-то лица твоих родителей.
- Что подписавших петицию только айтишников 33.500 человек. Значит ты не один. Никогда им не был. Никогда и не будешь.
- Что боги твои превращаются в смертных. Впрочем, оказывается, никогда ими и не были.
Февраль двадцать второго - шрам, который оставлен на сердце миллионов людей. Которые еще живы. Мне так хотелось, чтобы его никогда не было...
Знаете, я застал своих прабабушку и прадедушку, которые прошли войну. На двоих у них больше 30 медалей. Почему-то они никогда не гордились ими. И никогда не говорили о том, что пережили. А я был слишком маленьким, чтобы уделять этому значение.
Мы не должны продолжать совершать их ошибки. Молчание и равнодушие - это самое страшное, что с нами может случиться. Наступит время, когда мы не должны будем оставлять тяжелые времена в себе. Мы обязаны будем сказать, что дважды два - четыре. Особенно своим детям. Иного не дано.
Закончить пост хочу китайской притчей.
Желтый Владыка Хуан-Ди поехал навестить Тай-квея, который жил на горе Чжу. Но по дороге он сбился с пути, и не у кого было узнать дорогу. После долгих поисков наконец императору встретился мальчик, пасший коней.
— Не знаешь ли ты, как проехать к горе Чжу? — спросил император мальчика.
Мальчик ответил, что знает дорогу, а также знает, где живет Тай-квей.
«Что за чудесный мальчик! — подумал Хуан-ди. — Откуда он знает, что мы направляемся именно к Тай-квею? Может, он ответит и о том, как лучше устроить жизнь в Поднебесной?»
— Поднебесный мир нужно оставить таким, какой он есть, — ответил мальчик. — С ним не нужно ничего делать.
— И в правду, управлять Поднебесной не твоя забота, — сказал Хуан-ди. — Но все-таки ответь, как мне быть с ней?
— Управлять миром не сложнее, чем пасти лошадей, — сказал тогда мальчик. — Достаточно устранять все, что опасно для лошадей, и подводить их к тому, что нужно им. Так же следует управлять и Поднебесным миром.
— Спасибо тебе, «небесный наставник», — сказал император пастушку. Затем низко поклонился и удалился.
Все эти факторы привели к потрясающей возможности осознанно выбирать то место, где человек хочет жить. Ту среду обитания, которая является для него комфортной, где он ощущает собственное достоинство, где он может удовлетворить потребности всех своих уровней по Маслоу. А раз человек может выбирать из вариантов, значит мы сталкиваемся с экономическими отношениями выбора продукта потребителем. Только продуктом здесь является не йогурт или парикмахерская, а "среда обитания" или "конкретный город конкретного государства". Что приводит нас к концепции "государства" или "города государства" (кого/чего, без дефиса) как "продукта", который удовлетворяет потребности человека. As a service.
С самого начала человеческой истории люди кооперировались, чтобы разделить между собой тяготы бытовых проблем за счет аккумуляции общественных ресурсов: совместная охота, защита от других племен, возведение жилищ и частокола, осушение морского побережья под пахотные земли и т.д. К сожалению, из-за человеческой природы сразу возникли те "организаторы", которые завладевали общественными ресурсами и затем передавали их своим потомкам. Так было достаточно долго, пока все-таки человеческая цивилизация не пережила путем крови и слез представление о том, что общественное может принадлежать одному человеку. Большинство из которых не умеет оптимально им распоряжаться во благо социума, а не собственной выгоды. За счет различных механизмов "сдержек и противовесов" современные государства смогли оптимизировать схему управления общественными ресурсами, все-таки направив их на то, с чего и начиналась вся цивилизация - на создание ценности для граждан.
В такой трактовке государственное управление - это функция оптимального распределения имеющихся ресурсов для максимизации удовлетворенности (в широком смысле) граждан или их коопераций (компаний). Т.е. это то, чем мы с вами занимаемся повсеместно в product management.
Однако, даже при наличии в программе мета-модели и заданий, рассматриваемых на симуляторе или реальном проекте, в результате обучения студент будет обладать только знаниями, а не навыками. Навыками они станут тогда, когда он отрешает десяток-другой разных кейсов.
И тут кроется еще одна проблема обучения, связанная с длительностью и желанием самих студентов решать эти задачи. На специализированных программах обучения, например, посвященных только юнит-экономике, это хорошо заходит. Однако на общеобразовательных или программах обучения профессии такое, как правило, не используется. Т.е. знания есть, но в навыки они в процессе обучения не превращаются. По сути это происходит только тогда, когда (или ЕСЛИ) студент уже после завершения обучения возвращается к программе, чтобы на новых рабочих задачах применить её инструменты.
При этом одной из тенденций последних лет является увеличение длительности программ обучения менеджеров продуктов. В Нетологии она составляет 9 месяцев, в ВШЭ - 10, в SkillFactory, GeekBrains, Skillbox, ProductStar - 12. А ИТМО вместе с Нетологией вообще запустил магистратуру длительностью 2 года.
Начиная с небольших курсов на пару дней или недель, обучение продактов наконец-то пришло к пониманию, что для качественного образования специалистов требуется большой срок и большое количество дисциплин, обучающих продуктовым, маркетинговым, проектным, организационным, предпринимательским навыкам. Т.е. фактически индустрия признала "системность" этого образования, по сути (но не форме или содержанию) приравнивая его к высшему.
У меня есть мечта поработать над созданием подобной полноценной магистерской программы, где студенты смогут получить действительно целостное и системное образование, обретя не только знания, но и навыки. Не только основные дисциплины, но и фундаментальные, вроде математической статистики или управления финансами. Чтобы слово "management" было на равных со словом "product", а не терялось на его фоне. И конечно же, у меня даже есть драфт концепции такой программы, о котором я могу как-нибудь рассказать :)
В 2019 году до пандемии меня пригласили проводить Game of PAF в одну из программ обучения менеджеров продуктов для каждой когорты студентов (по-моему я успел провести для трех). Основной профит мероприятия, о котором мне рассказали студенты после его завершения, был в том, что отдельные части всей программы обучения наконец-то встали на свои места. Стало понятно, как одна модель или концепция связывается с другой, тем самым рождая целостную и последовательную картину мира.
Организация целостности стало большим вызовом для тех, кто хотел создать качественный образовательный продукт. Пожалуй, первым успешным кейсом в этом направлении стал симулятор управления продуктом на основе данных GoPractice, в котором реализована сквозная история приложения Instachat, единый мега-кейс, на примере которого последовательно применяются модели и демонстрируется результат. Это был 2018 год.
Другой способ организации целостности заключается в работе над собственным продуктом студента, на примере которого и выполняются различные задачи программы обучения. Т.е. подготовка скрипта интервью, lean canvas, построение иерархии метрик, построение user story mapping совершают над одним и тем же кейсом студента. Уровень вовлеченности и конечный профит для работы при таком подходе значительно выше, чем симуляция (но далеко не всегда, ведь в симуляторе можно смоделировать данные, которых может не существовать в контексте продукта студента). Именно такой подход я выбирал для программ обучения, которые подготавливал и проводил для EPAM, Nedra.Digital, Леура Мерлен.
Однако, кейс студента еще не гарантирует, что сама программа будет основана на методологии или фреймворке, которая включала бы единую терминологию, процессы управления и инструменты для них. А это задача не то, чтобы сложная, а очень сложная. Например, чтобы прийти к плюс-минус единой терминологии в юнит-экономике, Илья Красинский и другие специалисты потратили несколько лет в спорах, обработке кейсов и т.д. И то, не факт, что термины устаканились.
Продуктовых моделей - великое множество. Главное - это понимать, что именно за ними стоит, какие конкретно явления они описывают. Каждая такая модель - это точка зрения на объективную реальность, которая рассматривает те или иные её характеристики для решения своих задач. Цепочки формирования стоимости не появились, когда Майкл Портер сформировал их модель, они уже существовали. Как и задачи потребителей существовали задолго до формирования концепции jobs-to-be-done.
"Реальность - это то, что не исчезает, когда вы прекращаете в неё верить". Филип Дик
Именно с этого и началась моя работа над Product Architecture Framework. Когда я изучил и попробовал на деле десятки различных моделей, мне захотелось собрать их в единую целостную систему, ведь они это разные кусочки одной и той же большой мозаики области управления продуктами. Прошло шесть лет до момента, как родилась первая версия PAF в 2018 году. Она была плоха и представляла собой просто классификацию разных моделей. Сейчас фреймворк прошел большой путь, но работа еще далека от завершения.
#временныйпост
Коллеги, которые отметили, что они владельцы каналов и готовы присоединиться к инициативе #ProductOpenTribune - пожалуйста, напишите мне в личку @sergeytikhomirov, чтобы обсудить общий манифест (понятные и прозрачные правила игры) и дальнейшие шаги по инициативе.
P.S. опрос был анонимным, поэтому я не смогу вычислить вас сам :)
О каналах. Лидерство занимают те каналы, которым с одной стороны много лет, а с другой стороны которые пишут постоянно (необязательно про новое и необязательно нешаблонно). И это нормально, т.к. был большой спрос на новую информацию, который пытались удовлетворить. Помните шутку про "у каждого продакта должен быть канал в Телеграм". Так вот. Это не шутка. Точнее шутка, но уже несмешная. Потому что многие новые каналы либо делают репосты с топа, либо постят каждый год одну и ту же банальную информацию (извините).
В итоге каналов про продакт менеджмент стало пару сотен, представляя собой длинный хвост с точки зрения подписчиков. Фишка в том, что столько уже не нужно. Да и вообще, если это работает по законам рынка, то и рассматривать создание нового канала нужно с точки зрения стратегий позиционирования. А как конкурируют на консолидированных рынках? Да по факту только нишеванием - не нужно писать про то же самое, что пишут топ. Пишите для отдельных "ниш": упаковывайте ту же инфу, только в контекст ниши. Например, "продакты Газмяса", "Продакт менеджмент для бизнес-аналитиков", "Рыночные исследования", "Юнитизируй это" и т.д. Конечно же, таких нишевые каналы уже существуют и это прекрасно.
Product Management включает в себя огромное количество разных аспектов, там копать не перекопать. Если стоять на месте и каждый год писать про jtbd или scrum (ХЕР ЛИ НЕПОНЯТНОГО ЕЩЕ МОЖЕТ БЫТЬ В СКРАМЕ В 2023 ГОДУ???), то непонятно, как двигаться вперед. Поэтому есть отличный способ - представить, что вы об этом уже написали и подумать о следующей теме, исходящей из этой, о которой можно написать. И снова выкинуть это в корзину. И вот только на третьей-четвертой теме можно остановиться, потому что она не будет такой банальной.
С другой стороны таких каналов становится овердохрена и чтобы найти там что-то интересное, нужно потратить много времени (либо все ставят на мьют). Это почти как найти золото в реке. А что происходит на рынках, когда из-за большого количество предложений у потребителей появляется проблема траты большого количества времени? Правильно, появляются продукты, которые эту проблему решают.
12 лет назад в Чикаго родился стартап The Printed Blog, который представлял собой красивую газету (физическую, печатную), контент которой был сверстан на основе постов интернет-пользователей. Они даже продали франшизу предпринимателям из Питера (за 1$), а те запустили глянцевый журнал (в сети даже можно найти промо-ролик). "Сжать всемирную паутину до размеров газеты" было прикольной идеей, но раз вы не слышали о The Printed Blog, видимо не очень прибыльной (монетизация планировалась через рекламу).
Однако, я хочу здесь показать сам принцип. Если каналы и конференции уже существуют, то кажется пришла пора издания, где могут быть собраны не только посты, но и новости и другие рубрики, относящиеся к комьюнити. Основная задача такого издания - не писать контент, а искать и агрегировать его.
Ключевая проблема такого подхода - это конфликт "владения каналом". Читая пост автора в таком издании, вы прекращаете читать его канал, тем самым он теряет аудиторию. Честно говоря, у меня нет предложений, как разрешить данное противоречие - с моей стороны это больше "постановка проблемы".
Последнее, о чем я хотел бы порассуждать - это потери. Структура компании и архитектура процессов управления может быть разной. При неоптимальном распределении ответственности и зонах управления по этой архитектуре будут возникать "потери": либо куски, за которые никто не отвечает, либо куски, за которые отвечают сразу несколько. Любая живая система, к которой относится и организация, состоит из отдельных частей, между которым происходит коммуникация: обмен сигналами, анализ состояния, принятие решений о действиях и т.д.
Что происходит, когда за частями этой системы никто не отвечает или отвечают сразу несколько? Это приводит к тотальному увеличению количества коммуникаций между друг другом. Когда вам нужно провести 10 совещаний с 50 людьми, чтобы только договориться. Т.е. в потоке ваших коммуникаций "эффективной" информации, которая призвана для того, чтобы весь механизм работал, минимум. А вот "синхронизационной" информации - максимум. Именно по этой причине у большинства продактов основная рабочая деятельность это встречи и общение, что и показывает исследование.
Например, вы часами спорите с дизайнерами об интерфейсе личного кабинета? Окей, но кто за что отвечает? Ваша задача, как менеджера - правильно сформировать вводные и ограничения, их зона ответственности - сварганить интерфейс. Вы не лезете в то, каким именно он должен быть, они не лезут в то, на какие потребности продукт должен быть нацелен. Обратная связь друг другу не в счет - я здесь имею в виду принятие решений и временные потери на споры. Или споры маркетологов с продактами. Или продактов с разработкой.
Неэффективная архитектура управления приводит к огромным временным и денежным потерям компаний. Поэтому, если вы хотите избавиться от этих потерь, то нужно научиться представлять работу организации в виде системы, которой управляют разные менеджеры (не только product), четко разделить между ними зоны ответственности и снабдить необходимыми ресурсами и правилами использования этих ресурсов.
Ну да, ну да. Проще сказать, чем сделать.
Ceterum censeo Carthaginem esse delendam.
Разговор №3 о критериях оценки продактов и объектах управления
* Критерии оценки продакта меняются с ростом компании – меньшее значение начинает играть прибыль, и большее – влияние на отдельные продуктовые метрики, обратная связь от коллег и OKR. 49% респондентов ответили, что работу продакта оценивают по конкретным выполненным задачам, 39% - по OKR, 38% - по конкретным продуктовым метрикам, 33% - по обратной связи от коллег и т.д.
* Рабочие активности, которые съели больше всего времени: встречи и общение (в два раза больше, чем следующий критерий), налаживание процессов, приоритизация и планирование, согласования и т.д.
--------
В исследовании есть вопрос "По каким критериям в вашей компании оценивается работа продакта?", в котором меня смутили результаты. Например то, что 39% выбрали OKR, а 38% конкретные продуктовые метрики - насколько это один и тот же ответ? Если вопрос был открытым, то тогда результаты понятны, но их анализ затруднен, потому что в OKR могут входить как конкретные продуктовые метрики, так и прибыль, так и ROI. Если он был закрытым, то кажется не совсем корректно выбраны пункты.
Почему еще смущает - я не понял, каким образом на основе этих данных был сделан вывод, что критерии оценки продакт меняются с ростом компании (может быть коллеги подскажут). Однако, сам тезис верен по причинам, которые я перечислял в прошлом посте, т.е. исходя из жизненных циклов компаний и продуктов, а также фокусе на разных объектах управления.
Как правило, при запуске продукта, им управляет один менеджер, т.к. размер продукта не очень большой. Где-то этот менеджер управляет не только продуктом, но и отвечает за показатели бизнес-модели. По мере развития компании, усложняется структуры бизнес-модели и продукта, выделяются ресурсы на развитие отдельных их составляющих. Одного человека уже не хватает для решения задач и поэтому появляются еще менеджеры, каждый из которых ответственен за свой кусочек. В итоге, на больших продуктах уровня Booking, менеджер может только отвечать за одну кнопочку (утрирую, конечно). Т.е. по мере развития продукта, в нем выделяются отдельные объекты управления, в развитие которых и инвестируют ресурсы: продукт, группа функциональности, функция, use case и т.д.
У новых объектов управления, как правило, отличаются и свойства, за развитие которых и отвечает менеджер продукта. Главное свойство бизнес-модели, это то, насколько эффективно она может генерировать прибыль (метрики прибыли / рентабельности / ROI). Главное свойство продукта - насколько эффективно он может приносить ценность потребителям (NSM), для части воронки - retention rate, для use case - метрики используемости и т.д.
Тезис "Критерии оценки продакта меняются с ростом компании – меньшее значение начинает играть прибыль, и большее – влияние на отдельные продуктовые метрики, обратная связь от коллег и OKR" не совсем корректен. С ростом компании прибыль не перестает играть меньшую роль - за неё все также отвечает отдельный менеджер, просто доля таких менеджеров по сравнению с другими в компании будут меньше. Потому что в структуре управления будут выделены больше тех объектов, свойства которых связаны с продуктовыми метриками или вообще метриками проектов.
Кстати, проект - это тоже объект управления, который существует параллельно с "продуктовой" деятельностью в компании. Многие продукты развиваются чередой проектов и это совершенно нормально. Проектная и продуктовая деятельность совершенно не противоречит друг другу, т.к. относится к разным объектам управления, которые существуют вместе друг с другом.
Однако, непонимание своего объекта управления и то, как именно им управлять, приводит к тому, что во многих компаниях реализуется только проектная деятельность. Скорее всего именно по этой причине 49% респондентов ответили, что работу продакта оценивают по конкретным выполненным задачам. В ином случае, оценка производится по изменению свойств продукта или бизнес-модели, выраженному в метриках.
Другая часть истории связана с жизненными циклами и текущим состоянием: отраслей, продуктов и экономики государства. Последние 15 лет происходил бурный рост разных отраслей, на которых в борьбе за лидерство конкуренты масштабировались и поглощали друг друга. У рынков в России есть две особенности: они достаточно большие, чтобы на них присутствовала конкуренция, но достаточно маленькие, чтобы эти кампании превратились в действительных гигантов. Вместе эти особенности создают интересные эффекты:
1) скорость консолидации рынков очень высокая, поэтому она может проходить фактически за 3-4 года;
2) огромное экономическое расслоение - большая часть бизнес-моделей для b2c не могут выйти за пределы Москвы, потому что становятся нерентабельны;
3) ключевой способ масштабирование бизнеса - это масштабирование продуктового портфеля, т.е. уход в другие отрасли, что приводит к создание мультикорпораций (все они как раз перечислены в исследовании, все в них хотят работать).
На текущий момент во многих отраслях консолидация была практически завершена, начала проявляться стагнация роста. Хоть, за 2022 год в части отраслей произошла реконсолидация и это подстегнуло рост. Правда этот рост был не отраслей, а именно отдельных компаний.
Одновременно с развитием рынков, совершали свой путь и продукты, формировались стандарты качества, базисный функционал, понимание ключевой ценности. По мере роста различия между продуктами перестали быть значительными, а сами продукты перешли из стадии роста в стадию поддержки, где основной задачей является не достичь процента роста, а избежать падения аудитории / доходов или качества оказываемых услуг.
Последняя часть этого балета - отток инвестиционного капитала за счет ухода иностранных компаний. Инвестиции теперь - это удел государственных или около компаний. С другими правилами игры, целями и набором компетенций тех, кто запускает новые продукты.
К чему все это нас приведет:
1) новых быстро растущих отраслей будет заметно меньше, т.к. одни уже консолидированы, а у других не хватает "топлива" для запуска (ни капитала, ни специалистов);
2) быстрых побед или таких же вкусных результатов роста в продуктах, как раньше, будет меньше, т.к. многие продукты перешли на стадию поддержки;
3) по этим причинам от продактов все больше будут требовать бизнес-результаты, а не просто "продуктовую" ценность;
4) такого быстрого роста (грейд за 1-1,5 года), как многие продакты представляли себе раньше больше не будет.
И вот здесь я снова возвращусь к тому, с чего начал. Кажется, что людей из профессий маркетологов, аналитиков и проджектов меньше не станет. Рынок образования для продактов тоже раздулся до уровня пузыря (и бабахнет) и пока не чувствует снижения спроса, поэтому количество новых продактов какое-то время будет увеличиваться. Часть текущих крутых продактов будут уходить работать на себя, на позиции CEO в российские компании или все больше будут устраиваться работать в зарубежные компании.
Однако, кажется, что все это приведет к кризису отрасли, серьезной переоценке понятия грейдов и системы вознаграждения. Быстрый "набор" грейдов, о котором я писал в прошлом посте, создал ситуацию большого количества продактов, которые считают себя высококвалифицированными специалистами. По результатам исследования из 928 человек к высшему грейду относят себя аж 38,2% продактов. К миддлам еще 45,2%. Эти миддлы станут синьорами, а что делать синьорам, которые хотят быть Head of Product или CPO, но позиции которых уже физически заняты, потому что продуктов больше не создается в таком количестве, а желающих быть продактами не уменьшается?
Третья история - это "интенсивность" или "насыщенность событий". Она связана с каденциями, в которых привыкла работать компания. Каденция - это цикл, в течение которого компания анализирует своё состояние, делает выводы, производит изменение и оценивает результат. От каденций (как и от структуры компании) очень сильно зависит скорость её развития: пока за месяц вы тестируете одну гипотезу, кто-то тестирует пять. 12 месяцев в одной компании могут быть приравнены к 6 месяцам другой компании просто за счет плотности событий. Поэтому и опыт 1-2 года в одной компании может быть эквивалентен 3-4 годам в другой.
Четвертая история - это "ресурсы" компании, в которой работает продакт. Объем ресурсов (денег, если хотите) позволяет даже при низких компетенциях достичь реализации проекта. Правда стоить это будет очень дорого и потребует очень много времени. Вы просто "заливаете" плохие решения деньгами. Поэтому и сеньор в компании, которая обладает огромными ресурсами, и сеньор в компании, в которой их нет, это две разных сеньорности.
Все эти истории призваны продемонстрировать то, что никакой градации, четкой или даже относительной, между продактами не прослеживается. Все работали в разных условиях рынка, при разном уровне ресурсов компаний, при разных временных каденциях, с разными объектами управления и т.д. И если уж как-то и грейдировать продактов, то по каким-то другим показателям. Поговорим об этом в следующий раз.
Ceterum censeo Carthaginem esse delendam.
Егор Толстой и Анна Симонова из DevCrowd вместе с коллегами из Авито завершили большое исследование рынка продактов в России за тяжелый 2022 год. Кто пропустил, исследование доступно вот здесь https://devcrowd.ru/pm22/research/
Результаты этого исследования вдохновили на несколько интересных тем, на которые хочется поговорить в последующих постах.
А еще Никита Ефимов, один из очень крутых специалистов в области опыта потребителя и менеджмента продуктов, автор инструмента Feature Canvas http://featurecanvas.com/ завел свой канал /channel/research_needed (привет, Никита, я же говорил, что держись).
Читать полностью…
А в статью про методику оценки рынка с помощью TAM / SAM / SOM добавил конкретный пошаговый алгоритм и уникальный шаблон https://productframework.ru/tam_sam_som. Забавно, но эта САМАЯ ПОСЕЩАЕМАЯ страница всего сайта (ну ладно, после карты навыков). Видимо, у людей это действительно болит.
Читать полностью…
Во-вторых, завершено описание жизненного цикла свойства продукта (в простонародье - feature), с которым можно ознакомиться вот здесь https://productframework.ru/feature_life_cycle
Читать полностью…
Кроме того, я думаю, что Карфаген должен быть разрушен.
Читать полностью…
У граждан и компаний есть большой спектр потребностей, начиная от здоровья и заканчивая образованием. Задачей "власти как услуги" является удовлетворить эти потребности. При этом, это не значит, что она должна это делать сама - она может организовать среду, в которой одни сегменты создают ценность для других. Как многосторонние платформы, как UGC-продукты.
Рынок здесь - это граждане и компании, проживающие на территории государства. Причем, не обязательно там родившиеся - фактически вся наука США создана мигрантами или американцами в первом или втором поколении. Т.е. демография может и не быть в современном мире эффективным способом увеличения этого рынка. О компаниях здесь и говорить нечего - создание благоприятного инвестиционного климата - это основа для развития предпринимательства и благосостояния страны.
Концепция бизнес-модели здесь также существует. Это налоговое обложение, т.е. комиссионная модель от различного типа финансовых транзакций, которые совершают потребители. Это создание национальных предприятий, которые торгуют национальными богатствами, т.е. формирование отдельных бизнес-юнитов.
Взаимодействие с таким "государством как услугой" осуществляется через интерфейсы, или отдельные решения (solutions). Чем они лучше, чем с минимальными затратами по времени, нервам и деньгам потребители могут решать свои задачи, тем для них ценность выше. Я считают, что Госуслуги - это великолепный кейс автоматизации взаимодействия с государством, который еще нужно поискать. Спасибо тем специалистам, которые им занимаются и делают тем самым жизнь для миллионов людей проще.
Но мало выстроить продукт - важно научиться им управлять и развивать, повышая ценность и увеличивая его экономические показатели (например, ВВП, уровень инфляции, курс валюты и т.д.). Чтобы понимать реальную дельту, импакт, который приносят те или иные действия менеджеров, отвечающих за развитие. А для этого необходимы механизмы сбора обратной связи от потребителей, определение метрик ценности, пользовательского поведения, прибыльности, эффективности процессов, анализ количественных данных. В общем всё то, что позволяет найти бутылочные горлышки и определить драйверы роста. Которые в свою очередь помогают сформировать стратегию развития того объекта управления, за который отвечает "product manager": района города, города, региона и т.д.
Здесь же существует и понятия бренда, и видения, куда же мы идем, и формирование экосистем, и сегментации, и создание "внутренних" продуктов и т.д. А также использование всего арсенала инструментов управления продуктами вроде иерархии метрик, глубинных интервью, OKR, приоритизации беклогов, юнит-экономики, HADI циклов, карт эмпатий, SWOT-анализа, strategy canvas, customer journey map, impact mapping и A/B тестов.
Но основа всего, как мне кажется, это конкуренция. Понимание, что при наличии возможности выбирать, человек или компания может выбрать ценность другого продукта, что снизит показатели экономической модели, за которую ты отвечаешь, приводит к совершенно иному типу поведения. Это переход от роли "распределителя ресурсов" к роли "менеджера", чьей главной функцией является максимизация ценности людей и компаний. Тогда и лебеди не улетят.
Разговор №6 о государстве как продукте
* По сравнению с 2021 годом удаленщиков стало в полтора раза больше, а процент тех, кто ходит в офис каждый день, упал ниже 10%.
* 75% компаний не просто разрешают удаленку, но и дают возможность работать из других стран.
--------
Мы живем в удивительные времена, коллеги. Хоть для многих из нас это стало обыденным, но таких еще не было в человеческой истории. Компьютеризация открыла возможности для цифровых продуктов, которых не существуют в реальном мире. По сути, для создания таких продуктов нужен только ноутбук и больше ничего. Перенос средств труда из оффлайна в онлайн изменил концепцию "классических" производств. Больше не нужно иметь станки, физические прототипы, комнаты для совещаний и многое другое. Даже нахождение на работе в строго регламентированное время в наш век гибких методологий стало необязательным. Уверен, что многие из вас даже не видели в глаза своих коллег - только через экран зума. Сами компании, по сути, стали виртуальными, не привязанными к точке в пространстве.
Непрекращающийся рост цифровизации и инвестиций в IT, когда спрос превышает предложение, породил достаточно обеспеченный класс "айтишников", которые могут позволить себе выбирать между тыквенным и хурмяным латте или слетать в Стамбул на выходные, потому что просто взгрустнулось. Интеллектуальный труд высокооплачиваем, а если научиться себя продавать, так вообще.
Развитие любой цивилизации (на самом деле вообще всего, но это отдельная история) связано напрямую с сокращением издержек на логистику. Рост Римской Империи не в последнюю очередь связывают с развитием сети качественных дорог, часть из которых существует до сих пор. Которые не только значительно снижали время на передвижение войск, но и позволяли прогнозировать время прибытия армии и обозов. Успех ост-индских компаний и колониализма напрямую связан с технологиями кораблестроения и скоростью морских перевозок. Успех промышленности и распространения товаров массового потребления со способами создания стали для развития сетей железных дорог. А стандартизация контейнеров и мультимодальные перевозки стали основной для глобализации мировой экономики. Не говоря уже о доступности полетов на самолетах. В общем, чтобы добраться до любого другого уголка мира, теперь не требуется значительного времени и денег.
Но вернемся к программам обучения. Следующим важным этапом в них стало внедрение не только сквозных историй, т.е. работы с кейсом-симуляцией или собственным проектом, но и самого фреймворка, мета-модели, которая помогает связать в единое целое методологию обучения и сквозь призму которого объясняются все остальные части программы.
Пожалуй, первая образовательная программа в котором используется сквозной фреймворк, это "Симулятор управления ростом продукта" от GoPractice, запущенная в 2021 году (хорошо, известная мне программа - если знаете другие, поделитесь, пожалуйста в комментариях). В нем была продемонстрирована модель, объединяющая четыре ключевых объекта управления (продукт, монетизация, каналы и рынок), через которую органично объясняются явления цепочек, драйверов и петель роста, бутылочных горлышек, связь с метриками и их влиянием друг на друга, а также явления product/market fit и product/channel fit. Подробнее мой отзыв о программе можно почитать вот здесь.
Герберт Саймон, нобелевский лауреат по экономике и лауреат премии Тьюринга, в своей книге "Науки об искусственном" сформулировал прекрасный тезис: "Решить задачу - это значит найти такое её представление, при котором ответ становится очевидным".
Для меня челленджем в поиске такого представления стала подготовка Общей Модели (нормального названия так и не придумано) для программы обучения CPO от Сколково и Яндекс Практикума, которую мы запустили в 2022 году. Общая Модель демонстрирует взаимосвязь между главными объектами управления в компаниях: рынка и его составляющих, а также моделей создания, дистрибуции и масштабирования ценности. К чему это привело:
1) выделение ключевых объектов, за которые отвечает CPO и члены продуктовой команды;
2) объяснение остальных моделей, предложенных в качестве инструментов для решения задач, а логике Общей Модели, демонстрация отображения их "точек зрения" на общую реальность;
3) демонстрация взаимовлияния разных объектов друг на друга;
4) отображение разницы между внешней и внутренней средой компании, маппирование событий и рисков одной на другую;
5) алгоритм поиска ограничений роста бизнес-модели компании;
6) объяснение разницы между процессами дистрибуции и процессами масштабирования самой компании;
7) отображение разницы между фокусами развития компании на создании ценности и её дистрибуции;
8) объяснение какие объекты должны быть учтены при построении roadmap;
9) демонстрация каким образом можно выстроить структуру продуктового отдела исходя их объектов управления и зон ответственности за бизнес-модель, продукт, дистрибуцию, IT платформы, дисквери-шмискавери и т.д.
В общем, Общая Модель оказалась настолько удачной (по крайней мере в контексте программы обучения), что я даже сам не ожидал. Она и стала тем ключевым стержнем, который связал все отдельные кусочки паззла в единую картинку. Позже я обязательно расскажу про неё детальнее, а также выложу на сайт фреймворка.
Разговор №5 о системном образовании менеджеров продукта
Его нет. До сих пор. Чтобы ответить почему так, нужно вспомнить путь, который прошло обучение менеджменту продуктов в России.
Первые программы стали появляться лет 10-12 назад. Их продвигали те же, кто обучал разработчиков скраму и другим гибким методологиям. Например, ScumTrek или Octoberry. Программы обучения, что логично, не выходили далеко за пределы роли Product Owner (не менеджера, заметьте) в контексте скрама, разве что были приправлены общими сведениями по практикам Lean Startup и Design Thinking, вроде impact mapping, lean canvas, RACI, story mapping, MVP, модели Кано, lean циклов и HEART метрик (ой, а где же jtbd? а не было его еще тогда). Основной фокус, что менеджер продукта - это человек, который помогает команде взаимодействовать с миром заинтересованных лиц (куда входят, как мы помним, и потребители).
Отрасль развивалась и в ней стали появляться люди, которые с одной стороны наработали навыки применения разных моделей (глубинные интервью, story mapping, customer journey map), а с другой стороны хотели поделиться ими с комьюнити. Так появились первые курсы, где можно было точечно изучить модель и кейсы её применения от экспертов. Кек, не уверен, но кажется именно в это же время и стали появляться продуктовые инфоциганы.
Плюс-минус шесть лет назад зародились первые "большие" программы обучения менеджменту продуктов, которые по сути представляли собой солянку лекций от разных представителей индустрии. Сразу стали видны минусы этих программ:
1) Приглашенные эксперты хоть и работали компаниях с громкими именами, носили звания синьоров, хед офов и директоров, но говорили в стиле Тони Робинсона "делайте хорошо, а плохо не делайте".
2) Приглашенные эксперты просто не могли (не умели?) нормально рассказать свою часть общей программы, а их представление о моделях ограничивалось только их собственным опытом, точкой зрения на реальность. Порой весьма ограниченной.
3) Задания в процессе обучения касались либо небожительских кейсов Netflix, Microsoft, Uber, Apple, либо искусственных кейсов, из которых сложно сделать нормальные выводы. В обоих случаях их практическая применимость сводилась к нулю.
Но самое главное - разные темы и модели внутри одной программы абсолютно не сочетались друг с другом и не позволяли создать в голове общую картину управления продуктом. Как будто бы студенты сначала собирали часть одного паззла, затем часть другого, затем третьего, но все эти части относились к разным картинкам, поэтому собрать из них общий просто не получается. Нет связующего компонента или фреймворка, прости господи.
О "голубом огоньке". Я верю, что движение вперед связано с плюрализмом, с обновлением поколений и переосмыслением старого. Нельзя один раз выбрать себе кумиров и потом все время на них равняться. Нужно слышать голоса новых специалистов, которые, есть гипотеза, весьма тихие. Либо потому что у них нет в портфолио кейсов известных компаний, либо потому что они пишут, но в канал на 30 человек, либо вообще отказываются что-либо говорить, хотя могли бы, т.к. не хотят вкладывать ресурсы в создание канала и поиск аудитории. Т.е. есть разница между "каналом" и "сообщением в канале".
И я подумал, почему бы тем, кто владеет каналами, не давать возможность использовать их, чтобы те, кто хочет что-то сказать, могли это донести до аудитории. Полтора-два года назад я задавал вопрос о том, стоит ли выкладывать посты других людей в канале - в основном были против (я так и не понял почему) и не стал продолжать тему. Но вот в декабре Сергей Предко, автор "Стратегия и маркетинг" сделал свой канал "открытой трибуной для стратеджистов", предложив один день в неделю публиковать в канале статью или особое мнение, чтобы получить обсуждение и обратную связь. Это очень круто. Это большая возможность для многих специалистов принести пользу комьюнити, при этом не создавая свой канал.
Что, если создать некое "движение" #ProductOpenTribune, к которому могут присоединиться владельцы каналов. Если ты поддерживаешь это движение, ты должен предоставить возможность любому человеку опубликовать свою статью / мнение с аргументами / постановку проблему с этим тегом. Например, раз в неделю или две недели, как захочет владелец. При этом должны быть понятные и прозрачные правила отбора постов от желающих, которые также можно сделать едиными для этого движения (а потому простыми).
P.S. Ceterum censeo Carthaginem esse delendam.
Разговор №4 о продактстарах, каналах и открытой трибуне
* Топ-5 Telegram-каналов про продакт-менеджмент: «No Flame No Game», «Будни продакта», «Ваня Замесин», «ProductSense» и «Борода продакта».
* Топ-3 подкастов: make sense, Podlodka, Запуск завтра.
* Лучшие книги: Inspired, Спроси маму, Цель, Канеман, Lean Startup, От нуля к единице, Стратегия Румельта
* Эксперты, за которыми следят: Иван Замесин, Илья Красинский, Анна Булдакова, Анна Подображных, Олег Якубенков, Глеб Кудрявцев, Аркадий Морейнис, Андрей Менде, Михаил Карпов, Наталья Бабаева, Владимир Меркушев, Владимир Калмыков, Алексей Писаревский, Дмитрий Безуглый, Александр Горный.
--------
Жизненные циклы и преимущество первого игрока на рынке существует и в профессиональной среде. Фактически, мы получили наш уютный продуктовый "Голубой огонек", где каждый год в хедлайнерах на конференциях и топах статистики одни и те же лица, в топах одни и те же книги, а во множестве новых и старых каналов снова и снова обсуждают, как же блеать правильно применять jobs-to-be-done и про выгорание (хотя Михаил Карпов каждый год открывая ProductCamp рассказывает о том, что темы интересов у комьюнити все-таки меняются и что становится в фокусе). С одной стороны - это закономерно и нормально, а с другой стороны это может быть признаком застоя. Вот об этом и хочется поговорить в этом посте.
Упрощенную схему ключевых объектов управления в product management можно посмотреть здесь. А вот полную я добавил на страницу карты навыков в Miro.
Такая карта позволяет не только проанализировать, за что именно отвечают менеджеры при текущих процессах и где находятся "лаги", т.е. куски, за которые никто не отвечает, но и понять, каким образом можно перестроить схему управления, разделить зоны ответственности между разными ролями в компании и подобрать соответствующие навыки для менеджеров.
Объект управления - это некоторый объект компании (например, продукт, схема монетизации, каналы привлечения и т.д.), чьем состоянием должен управлять менеджер (не обязательно с ролью product). Ключевая задача управления - это перевод объекта из текущего состояния в целевое. Цели, по сути, это комбинации целевых состояний одного или нескольких объектов управления.
Соответственно, если вашим ключевым объектом управления является проект, то кажется, ваша роль должна называться "менеджер проекта", но не продукта, т.к. вы за него не отвечаете. Если ваш объект управления это бизнес-модель, то кажется, вы тоже не "менеджер продукта", т.к. вашей задачей является изменение свойств бизнес-модели. При этом, вы конечно же можете управлять сразу несколькими объектами: и бизнес-моделью, и продуктом, и командой разработки, и проектами. Если ваших ресурсов и времени на это хватает.
Такая же история и с грейдами. Можно сколько угодно называться middle product manager или senior product manager, но важно понимать, каким образом это отображается на тех объектах управления, за которые вы отвечаете? Меняются ли они? Или меняется их "размер"? Или вместо одного продукта вы теперь управляете несколькими? Все это открытые вопросы, на которые каждая из компаний должна отвечать самостоятельно, ведь их схемы управления и архитектура бизнеса и продуктов отличаются друг от друга. Senior в Авито и Senior в Контуре - это два разных сеньора.
Развитие менеджера продуктов в такой логике может реализовываться в нескольких направлениях:
* увеличение проектов работы с тем же объектом управления;
* работа с тем объектом управления, но большим значением его свойств (работали над продуктом в небольшой компании, а потом перешли в Яндекс с огромной аудиторией);
* переход от "меньшего" объекта управления к "большему", например, feature → вертикаль → продукт → портфель продуктов → бизнес-модель → бизнес-юнит. Или, часть воронки → воронка → система дистрибуции и продаж → бизнес-модель → бизнес-юнит.
Другая история с зарплатами. В менеджменте продуктов, как правило, виден экспоненциальный рост зарплат в первые пять лет вашей деятельности (от грейда к грейду, от компании в компанию), но потом вы дорастаете до какого-то потолка и процент роста уже далек от того, что раньше. И тут может оказаться, что сеньор в течение нескольких лет может получать примерно одну и ту же зарплату (с учетом реиндексации на инфляцию). Как и во многих других профессиях, несвязанных с этим вашим мягкотелым IT. А у многих людей рост зарплаты ассоциируется с собственной успешностью и развитием, и если она перестает расти также эффективно, как раньше, у людей наступает кризис. А на самом деле его нет: ваше собственное развитие и рост зарплаты не коррелируют друг с другом.
Скорее всего это приведет к заметному повышению конкуренции на рынке труда. С другой стороны это приведет к повышению требований к вакансиям менеджеров по продукту. Уже будет недостаточно пройти даже 8-месячный курс - потребуется нормальное бизнес-менеджмент-образование. Чтобы работодатель был уверен, что вы умеете не интервью провести (специализация в продакт менеджменте усилится и все больше будет отдельных специалистов), а собрать продуктовую команду для управления бизнес-юнитом и достичь бизнес-результата. Соответственно и продакты будут больше похож на зарубежных коллег, т.е. 40-летних дядек и тётек с MBA.
Все эти моменты приводят к тому, что все больше и больше продактов станут задаваться вопросом "каким образом мне развиваться дальше, если я уже senior / head of product"? С одной стороны это замечательные специализированные курсы вроде GoPractice или Product Heroes. А с другой стороны, если отбросить уход из отрасли или переход в CEO, то что?
Лично я думаю, что раздутый хайп на слово "product" в названии профессии сместит свой фокус на слово "management" и станут востребованными "MBA"-ориентированные продукты. Т.е. те, которые предлагают методологию управления не продуктами как "для пользователей", а продуктами как бизнес-юнитами, как частями портфелей. Увеличится интерес к стратегическому маркетингу, построению брендов экосистем продуктов, оценке рентабельности проектов и их бизнес-эффективности.
Как будет на самом деле - я не знаю. Все мои суждения опираются понимание жизненных циклов, системную динамику и некоторую экспертизу в отрасли. Открыт к диалогу и вашим рассуждениям на эти же темы.
Ceterum censeo Carthaginem esse delendam.
Этот пост является скорее приглашение к диалогу и рассуждениям, чем прогнозом, поэтому будет круто, если вы выскажете свое мнение.
Разговор №2 о жизненных циклах и дальнейшем росте в профессии
* Топ-3 профессии для входа в продакт-менеджмент: проджект-менеджер, маркетолог и бизнес аналитик.
* Подавляющее число продактов не рассматривает переход в другую роль.
* Но если такое случится, то это будет либо предпринимательство, либо генеральное директорство, либо менторинг / коучинг / обучение других. Все остальное по мелочи.
--------
Основной "источник" поставки продактов - это смежные профессии. Топ-3, судя по результатам этого исследования, это проджект, маркетолог и бизнес-аналитик. Этот топ-3 сохраняется постоянно с момента разговоров о продактах на российском рынке (это примерно 2010 плюс-минус 1-1,5 года). Например, я перешел в продакты из системного / бизнес аналитика 10 лет назад. Интересно, адаптируют ли разные курсы для продактов свои офферы / меседжи / программы под разные целевые аудитории, типа "продакт менеджмент для тех, кто пришел из маркетинга"?
Кстати, возникновение той или иной профессии можно связать со временем рождения первых конференций. В России это, конечно же Product Camp. А вот о том, как он у нас появился, можно почитать вот здесь https://medium.com/product-story/product-camp-russia-bc74d0f358d1
Второй "источник" как массовое явление появился заметно позже - с ростом рынка EdTech и запуском курсов для второго эшелона профессий, к которым и относится менеджмент продуктов. Почему второй? Потому что обладает (обладал?) меньшим спросом, доходностью и более сложным в плане построения методологии обучения, чем data science или QA. Такие курсы стали распространятся примерно с 2019-2020 года. Именно как массовое явление, призванное не повысить компетенции тех, кто уже работает продактом (этим занимался и ScrumTrek еще 10 лет назад с обучением для роли Product Owner), а ввести в профессию новичков и обучить азам product management.
В итоге этого бума на рынке появилось большое количество курсов разной степени херовости, адаптированности только под знания тех, кто отвечает за программу, и отсутствием какого-либо системного образования, которое объединяло бы отдельные кусочки знаний в единую непротиворечивую картинку. Часть продуктов за несколько лет повысили свое качество, но в результате мы все равно имеем большое количество "джуниоров", которые хотят 200.000 рублей на входе, но которые не чувствуют разницу между знанием и навыком.
На рынок выходят еще больше продактов с низкими системными знаниями, которые все также будут выдавать низкое качество проектов, пока не сформируются навыки, а компании все равно будут тратить деньги на их "воспитание в реальных условиях". Тем самым дискредитируя саму профессию менеджера продукта. Извините, у меня это действительно болит. Я считаю, что если тебе дается ответственность за миллионы рублей, десяток разработчиков и репутацию компании, ты должен настолько глубоко вгрызться в тему, настолько хорошую аргументацию иметь и проработать альтернативные варианты, чтобы к тебе было не подкопаться. А некоторые даже вопросы для интервью подготовить не могут или не понимают, в чем заключается точки дифференциации их продукта, или что такое product / market fit. Частично проблему наработки навыков решают кейс-клубы (например, Денис Ялугин их организовывал в Москве раньше, Карьерный Цех проводит в виде тестовых заданий), но их мало... Чертовски мало для такого огромного количества студентов...
Разговор №1 об относительности грейдов и опыта
* 20,7% респондентов проработали 3-6 лет продактом, при этом в целом проработав в IT также 3-6 лет. 8,1% работают продактом 1-2 года, при этом в целом проработав в IT также 1-2 года. Обе группы это 30% респондентов.
* 15,1% респондентов определили себя как Senior, проработав 3-6 лет в отрасли. 23,6% как Middle, проработав 1-2 года.
* Бэкграунд не виляет на дальнейший профессиональный рост в продакт-менеджменте. Т.е. не важно, кем вы были до этого - вероятность того, что вы дорастете до senior или head of product плюс-минус одинаковая. Правда, если вы пришли в продакты из предпринимателей, то вероятность стать head of product и CPO выше, чем у других.
--------
Эти результаты исследования можно по сути превращаются в тезис "не важно, кем ты был, иди в продакты и достаточно быстро станешь уважаемым всеми человеком (с соответствующей зарплатой)". Этот же тезис сейчас продает практически каждый курс по менеджменту продуктов. Оставлю за рамками моральную составляющую и порассуждаю о том, почему именно это произошло: почему не важен опыт / образование и как так получилось, что продакты называют себя мидлами после двух лет в IT в целом.
Средний срок жизни продуктового проекта в России - это 1-1,5 года. Эта цифра скорее экспертная, взята после общения с большим количеством коллег и анализом резюме, нежели является результатом такого же крупного исследования, как у DevCrowd. Важно, что под проектом в большинстве случаев является либо запуск продукта, т.е. полноценное прохождение этапа Discovery, либо создание технологической платформы, либо выведение продукта на стабильные показатели роста для дальнейшего линейного масштабирования, либо какое-то крупное обновление / рефакторинг / изменение структуры и процессов, либо создание портфельной экосистемы. Соответственно, многие воспринимают, что они обладают компетенциями middle уже после одного такого проекта, а уж синьором себя считают после второго или третьего. Однако, наличие проектов и уровень рабочих компетенций - это совершенно два разных вектора.
К чему в итоге приводит такая ситуация? К тому, что руководящие позиции начинают занимать Head of Product, Senior и CPO, которые не отличают NSM от Revenue, не могут выделить юнит или не понимают, как выстроить user flow от потребностей потребителей.
Вторая история - это "успешность". Многие, особенно смотря по резюме, не отделяют свой уровень успеха от уровня успеха самой компании, или же динамики развития отрасли. Многие слышали про фразу "палку воткни - вырастет", которую используют, когда говорят о плодородности земли. Многие рынки в России последние 20 лет были такой землей, когда спрос заметно превышал предложение и поэтому эти рынки росли как не в себя: разработка ПО, автоматизация работы с клиентами, екоммерс, банковская отрасль, логистика, взрослое и детское образование и т.д.
На заре рынков, несмотря на поиски стабильных бизнес-моделей, где происходит много неудач, ещё нужно умудриться завалить проект. Вообще, любой новый рынок - это отличная возможность и быстрый буст для любой компании или человека, который хочет сделать карьеру, потому что вероятность успеха выше, а объем усилий меньше. Однако, состояние золотого века рано или поздно подходит к концу и оказывается, что компетенций для того, чтобы продолжать расти дальше, уже не хватает. А может быть, никогда и не хватало, ведь "все росло само собой". Зато, можно считать себя senior и добавить в резюме строку "вырастил проект с нуля до выручки 20000%".
Ну и да. Ceterum censeo Carthaginem esse delendam.
Читать полностью…
Ну и вишенкой на торте - свежая статья о том, каким образом можно подобрать способы для определения наличия product / market fit в любом продукте. Не важно, удовлетворяет ли он высокочастотную или низкочастотную потребность, длинные или короткие там циклы сделок, и что делать, если не удается подобрать количественную метрику. Надеюсь, вы найдете её весьма полезной https://productframework.ru/product_market_fit
Читать полностью…
В-третьих, я обновил статью про контекст потребителя https://productframework.ru/customer_context, немного скорректировав модель, чтобы она в лучшей степени совпадала с другими моделями фреймворка.
Читать полностью…
Во-первых, я обновил главную сайта фреймворка - а сам он переведен из стадии draft в релиз. https://productframework.ru/
Это связано в первую очередь с тем, что завершено описание первого этапа жизненного цикла продукта - Product Discovery. https://productframework.ru/product_discovery
А в меню сайта добавлены перечень инструментов и типы гипотез.