10691
Мои мысли про стартапы и продукты. Байрам Аннаков, фаундер and CEO onsa.ai - автоматизация B2B продаж Мой YouTube: https://www.youtube.com/BaykaAnnakov Мой LinkedIn: https://linkedin.com/in/bayramannakov
На стримах про школы экономики (1, 2) я рассказывал про Cantillon Effect - что при эмиссии денег инфляция имеет неравномерный эффект: для тех, кто близок к эмиссии (например, бюджетники), эта инфляция не так заметна в краткосрочном периоде, цены не успели отреагировать на повышенное предложение денег.
Вчера на прогулке слушал про Кантиллона и его идеи (оказывается, он ирландец, а не француз, как я думал), и почему-то всплыл недавний вопрос друга про тапалки а-ля notcoin, которые популярны в Телеге в последние несколько месяцев. И почему-то подумал, что вот там похожий эффект: те, кто находится у начала эмиссии, имеют больше возможностей для прибыли. Очень напоминает классическую пирамиду.
a16z запустили ресурс про ценообразование для growth stage стартапов:
1) про usage based pricing - как раз вчера обсуждали с фаундером b2b приложения эту тему. У его конкурентов usage based pricing, а у него нет и он видит, что некоторые abuse-ят. Придумали как с помощью аналитики и простых экспериментов можно проверить гипотезу
2) понравилось правило, что usage based ценообразование лучше всего для кейсов, когда конечный юзер - программа (software), а не человек. Когда человек - лучше работает подписка.
Подробнее тут:
https://a16z.com/pricing-packaging/
GenAI в Корпорации
Некоторые из вас знают моего близкого Друга и CTO в Vista (частная авиация) - Мишу Кирсанова: он был в гостях на школе GenAI разработчика и иногда заглядывает на наши EDU встречи. Пришло время и ему выступить
О чем будет стрим?
В этом канале я часто пишу про GenAI с позиции стартапа и небольшой компании, а каково это внедрять это в корпорации с тысячами людей и миллиардами долларов оборота? Вот про это Миша и будет вещать.
- Vista @ 5000 сотрудников и 200 разработчиков ПО
- Историческая перспектива: команды AI/ML
- Ноябрь 2023 - момент, когда все начало меняться
- Путь трансформации разработки - семинары и хакатоны
- Путь внедрения в бизнес - презентации, поиск союзников
- Внешние платформы, текущие и будущие
Когда?
В следующее воскресенье, 16 июня с 16 по 18мск. Стартовая стоимость $20, растет на $5 каждый день - покупаем билет тут.
Если не сможете участвовать очно, то получите запись и материалы.
До встречи!
Я как-то уже писал, что важен не план, а процесс планирования. Так называемый proof of thought - что вы действительно подумали над тем, над чем должны были подумать. По мере проникновения LLM в наши рабочие процессы, велик соблазн аутсорсить важные мыслительные активности ей. Самый большой риск - как раз лишить себя пользы от этого процесса. Прося chatgpt сгенерировать план для проекта, который мы стартуем, мы не уделяем должного внимания этапам в этой плане, они не остаются на подкорке, не триггерятся вовремя, не направляют наше внимание по мере выполнения проекта.
Поэтому я придерживаюсь такого подхода:
1) Сначала набрасываем план/структуру сами.
2) Просим нашего друга (chatgpt) проревьюить и указать на то, что мы забыли/упустили
3) Просим второго друга (claude) покритиковать этот план
4) Делаем zoom out, проверяем не ушли ли мы слишком вглубь, благодаря path dependence LLM-ок
Мы сейчас делаем один проект, и я сегодня на прогулке понял, что надо пойти дальше. Надо скормить LLMке текущий план vs факт по этому проекту, и попросить ее
1) дать свое заключение, насколько реалистичны эти планы
2) обьяснить, почему мы не успеем вовремя сделать какой-то milestone и что можно сделать, чтобы успеть
3) предложить обновленный план
Я это сделал и словил парочку инсайтов, которые на ближайшем статус митинге намерен обсудить с командой. Тоже самое можно и нужно попробовать и с другими планами. Например, планом продаж 🙂
Кстати, а как проверить, что ваш коллега подумал над планом, что прислал вам?
Ретеншн бенчмарки
В недавней статье, посвященной 10 годам гроусхакинга (кстати, забавно, но вот одно из моих первых выступлений по теме), Andrew Chen запостил легендарную картинку Flurry про ретеншн и частоту использования разных приложений. Помню, что к ней еще были рекомендации по монетизации: а-ля одноразовые аппы с низким ретеншном надо делать paid, а частотные и с высоким ретеншном - зарабатывать на рекламе.
Рекомендую использовать как бенчмарки, ведь
Информация возникает, когда есть сравнение
AI тренды в стартапах YCombinator
Недавно Garry Tan, президент YC, был в гостях у Элада Гила, где в числе прочего рассказывал про тренды в стартапах, подающихся в YC. Ключевые поинты:
1) 70% стартапов - про AI, 2/3 из них - SaaS; ему не очень нравится, когда эти стартапы сравнивают с chatgpt-обертками, это как говорить, что все SaaS продукты это обертки над базой данных
2) Очень быстрый рост - в прошлом батче ARR у среднего стартапа был около $6M --> на выходе, через 3 мес, в районе $30M o__O Такого роста ARR у них не было в прошлых батчах!
3) Общее у успешных: технические фаундеры, фокус на конкретных проблемах и разработка приложений под них, а не общие вещи
4) Пока нужно хорошенько тюнить модельки под конкретные задачи, чтобы добиться достойных результатов
5) Инфраструктурные решения для AI: тестирование, совместная работа над промптами, оптимизация моделей
6) Есть некоторые, что работают над foundational моделями --> биология, робототехника
7) Инересная мысль, что 3-5 лет назад средний возраст фаундера YC стал расти, но сейчас, благодаря низким барьерам входа для использования OpenAI, Claude и др и disruptive потенциалу, возраст опять стал снижаться, так как меньше нужно скиллов и опыта в индустрии
Про массовые продажи и цифровых двойников клиента
Andrew Chen недавно сделал опрос про влияние AI на маркетинг, и ваш покорный слуга тоже поучаствовал в нем. Большинство идей на поверхности, но мне очень зашла 1 идея: про слияние маркетинга и продаж, благодаря AI
Тезисно его мысль такая:
1) Традиционно маркетинг делал часть работы продаж: массово доставлял какое-то сообщение до аудитории. Из-за массовости невозможно было обеспечивать 1:1 персонализированный мессаджинг/продажу - это было бы слишком дорого.
2) С AI это становится возможным: представьте, что запуская маркетинговую кампанию, вы запускаете миллионы AI агентов, каждый из которых ищет подходящего лида, изучает его, персонализирует сообщение для него, и продает. Может даже покупает обьявление в твиттере или фейсбуке, но таргетированное на 1го конкретного человека (сейчас это не очень возможно, кстати)
3) Представьте, миллионы диалогов, которые эти агенты ведут с вашими потенциальными покупателями, обмениваясь опытом друг с другом: какое сообщение лучше зашло, какие вопросы лучше заходят и тд и тп
Мы с командой как раз недавно обсуждали, что делая нашего AI двойника сейлза мы должны параллельно создавать и двойника потенциального клиента, которому этот сейлз пытается продать. Сейчас, для наших бета кастомеров AI агент изучает linkedin этих людей и их компаний, собирает информацию с apollo, гуглит публичную информацию, и подсказывает sdr-у или account executive-у как лучше зайти на человека в linkedin или правильно провести звонок. Но представьте, что есть двойник этого потенциального клиента - что можно было бы делать? Потренироваться в звонок до реального звонка? Спросить у двойника - что болит у него и его компании? Подобрать релевантные case studies? Рассказать onboarding команде, что важно для этого клиента, чтобы контекст не потерялся? То есть быть эдаким хранилищем контекста - каждому клиенту по агенту. Каждый агент меняет состояние и хранит контекст, и является эдаким backend-ом для агентов и людей, взаимодействующих с этим клиентом... Вам это ничего не напоминает? 😉
P.S. Как обычно, если хочется покрутить эту или другие темы из канала - welcome на консультацию
No-shot, one-shot, few-shot, many-shot 🤯
Я думаю, что большинство из вас уже знает эти термины в контексте LLM, но не исключаю, что немалое количество для 99% задач использует no-shot. А вот зря :)
Сначала про термины:
1) No-shot - просто задаем инструкцию LLM-ке и смотрим, насколько она хорошо отработает. Например:
You are an AI sales coach who assists sales managers in preparing for meetings, analyzing their sales calls, and providing feedback. Please analyze the following sales call transcript and identify areas for improvement.
Transcript: {{transcript}}
Example output:
{
"summary": "<3-5 sentences summary of call>",
"positive": "<list of positive characteristics in the way the sales manager handled the call>",
"negative": "<list of negative aspects or areas for improvement>",
"questions_asked": "<number of questions asked by the sales manager>"
}
"economic_buyer_present": "<Was the economic buyer present on the call? 'True' if customer-side meeting participant's title is one of 'CEO', 'CFO', 'CRO', 'CBDO', 'VP of Sales'; otherwise 'False'>"
AI Buyouts
В продолжение поста про автоматизацию сотрудников - вот вам интересная идея: AI Buyout
1) Находим сервисный бизнес, в котором AI может заменить сотрудников существенно трансформировать
2) Покупаем его а ля private equity
3) Автоматизируем все, что возможно
4) Профит
Идеальные таргеты:
1) Компании с большим количеством ручного труда: ревью документов, извлечение и ввод данных, обилие текстовых коммуникаций, написание незамысловатого текста
2) Сотрудники, исключительно обеспечивающие эти бизнес-процессы, без специальных знаний и навыков
3) Высокая доля оплаты труда в общих затратах, низкая маржинальность
4) Рынки с недостатком рабочей силы
5) Слабая рыночная позиция (дешевле купить, выше апсайд)
Что думаете? :)
State of AI
Послушал Марка Андриссена и Бена Хоровитца про состояние AI (апр 2024) - супер полезно и интересно, темы достаточно живые для разработчиков GenAI стартапов
Мои заметки:
1) Сэм Альтман зря пугает (его слова про то, что если вышла новая версия модели и вы говорите “о круто!”, то у вас гуд стартап, а если “о черт!” - то не очень); можно и нужно разрабатывать фундаментальные модели поскольку могут быть разные подходы в архитектуре, корпусе данных, предметной области и тп. Особенно актуально для стартапов, ориентирующих на enterprise. Вообще, забавно как они поднимают тему “Сэм пытается отговорить конкурентов” 🙂
2) Про то, что модели подходят к ассимптоте по тестам; что они более-менее похожи друг на друга; и похоже не будет прорыва в 100 раз. Еще интересный момент, что alignment (возможно) делает модели тупее. Но интересный контраргумент - может просто тесты тупые или надо, чтобы AI писал тесты? 🙂
3) Корпус данных очень важен; среднестатистический автор в Интернет - не самый лучший датасет для тренировки, поэтому мы получаем среднестатистические ответы. По теме, кстати, пост про llama 3 и почему она обыгрывает большие модели, я уверен что это важный поинт, я пытаюсь часто в моих разговорах вокруг mindshare и цифровых двойников пояснить эту мысль: тренировать надо на качественных данных и RLHF делать экспертами, а не аутсорсерами-неэкспертами
4) Интересно про перспективы overtraining. Кстати, это еще важно и для удешевления/ускорения инференса, как я понял из интервью Марка с Дваркешом и постобсуждений
5) Хорошо покрутили ключевой страх предпринимателя, что gpt 5-6 могут простым промптом решать все sophisticated навороты, которые вы сделали в своем продукте сейчас, и вы станете не нужны. В основном, про важность process flow, встраиваться в бизнес-процессы, интегрироваться с другими тулами, людьми и тп. Все это требует достаточно хорошего понимания клиента и его экосистемы, поэтому скорее всего general модели не смогут заменить эти продукты/обертки вокруг LLM, если обертки достаточно “толстые” 🙂 Я писал про это тут
Для нужд mindshare писал тут агента, который анализирует посты в разных Телеграм каналах, определяет о чем они, рекламные или нет, и тп. А это десятки тысяч постов, каждый по 2-3 абзаца текста на русском
Поделюсь парой уроков:
1) Разработку начал с gpt-4-turbo, но когда отработал пайплайн, то сравнил качество с 3.5, не увидел особых потерь и перешел на 3.5, с 20x экономией на затратах. Думаю, это хорошая практика начинать именно с более качественной модели, подготовить валидационные данные, а потом протестировать на модели попроще
2) Открыл для себя tgstat api для поиска по постам (API поиска) и получения статистики (API Статистики)
3) Сначала все промпты писал на русском, но потом в целях экономии на токенах решил перейти на английский - не заметил потери в качестве
4) Мне нужно было определять является ли пост анонсом мероприятия: заметил интересную особенность, что если я прошу LLM выставить confidence level, то это помогает получать более качественное определение. То есть, в процессе определения confidence level, LLM лучше справляется с задачей определения типа поста. Достаточно неожиданный эффект - а вы замечали нечто подобное?
P.S. Прямо вспомнилось, как лет 8-9 назад писал парсер delivery-club для RuBeacon - нашего проекта по разработке приложений для ресторанов и кофеен
Про пивоты
У Lenny вышел обзор пивотов (см. комментарии). Я засунул его в chatgpt и попросил подытожить индикаторы, что “уже пора”. Вот что получилось:
Почему?
1. Низкий ретеншн - у нас так было с In Flow, и мы закрыли его, хотя было достаточно больно и до сих пор я думаю об этом продукте
2. Остановился рост
3. Не было “тяги” с рынка, достаточно вялый интерес к продукту - имхо, кейс с wingman
4. Была лучшая альтернатива - вот тут я пока помолчу 😉 но может у вас есть кейсы?
Когда?
От пары месяцев до нескольких лет. Я бы сказал, что нет явной зависимости. Ну вот пивот YouTube за неделю от видео дейтинга до просто видео хостинга это, конечно, вау 🙂
Откуда брали идеи для пивота?
1. Фидбек от юзеров - качественный и количественный
2. Внутренние хакатоны и сайд проекты - !!!
3. Анализ конкурентов/рынка
P.S. Хотите помайндшерить по этой или другой теме из канала - велком на консультацию
In Code We Trust
Слушал недавно выступление Андрея Карпатого, он там рассказывал про его время в Тесле, и интересным образом охарактеризовал Маска, что для того код - это истина в последней инстанции. Он часто не верит людям на слово, просит показать, как оно работает на уровне кода.
Очень часто, особенно для продуктов с историей, никто не в состоянии точно знать, как и что работает в продукте: требования меняются, ошибки вносятся, некоторые правятся, но не все. Существуют неэффективные циклы, плодящие ненужные SQL запросы или обращения к LLM. Продакт-менеджерам, не знакомым с программированием, достаточно сложно опираться лишь на слова других, но не верить каждому еще хуже (если ты не Маск).
Я сам часто сталкивался с подобными проблемами, поэтому преодолевал барьеры, разбирался с кодом. Обычно алгоритм выглядел так:
1) По аналитическим евентам я нахожу, где примерно выполняется та часть, что меня интересует. Поскольку, как продакт ты часто пляшешь от метрик и евентов, то простым текстовым поиском я находил нужную часть.
2) Дальше я читал код, благо мое программистское прошлое и знание английского мне помогали более-менее понимать, что происходит. Как же круто, что сейчас для этого есть LLM и можно попросить ее обьяснить, скопировав в нее код. Или вообще рискнуть и сгрузить ей в контекст весь репозиторий, и задать интересующий вопрос, засунув в Gemini Pro или другую модельку с большим контекстным окном. Обычно уже на этом этапе появлялись первые гипотезы/ответы, почему метрики не сходятся и евенты не так бросаются.
3) Далее, если я находил несоответствия, то просил кого-то из разработчиков (см. Author в файле) или автора самого большого количества изменений в этом файле за последнее время) подтвердить мое понимание и обьяснить, почему что-то делается именно так. Этого было достаточно, чтобы улучшить свое понимание продукта и метрик, или пофиксить проблему.
Самое сложное в этом алгоритме сделать именно первый шаг: открыть код в условном GitHub. Все остальное - теперь очень просто. Поэтому, если вы еще этого не делаете, то отложите все, получите доступ к коду, найдите текстовым поиском, где бросается важный для вас евент, и попросите LLM обьяснить эту часть. Обещаю, ваш мир более не будет прежним :)
В комментариях - переписка с 2мя разработчиками по следам одной такой проверки 😉
Про general purpose technology
VC часто задают вопрос generative ai стартапам: мол, где ваш moat? Ожидают ответов в стиле distribution, data network effects, etc. И оно понятно.
Мое же мнение на этот счет следующее: если мы принимаем, что generative ai - это general purpose technology, такая же как электричество или Интернет, то по самому определению такая технология дает массовые бенефиты, и не может быть ограничена каким-то entity. Ведь, выгоды от электричества не были сконцентрированы в одних руках: пришлось реорганизовывать заводы, появились станки, электроприборы, понадобились люди, обслуживающие оные. Даже ночные смены стали возможны благодаря электричеству. Я уже не говорю про стандарты безопасности и средства защиты, которые понадобилось придумать и реализовать. Поэтому доступ к gen ai не может быть конкурентным преимуществом, он будет расширяться, все больше людей и компаний будут получать доступ к нему, оно будет все более проникать в нашу жизнь.
Поэтому, я считаю, силы и фокус наши должны быть направлены на вопросы "КАК?" - как применить технологию, как надо реорганизовать работу компаний, людей, рынков, чтобы максимизировать выгоды от GenAI? То есть, вторичные инновации, которые бизнесы построют вокруг технологии, но оне она сама. Инновации не только продуктовые, но и организационные, социальные, на уровне бизнес-моделей, клиентском сервисе, монетизации и тп. И мы не знаем ответы на эти вопросы, они будут рождаться по мере внедрения, через опыт и ошибки, через катастрофы (к сожалению) и прорывы.
А вы как считаете?
Иногда взаимодействую с командами, которые разрабатывают продукты на GenAI, и есть некоторые вещи, которые часто всплывают, поэтому этот пост
Минимальный набор курсов и видео:
1) Generative AI for everyone - https://www.deeplearning.ai/courses/generative-ai-for-everyone/
2) ChatGPT Prompt Engineering for Developers - https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/
3) Building Systems with the ChatGPT API - https://www.deeplearning.ai/short-courses/building-systems-with-chatgpt/
4) OpenAI DevDay "Survey of Techniques for Maximizing LLM Performance" - https://www.youtube.com/watch?v=ahnGLM-RC1Y
5) Busy Person’s Intro to LLM - https://www.youtube.com/watch?v=zjkBMFhNj_g
Несколько гайдлайнов:
1) Начинайте тестирование результатов работы с клиентами как можно раньше, до развертывания инфраструктуры, просто в playground - ваш покорный слуга даже забывает это правило порой (facepalm)
2) Последовательно двигайтесь от in-context learning, к RAG, а уже потом к fine tune. Важно: finetune в отличие от in-context и RAG привязывает вас к модели, сложнее будет переходить на другие
3) “Premature optimization is the root of all evil” - не оптимизируйте косты раньше времени, сначала добейтесь качества. Затем
а) учитывайте закон снижения затрат - ~75% в год;
б) дебажьте трейсы (можно через langfuse) и ищите точки неадекватной траты токенов. К примеру кейс из моей практики: дефолтовый таймаут ожидания ответа может быть 60сек, и для сложных задач LLM может не успеть ответить, и вы будете дергать заново из за ретраев —> лишние токены.
в) уход на другие модели (где токены дешевле) без потери качества или finetune
Прикольная визуализация эссе Пола Грэма про great work: https://www.paulgraham.com/greatwork.html
Читать полностью…
Питер Тиль в Zero to One привел эту диаграмму (см. ниже), чтобы проиллюстрировать идею, что нельзя сделать стартап, ориентированный на dead zone: маркетингом не достучаться, а продажами - не окупить.
For a product priced around $1,000, there might be no good distribution channel to reach the small businesses that might buy it. Even if you have a clear value proposition, how do you get people to hear it?
The product needs a personal sales effort, but at that price point, you simply don’t have the resources to send an actual person to talk to every prospective customer. This is why so many small and medium- sized businesses don’t use tools that bigger firms take for granted. It’s not that small business proprietors are unusually backward or that good tools don’t exist: distribution is the hidden bottleneck.
Сегодня 12 лет со дня релиза App in the Air. Хоть это уже не моя компания, с ней связаны самые вариабельные эмоции: взлеты/падения, победы и расставания, пьяные танцы и тяжелые разговоры, и радостные и грустные пользователи. Но главное во всем этом - Команда!
Как-то мой знакомый разводился с супругой, и стал вспоминать «негативные» стороны о ней. Я остановил его и сказал: «Чувак, не обесценивай свою любовь! Я видел, как вы были счастливы!»
Поэтому, самое теплое и важное про App in the Air у меня навсегда будет внутри!
P.S. На фото - All Hands Istanbul, 2019
Понравилась статья Элада Гила про то, как стартапам защищаться от крупняка.
TLDR: в начале - никак 🙂 Ну это реально так: в первый год работы ты никому не нужен, не заметен, непонятен. Да и ты сам не понимаешь хорошо, что же ты делаешь и будешь в итоге делать. Но постепенно начинает формироваться понимание, в чем на самом деле твой продукт и ценность, которую ты несешь; куда “заныривать”, потому что другие не хотят или не могут. Что большие ребята заявляют крутые фичи, но на самом деле они не работают. Или про них не знают, эти продукты не воспринимают как решения для этих задач. Что их капитализация падает на 20% за день, хотя по таргетам не выполнили на пру процентов --> у них другие проблемы и задачи. Что их бизнес-модель не выдержит раскатки такой фичи на всех клиентов, что они не могут себе позволить полусырой продукт.
И вот когда у тебя начинает формироваться понимание, появляются клиенты, заныриваешь глубже, то начинают проявляться механизмы защиты:
1) Эффекты масштаба - я могу снижать цену на продукт, потому что могу кэшировать результаты API-шки, размазывать затраты на большее количество клиентов, у меня ниже постоянные затраты.
2) Сетевые эффекты - для b2c компаний скорее; каждый новый пользователь повышает ценность продукты для новых и СУЩЕСТВУЮЩИХ пользователей. для b2b это обычно про платформенные эффекты, когда другой софт интегрируется с тобой, но это появляется сильно позже
3) Скорость - быстрее адаптируешь новые фичи OS, за счет чего тебя продвигают разработчики операционных систем
4) Партнерства - в некоторых случаях стартап более предпочтителен как партнер, чем крупная компания, которая может стать сильным конкурентом; а эти партнерства дают доступ к дистрибуции
5) IP - интеллектуальная собственность, но это обычно про deep tech и биотех.
6) Асимметричная бизнес-модель, которую лидеры не могут позволить себе - я писал про LiFE и про revenue sharing модель в отличие от классической подписки и поддержки.
В заключение интересные расуждения про то, почему стартапы не копируют (очень популярный вопрос от инвесторов):
Given that most startups take time to build defensibility, this raise the question of why more startup founders don’t just copy companies that are already working, but early in their journey?
Reasons may include:
1. It is sometimes hard to know what is actually working, versus hype.
2. Founders have a lot of pride in what they build, and may not want to just copy and out-execute someone. Often when a startup copies another’s idea, they put a unique spin on that approach or product versus default blankly copying it. All these tweaks and changes tend to make the product worse.
3. Perception that “the market is over” so no one copies a company even if it might be tractable to out execute them.
4. It is harder to hire strong employees to work on what is initially a clone company. People assume more defensibility than tends to exist early, so are harder to convince to join your efforts until traction is clear.
Функциональная зашоренность
Фейсбук лента напомнила про такой феномен восприятия как "функциональная зашоренность". Суть в том, что нам сложно воспринимать предметы вне их привычной/устоявшейся функции.
Классический эксперимент от 1945г: испытуемым давали коробку с кнопками, коробок спичек и свечку - и просили прикрепить свечку к стенке таким образом, чтобы она не капала на стол (см. картинку). Лишь малая часть испытуемых догадывалась использовать коробку, в которой были кнопки, как подставку для свечки и прикрепить ее [коробку] к стенке. Чаще пытались прикрепить саму свечку, либо воском "приклеить" ее к стенке.
В 2003м его дали студентам Стенфорда в письменной форме, только 23% из них справились с задачей. Но они пошли дальше, и в инструкции подчеркнули существительные: "коробка", "коробок". Это вдвое повысило долю справившихся с заданием.
Я часто ловлю себя и слышу от коллег про "зашоренность" и "замыленность": мол, не увидел ошибку, так как глаз замылился и тп. Кто проводил много интервью с пользователями мог подметить аналогичное: люди видят у приложения только ту функцию, которую оно традиционно выполняет.
Как справляться с зашоренностью?
- заменять существительные: у Альтшуллера в ТРИЗ есть хороший прием, когда вместо названия предмета, который вы хотите улучшить, вы используете "штуковина". Штуковина абстрагирует мышление и отводит от зашоренного рассмотрения его возможностей
- сменить категории: у Сапольски в курсе была очень хорошая фраза
"Мы думаем в терминах категорий. Это помогает нам лучше запоминать. Но есть 3 проблемы с ними. Когда мы выделяем категории мы:
1) недооцениваем различия 2х обьектов в одной и той же категории
2) переоцениваем различия между обьектами разных категорий
3) когда мы фокусируемся на границах категориях, то мы теряем общую картинку. "
Стратегия внедрения LLM в компанию
Очень понравился пост моего любимого Will Larson (автора Elegant Puzzle): он сейчас работает над новой книгой про стратегию и на злобу дня написал стратегию внедрения LLM в фиктивную ride sharing компанию. Вилл - поклонник книги Good Strategy/Bad Strategy, поэтому для этого дока взял за основу фреймворк написания стратегии из той книги: diagnose, policy etc.
Собственно, в этой стратегии 3 ключевых раздела:
1) Policy - какая политика внедрения LLM в продукт, engineering и non-engineering команды. Понравилось, что он не забыл про вторую и третью часть, а то обычно фокусируются лишь на продукте.
2) После Policy лучше читать Explore - де-факто это ресерч, подкрепляющий стратегию и диагноз
3) Diagnose - собственно, диагноз, из которого вытекает Policy. Например, понравилось
Switching across foundational models and foundational model providers is cheap. This is true both economically (low financial commitment) and from an integration cost perspective (APIs and usage is largely consistent across providers)
Start with Anthropic. We use Anthropic models, which are available through our existing cloud provider via AWS Bedrock. To avoid maintain multiple implementations, where we view the underlying foundational model quality to be somewhat undifferentiated, we are not looking to adopt a broad set of LLMs at this point.
Техтренды 2024 от Amy Webb
Понимаю, что с заметным опозданием (2хмесячным, если быть точным), но хочу поделиться очередным ежегодным отчетом от Amy Webb и Future Today Institute с SXSW конференции.
Вообще, в отчетах этих самое интересное лично для меня это:
1) Сценарии (стр 149) - мне нравится читать эти гипотетические и не очень сценарии развития будущего. Я - фанат сценарного планирования еще со времен изучения системной динамики и прочтения интереснейшей книги “The Art of the Long View” Питера Шварца из Shell. В отчете этого года есть сценарии про дипфейк мафию, маленькие языковые модели (SLM) и AI игрушки для детей. Мне напоминает учебу в Singularity University, когда мы проигрывали сценарии а-ля “робот обратился в суд, что его права ущемляют и хотять накатить апгрейд” или “робот видел, как его хозяин убил другого; имеет ли право хозяин стереть это из его памяти?”
2) Люди - после каждого большого тренда есть список ключевых людей, кого следует фолловить, чтобы держать руку на пульсе. К примеру, страница 69 про людей из AI, или стр. 177 про web3.
3) Индустрии - ну и, конечно, описание того, как тренды могут повлиять на различные индустрии. В аттаче общая картинка, а в самом отчете уже можно детальнее почитать про интересующую индустрию.
в общем, рекомендую, но дозированно: даже не пытайтесь прочитать в один присест ;-)
P.S. Эх, квантовые компьютеры по-прежнему в long term relevance :-)
Про конформизм
Зачастую конформизм (подражание другим) подается как какой-то баг, нежелательное поведение, высмеивается. И, действительно, есть много негативных последствий. Но, в лучших традициях системного мышления, у каждой проблемы есть функция. Чем же это хорошо в коллективе?
Разберемся сначала почему этто происходит?
1) мы хотим ощущать себя частью группы. Как в мультике “Остров сокровищ: “Лучше быть одноногим, чем быть одиноким”
2) мы думаем, что другие обладают бОльшей информацией, поэтому имеет смысл вести себя как другие.
Полезные свойства:
1) Можно прививать желаемое поведение и ценности - зачастую, корпкультура как раз про это
2) Снижать текучку через создание ощущения общности цели и принадлежности к группе
3) Новичкам проще адаптироваться, наблюдая за нормами и поведением других
4) Легче внедрять изменения (но тут надо очень аккуратно и последовательно)
5) Ну и, конечно, снижение конфликтов 🙂
Пара моих любимых роликов по теме:
1) Конформизм у детей
2) Знаменитые эксперимента Эша (длина линии и ситуация в лифте)
Поговорим об этом и других ключевых принципах социальной психологии в это воскресенье, ну и видео посмотрим смешные и не очень 🙂
6) Про ценообразование от ценности, а не от себестоимости; хороший тест для стартапа: можете ли вы чарджить таким образом, или ваш продукт - тонкая обертка, и весь разговор - кто еще и как быстро ее сделает
7) Ну и любимый вопрос зевак - зачем такие большие бабки VC вкладывают в GenAI стартапы, которые в ближайшее время не будут profitable? Особенно, если все эти GitHub копилоты помогают очень дешево писать софт. Неожиданно - именно AI стартапы из всего a16z портфеля, по словам Хоровитца, быстрее всего выходят на окупаемость. Обычно в таких стартапах высокие капзатраты, но headcount достаточно низкие, поэтому быстрее выходят на прибыльность. Узнал в связи с вопросом про Jevons Paradox - парадокс, что повышение эффективности использования ресурса снизит общее потребление ресурса, но реально это приводит к росту спроса на ресурс, и росту потребеления ресурса. Грубо говоря, да, стоимость разработки софта становится ниже, но вырастет спрос на софт, поэтому общее потребление софта будет выше. В общем, опасаться нечего 🙂
😍 Ожидаемо, поговорили про data moats, ведь у a16z была статья даже по этому поводу пару лет назад, что они overhyped. tldr: они по-прежнему так считают. Хотя немного не бьется с пунктом 3 выше. почему? потому что, мол, в инете слишком больше данных, и ваши proprietary данные не так важны. То есть важно правильно их отбирать, очищать, процессить и тюнить?! Поэтому нет больших марктеплейсов данных. Прямо выстрел по AI x crypto стартапам по теме 😉
9) Прикольно про сравнение Интернет и AI бумов: что аналогия не совсем хорошая, поскольку Интернет это сеть (network), а AI - это про компьютер (эра микропроцессоров/PC). Собственно, поэтому большинство интернет-стартапов базировались на network эффектах; но это не совсем кейс про AI. AI это просто про обработку данных, новый тип компьютера, если хотите.
10) Ну и в заключение предикшн про AI индустрию:
- продолжая аналогию, что AI это новый вид PC, можно ожидать много разных “компьютеров”, не будет только “god” модели (i.e. мейнфрейма), будут “компьютеры” разных размеров, способностей и характеристик. Mainframe --> PC --> smartphone
- будет перепроизводство чипов, датацентров и AI компаний, будет bust, но это важно для будущего. В связи с этим, ожидаемо упомянули про мою любимую работу Carlota Perez, я рассказывал на GenAI семинаре
Вдумчивый подход к инвестициям
С Назымом мы познакомились лет 8 назад и с тех пор регулярно общаемся об инвестициях, фондовом рынке, хедж-фондах и в последнее время какую роль в этом всем играет AI. Помню, как-то мы встретились в Алматы и он мне обьяснил, как решить такую задачу: я хочу сделать ставку на AI & Cloud бизнес Амазона, но при этом не инвестировать в основной их бизнес, и Назым показал мне элегантное решение. А еще рассказывал, как он с другом решил перепройти и перерешать заново все университетские темы по математике o__O
Назым - математик в душе и инвестор по профессии, и, как мне кажется, предприниматель и в душе и по профессии 🙂 Был членом совета директоров Нацбанка Казахстана, зампредом в Национальной инвесткорпорации Казахстана, а сейчас делает стартап в области AI + инвестиций. Кстати, есть 3х часовой подкаст с ним годовой давности, кто хочет копнуть поглубже - очень рекомендую!
Недавно разговорились с ним и решили сделать стрим на тему инвестиций и AI, так как, во первых, каждый из нас должен в этом разбираться, а во вторых - думаю, в этой сфере происходят существенные изменения.
О чем поговорим?
1. Введение в институциональные инвестиции
- Простой взгляд на то, как крупнейшие инвесторы (такие как SWFs) управляют миллиардами.
- Почему это может быть применимо для вашего личного финансового благополучия.
2. Инвестируйте как крупные игроки: раскрытие секретов распределения активов
- Взгляд на инвестиционные портфели крупных фондов.
- Простые советы по диверсификации ваших личных инвестиций.
3. Подход “Reference Portfolio”
- Упрощение популярной стратегии, используемой профессионалами для балансировки рисков и горизонта инвестирования.
4. Практические советы по инвестированию: реальные применения
- Полезные советы из практики
5. Как мыслить глобально и системно на Capital Markets
- Инструменты, помогающие вам понять глобальный инвестиционный контекст.
6. Что нового? Последние тренды в инвестировании
- Краткий обзор последних тенденций, которые могут повлиять на ваше финансовое положение.
- Как оставаться в курсе в изменяющемся финансовом мире.
7. ИИ в инвестициях, что поменялось и как повлияет
- Какие сферы революционизирует GenAI
- Рекомендации по использованию инструментов ИИ
Должно получиться очень интересно!
Когда?
В эту пятницу, 17 мая в 18мск. Стартовая стоимость $20, растет на $5 каждый день - купить билет.
Если не сможете участвовать очно, то получите запись и материалы, как обычно.
До встречи!
Соцпсихология и Работа Команды
Я ранее уже писал, что считаю важным для руководителей знать азы социальной психологии, так как именно в соцпсихологии изучают взаимное влияние людей на их чувства, мысли и действия. Байрам, который не выспался и вышел на звонок в 6 утра, может достаточно серьезно влиять на Команду, даже если не скажет ни слова. Особенно, если не скажет ни слова :) "Примадонна", которая заходя в офис, за руку здоровается только с теми, кто важен для нее, игнорируя остальных до тех пор, пока ей не потребуется что-то и от них, потом много обсуждается в приватных чатиках. Особенно, когда сменит поведение и это станет еще заметнее для тех, с кем он стал здороваться.
В следующее воскресенье, 19 мая, поговорим про ключевые открытия социальной психологии в прикладном значении: как выводы и рекомендации оных использовать в управлении командой. Например, про суперкуриц :)
О чем?
1) Введение в соцпсихологию. Основные принципы и предпосылки.
2) Соцпсихология в командах и влияние на
- атмосферу и отношения
- поведение
- мотивацию
- производительность
- конфликтность
- открытость к новому
3) Принципы эффективной команды
Когда?
В следующее воскресенье, 19 мая в 16.00мск. Если вы не сможете очно присутствовать, то получите запись встречи и все материалы для изучения в комфортном темпе и в удобное время.
Бронируем билеты здесь: $25 (2250руб), каждый день цена растет на $5.
До скорой встречи!
101 кейс применения GenAI
Google составили 101 кейс внедрения AI в разных индустриях - может пригодиться для презентаций клиентам или руководству. Много маркетингтока, оно и понятно почему, но все же есть много полезного. Жаль, ссылок не хватает на более развернутые whitepapers, и не всегда это реально про Generative AI.
Тем не менее из неожиданного:
1) Баскетбольная команда Golden State Warriors - я, если честно, так и не понял, что там из GenAI 🙂
2) Uber юзает AI для того, чтобы кастомер саппорт быстро вьехал в суть предыдущих коммуникаций с клиентом
3) MLB (бейбольная лига) сделала поиск по статистике игроков. Кстати, один из наших читателей и клиентов MindShare делает подобное и даже больше для футбола
4) Spotify делает превью подкастов при помощи Google Dataflow
Вот тут удобный поиск, с видео
И впечатляет эта статистика:
More than 60% of funded gen AI startups, nearly 90% of gen AI unicorns, and nearly 60% of the world's 1,000 largest companies are Google Cloud customers.Читать полностью…
Школа GenAI Разработчика (по заявкам читателей)
По многочисленным просьбам и советам делаю школу GenAI разработчика, в которой мы в практическом русле разберем и опробуем все ключевые аспекты разработки GenAI продуктов.
Будет 6 встреч по 2 часа, с сильным практическим уклоном, чтобы на выходе каждой встречи был работающий код, решающий конкретную бизнес-задачу.
Темы:
1) Intro to GenAI. In-Context Learning
2) Retrieval-Augmented Generation
3) Fine Tuning
4) Generative Agent
5) Multi-Agent Systems
6) LLMOps: Testing, Monitoring & Debugging GenAI Systems
Для кого?
Для каждого, кто хочет научиться разрабатывать GenAI продукты. Моя задача - помочь вам сделать "первый шаг" в практический мир разработки Generative AI продуктов, разобраться в подходах и инструментах, набить руку.
ОЧЕНЬ ВАЖНО: эффективное участие предполагает знание Python языка программирования. Вам будет сложно без этого.
Если вы же вы знаете другой язык программирования, разрабатываете на нем хотя бы 3 года и чувствуете себя комфортно с GitHub Co-Pilot или подобными инструментами - то должно быть все в порядке.
Когда?
Стартуем - 18 мая, встречи по субботам в 16мск, 6 недель подряд.
Стоимость
Можно купить пакет на все встречи за $200 или покупать по одной - $50 за встречу.
Для тех, кто покупал пакет (3,6 или12 мес) на мои EDU встречи, действует 20% скидка.
Майндшерили с предпринимателем о том, как получить доступ к API у компании, которая помимо продукта, с которым вы хотите интегрироваться, еще и разрабатывает конкурирующий продукт?
Пришли к нескольким идеям:
1) Применить "mechanical turk" технику, то есть реализовать интеграцию "человеком" или AI агентом через интерфейсы графические или программные
2) Предложить компании revenue share с продаж вашего продукта, особенно с учетом интересов компании по выходу на новые рынки
3) Использовать "силу покупателя", обьединив усилия с другими покупателями и надавив на компанию
Может у вас есть идеи, что еще можно было бы сделать?
P.S. Хотите помайндшерить по этой или другой теме из канала - велком на консультацию
Сегодня с 2мя предпринимателями обсуждали примерно одну и ту же идею: с GenAI навязчиво преследует ощущение FOMO. С одной стороны - кажется, что можно автоматизировать все; с другой - глаза разбегаются, опасаешься, что возьмешься слишком широко и не заделиверишь.
Я думаю про это так:
1) Автоматизируем задачи, а не должность
2) Наносим задачи на матрицу 2x2:
- 1я ось: как часто эта задача выполняется заданной должностью
- 2я ось: каков вклад этой задачи в конечный результат (можно через долю в затратах, можо через долю в выручке
3) Автоматизируем сначала те, что попадают в квадрант часто и высокий вклад
4) Группируем задачи не по должности, а по схожести входных параметров для выполнения этой задачи. Сгруппированные задачи делегируем выделенному AI агенту
5) Long term идем к тому, что будет мета-агент (дирижер), который оркестрирует множество агентов
А вы что думаете на этот счет?
P.S. Хотите помайндшерить по этой или другой теме из канала - велком на консультацию