Мои мысли про стартапы и продукты. Байрам Аннаков, фаундер and CEO onsa.ai - автоматизация B2B продаж Мой YouTube: https://www.youtube.com/BaykaAnnakov Мой LinkedIn: https://linkedin.com/in/bayramannakov
Мои впечатления про новые тулы от OpenAI
1) попытка подсадить новых AI Agent разработчиков на себя, так называемый vendor lock-in
2) дорого
3) но очень легко и просто
Детали в презентации, по которой делал доклад по теме; записи нет, но я скоро проведу онлайн по этой и предыдущим темам
Некоторые спрашивали про этот доклад - записи нет, но выкладываю презентацию
Понимаю, что без видео не особо понятно о чем дека, но ниже краткое описание
Highlights of the presentation include:Читать полностью…
1) The current state of AI across multiple modalities: text, voice, video, robotics, and more.
2) Insightful frameworks like "Feel → Think → Act" illustrating how AI perceives, processes, and interacts with its environment, from online to offline contexts.
3) Case studies demonstrating AI performance at or above human expert levels in tasks such as image recognition and speech transcription.
4) An exploration of future trends, including physical scaling of AI capabilities and advancements from algorithmic progress and the removal of bottlenecks (unhobbling).
5) Economic perspectives on AI, including discussions on technological revolutions, value distribution, and the transition from traditional economies to AI-driven autonomous enterprises.
6) Insights into enterprise software and its evolving needs for unification, adaptation, and control in an AI-driven landscape.
Я уже некоторое время пишу мысли про то, как меняется разработка продуктов в эру GenAI: роль программиста и продакта совмещается, продукты становятся более гибкими, цикл итераций ускоряется. В том числе с вашей помощью решил сделать про это курс, описание и программа ниже.
Сразу замечу, что курс экспериментальный, ничего подобного я на рынке не встречал, это будет скорее "совместный поиск, размышления и конкретные эксперименты", нежели "готовые знания на блюдечке". Мы все тут первопроходцы сейчас.
===
Курс AI Продакт Инженер
Ключевые темы:
1) От написания кода к управлению границами продукта - как меняется разработка софтерных продуктов. Смотрим на конкретном примере: кодим одну и ту же задачу традиционными методами и при помощи GenAI.
2) Агентское поведение - ключевой навык в эпоху, когда у тебя в распоряжении миллионы PhD, не знающие ни сна, ни отдыха. Как понять, что делать? Как развивать агентскость в себе?
3) Как учиться у клиентов при помощи GenAI и переводить это знание в промпты
4) Уровни автономии GenAI агентов и паттерны их проектирования
5) Работа с недетерминированностью и проектирование новых систем контроля
6) Программист + продакт и как ускорить цикл обучения у рынка и клиентов
Для кого?
1) Продакт-менеджеры с сильным техническим бекграундом, выросшие из разработчиков
2) Разработчики со страстью к продукту, пользователям, бизнесу, и дизайну
Важно: у вас ОБЯЗАТЕЛЬНО должны быть навыки программирования. Мы будем на конкретных примерах "щупать" разницу между разными парадигмами программирования.
Продолжительность
2.5 мес: старт 30го марта
5 встреч по воскресеньям с 16 по 18мск + 2 office hours с разбором ваших вопросов и задач
Стоимость:
$300 - оплатить можно вот здесь, есть возможность оплаты криптой - напишите мне в личку.
Ключевые слова:
LLM, genai, ai agents, human agency, generative coding, non-determinism, cursor, replit, bolt, lovable
P.S. Программка тут
OpenAI тестирует чувствительность к цене и новые фичи
P.S. Meeting bot o__O
Делегирование – утрата контроля или новая возможность?
На зумбаре founder school вспомнил про этот кейс, который я написал очмного лет назад про самого себя
Борисов Борис – новоиспеченный руководитель проектов, которого совсем недавно повысили с должности ведущего разработчика. Вот уже 3й год он работает только на одном проекте: выделенный центр разработки из 8 человек (5 разработчиков + 2 QA + PM) для одного из западных клиентов компании. Но в перспективе ему хотят дать в руководство и другие проекты, поэтому директор по разработке Иванов Петр решает поговорить с Борисом на сей счет и приглашает его на дружескую беседу в переговорную “Минск”.
Иванов Петр – директор по разработке компании, лично ратовал за promotion Бориса, и принимал его на работу много лет назад. Считает Бориса своим protégée
Будущее наступило: Qatar Airways
Streaming, zoom, и все что душе угодно
Прикольно видеть, как лидеры мнений меняют свое мнение про agency - я писал про важность этого много раз, в том числе в этом посте про найм и в недавнем выступлении про gen ai.
Главный вопрос - как это развивать? Я кручу этот вопрос уже некоторое время и скоро будет анонс по теме, а пока вот цитаты:
Agency > Intelligence
I had this intuitively wrong for decades, I think due to a pervasive cultural veneration of intelligence, various entertainment/media, obsession with IQ etc. Agency is significantly more powerful and significantly more scarce. Are you hiring for agency? Are we educating for agency? Are you acting as if you had 10X agency?
— Andrej Karpathy
Intelligence is on tap now so agency is even more importantЧитать полностью…
— Garry Tan
Не гадай, а найди того, кто знает
Вчера болтали с классными фаундерами и обсуждали такую ситуацию: они парсят и эмулируют работу пользователей на одном сайте-агрегаторе и их постоянно блочат. И мы размышляли какие эвристики надо применить, чтоыб поведение бота было больше похоже на настоящее (сайт не хочет договариваться по хорошему)
Но потом возникла мысль, что надо просто найти разработчика из этой компании и нанять/расспросить его про механизмы защиты от ботов )
Иногда самый простой способ - не гадать, а спросить у тех, кто знает. Например, как выше, или у своего пользователя, откуда он пришел или почему сделал так, как сделал
удачи нам, экономическим исследователям (привет Полу Грэму)
"Enterprise does not need a model, Enterprise needs an outcome"
Это слова Аарона Леви, CEO Box из свежего подкаста YC. Вообще, мне часто в последнее время доводится и говорить, и размышлять на тему. Безусловно, в b2b легче обьяснить, как защититься от того, что разработчики LLM просто добавят вашу фичу нативно в модель или в свой продукт: вам надо интегрироваться с B2B системами, продуктами, регулированием. Для b2c же часто ответ вида - слишком нишевая, читай <1B, аудитория (frequent flyers) или слишком высокие риски для репутации (character.ai).
Но, делая продукты в b2b, я вижу еще 3 важных критерия для b2b продуктов - приведу их в метафоре промптинга моделей:
1) унификация - вся компания должна промптить одинаково
2) адаптация - все промпты должны иметь единый и правильный контекст
3) контроль - контроль как за аутпутом моделей для последующего улучшения этого же аутпута, так и с точки зрения его использования для взаимодействия с внешней средой. Контроль даунсайда и владение апсайдом
Руководители бизнеса не хотят, чтобы каждый сотрудник по своему промптил chatgpt на стиль и контент сообщений
Руководители бизнеса не хотят, чтобы недоступность/забывчивость какой-то важной инфы для заданного сотрудника снижала качество общей выдачи компании
Руководители бизнеса не хотят, чтобы результаты аутпута модели неконтролируемо просачивались во внешнюю среду: как с точки зрения бренд соображений, так и конкуренции.
Поэтому, как Аарон и говорит, думать об угрозе со стороны openai/anthropic/etc проще в режиме b2b, чем b2c. На школе фаундеров я призываю b2c участников хотя бы допустить мысль о точке в пространстве b2b, поразмышлять в стиле "что если", чем бросаться сразу пилить. Потому что есть важный закон систем:
"Информация появляется в сравнении"
Посмотрите на это фото внимательно: что на нем происходит? Что будет или может произойти? А что если вы - водитель автомобиля? А если собака была бы на поводке у мужчины, а не женщины?
Моя любимая Мелани Митчелл написала классную 2х серийную статью про один из центральных споров в LLM: формируют ли LLMки внутреннюю модель мира (как мы при взгляде на фото выше), помогающие нам прогнозировать ситуацию на более скомпрессированном, абстрактном и энергетически-эффективном уровне, или они просто, благодаря безумному количеству параметров, запоминают эвристики/правила, но не формируют реальной картины мира.
Лагерь ML ресерчеров разделился практически 50/50: одни утверждают, что да, формируют (Илья Суцкевер, например), другие - обратное (Ян ЛеКунн из Meta).
Tldr: пока, кажется, это лишь набор эвристик. Почитайте обязательно, чтобы лучше понимать, чего стоит ожидать от LLM и чего - нет. Например, если это большая коллекция запомнившихся эвристик, то не стоит ожидать оригинальных решений от нее (говорил недавно на этом выступлении).
Мое мнение:
1) что можно дропнуть пункт про энергетическую эффективность пока
2) что есть миллиард ситуаций, где большая коллекция эвристик - уже более чем достаточно для эффективной замены человеческого труда и на этом нам, практикам, пока надо сфокусироваться
3) надо управлять ожиданиями (в первую очередь, своими!) о том, чего ожидать от LLM.
Мое недавнее выступление в Алматы: "GenAI - State of the Union", где я говорил про то, что уже возможно благодаря GenAI и что нас ждёт в ближайшие годы, а также почему агентское поведение (агентность) - ключевой навык в эру, когда у каждого будут миллионы PhD в загашнике.
Более детальные таймкоды:
00:00 - интро
02:02 - xrai glass
04:15 - Gartner Hype Cycle
08:36 - AI news
09:09 - Platform Shift
10:56 - кривая производственных возможностей
17:38 - IQ test results
25:30 - AI пишет код
31:52 - AI видео
36:46 - роботы
39:14 - AI исследования
45:30 - Automation vs Augьentation
50:59 - Future of Work
53:30 - AI агенты
Enjoy и спасибо коллегами из Most IT Hub за то, что захостили! Хотели митап, а получится - Митап :-)
P.S. презентация тут
3 наблюдения про AI экономику
Сэм Альтман поделился 3мя наблюдениями об экономике AI:
1) Интеллект модели примерно равен логарифму ресурсов, затрачиваемых на его тренировку и выполнение - я, если честно, до конца не догнал. Мне понятен стейтмен а ля пропорционален, но почему логарифм? В чем измеряются ресурсы и интеллект?
2) Каждые 12 мес цена падает в 10 раз - я писал про это раньше: надо закладывать это в ваш бизнес и спокойно делать дорогие операции, понимая что к моменту выхода в продакшн и скейлинга, цена уже станет адекватной. И учитывайте в ценообразовании, разумеется
3) Социально-экономическая ценность линейно растущих способностей ИИ - суперэкспоненциальна. Поэтому выгодно экспоненциально инвестировать в его развитие.
Далее он рассуждает про, как раз, coding агента. Скажу честно, когда Сэм тизерил в ближайшее время их первого агента, в твиттере я предположил, что это будет coding, но оказалось deep research. Но я жду :-)
И было очень приятно читать про важность agency и желания что-то менять, имея в армии миллионы PhD —> именно про это в воскресенье я говорил на лекции в Алматы. Скоро выложу видео
YC конфа
В июне YCombinator устраивает конференцию: участие бесплатное, но нужно пройти отбор. Это исключительно для computer science людей, так что если вы таковой, то смело подавайтесь. Будет Илон, Сэм, Карпатый, Наделла и другие топовые чуваки
https://events.ycombinator.com/ai-sus
Кстати, даже оплачивают $500 на билет
Voice Агенты
Отличный обзор voice агентов от a16z, де факто продолжение этой статьи.
Мне особо зашла картинка эта про основные юзкейсы:
1) обработка звонков в нерабочее время
2) звонки, которые не делаются, по экономическим причинам
3) бекофис звонки
4) звонки, которые «стремно» делать :-))
Митап в Алматы
Я буду в Алматы в конце недели: добавляйтесь в эту группу, кто хочет встретиться - можем сделать небольшой митап в воскресенье 9го февраля
AI компании
Помните этот слайд из моей прошлогодней лекции? у Дваркеша вышло интересное эссе с рассуждениями о том, как будет выглядеть AI компания.
И, хотя мне кажется, что он все равно размышляет в терминах квадранта "automation" (turn capital to compute to talent) мне особо нравится несколько поинтов:
1) Про снижение трансакционных издержек и челлендж фундаментальных принципов, на которых основана теория фирмы, или проблема принципала-агента, или экспоненциальный рост затрат на коммуникацию
2) фреймворк, в котором он написал статью (copy, merge, scale, distill, evolve) напомнил мне лекции из Singularity University, когда мы говорили о преимуществах digital над analog (нулевые затраты на чтение, запись, передачу; возможность рекомбинировать и предрасположенность к алгоритмизации/оптимизации, моделированию и симуляции)
P.S. Присоединяйтесь порассуждать и об этом в экспериментальном курсе про ai product engineer
Feel —> Think —> Act
Делал на днях очередной доклад про прогресс genai и предложил такой фреймворк для того, чтобы следить за ключевыми изменениями:
1) Feel - как при помощи AI компьютеры все лучше видят и слышат (а далее, я думаю, и другие органы чувств)
2) Think - как компьютеры учатся думать (фреймворк fast & slow thinking Каннемана)
3) Act - как компьютеры учатся действовать онлайн (computer/browser use) и оффлайн (роботы)
Мне кажется, удобная система чтобы собирать ключевые события/прорывы - м?
А вот и обьяснение про эту ситуацию (отказ от Salesforce и не только) от фаундера и CEO Klarna.
Вкратце:
1) они хотели унифицировать данные в одном месте: разбросанность данных по разным SaaS значительно усложняла получение полезных инсайтов при помощи AI и повышения производительности. Data = knowledge
2) они построили свой стек (neo4j!)
3) и случайно на одном из звонков он проговорился, запись утекла в прессу.
Key to our explorations became the conclusion that the utilization of SaaS to store all forms of knowledge of what Klarna is, why it exists (docs), what it tries to accomplish (slides, tickets, kanban boards), how it is doing (sheets, analytics), who is it dealing with (CRM, supplier management), who works here (ERP, HR) and what it has learnt was fragmented over these SaaS—most of them having their own ideas and concepts and creating an unnavigable web of knowledge that required a tremendous amount of Klarna specific expertise to operate and utilize.Читать полностью…
We also recognized that enterprise software has a standard set of features that are vital for it to operate—features such as audit, versioning, access and edit management, and similar universal needs. We need them as well, but that fragmentation again adds friction, admin overhead, and more.
So, we decided to start consolidating; to put things together, connect our knowledge, and remove the silos. The side consequence of this was the liquidation of SaaS—not all of them, but a lot of them. And not for the license fees, even though those savings have been nice, but for the unification and standardisation of our knowledge and data.
So no, we did not replace SaaS with an LLM, and storing CRM data in an LLM would have its limitations. But we developed an internal tech stack, using Neo4j and other things, to start bringing data=knowledge together.
Ultimately, we found this very interesting, but more importantly starting seeing serious productivity gains. We allowed our internal AI to use this knowledge, and we realised with the help of @cursor_ai we could quickly deploy new interfaces and interactions with it.
Иногда для подготовки презентаций или докладов очень нужны последние бенчмарки и диаграммы про LLM - пожалуй, один из лучших источников - вот этот Twitter аккаунт "Artificial Analysis"
Просто зашерю пару последних диаграмм для иллюстрации
в consumer поиске и в social сработал "winner takes all" паттерн, хотя сначала было много игроков
Картинка из свежего BGsquared подкаста
произойдет ли такое же в consumer AI assistant? Я считаю, что да и это будет именно openai в западном мире, а вы?
P.S. замерим через 5 лет
Утро вечера мудренее
Один совет себе молодому руководителю: не принимать решения здесь и сейчас, если есть такая возможность.
Я много грешил этим. Увольнял в моменте. Говорил правду в лицо. Увольнялся.
Но сейчас, постоянно узнавая, насколько контекст, физическое состояние, окружение влияют на нас в моменте я понимаю, что ты не имеешь право не отложить решение, если ситуация позволяет.
Я думал, что это слабость - не принимать решение сразу. Думал, что потеряю себя, предам свои ценности.
Но сейчас вполне уверенно могу сказать, что это все вздор.
Если есть возможность отложить решение - отложите. Выведите себя в другое состояние, в другой контекст, и взгляните вновь на ситуацию.
Не спешите жить!
Ваш капитан очевидность
Ого! Еще 500 миллиардов на AI и не только от Apple!
https://www.linkedin.com/feed/news/apple-to-hire-20000-us-workers-7184114
Подшаманили звук в соответствии с вашим фидбеком и, кажется, получилось получше - м?
новое видео тут:
https://youtu.be/lo8Qd1U8-UQ
О результатах и отсутствии оных
Интересное наблюдение: чем опытнее руководитель, тем больше он думает в терминах «обьем нового знания на затраты денег/времени» вместо просто «где результат?». Поэтому для него отсутствие результата это тоже результат, если из него сделаны выводы и намечены дальнейшие эксперименты.
Это не значит, что результат не важен, я не об этом. Я о своей «джуниорской» позиции, что лишь позитивный результат - это хорошо для заданной деятельности.
Интересная мысль-аналогия из подкаста 25 years at Google - ушел думать
Когда вы покупаете книгу, вы платите около бакса за 10 тыс токенов, с LLM же за ту же сумму вы получаете 1млн токеновЧитать полностью…
Поэтому главный вопрос: можем ли мы сделать LLM настолько умной, чтобы в пересчете на 1000 токенов мы были готовы платить в 100 раз больше, как за книгу, или в тысячи раз больше - как за программиста
В июне прошлого года я рассказывал про отчет Situational Awareness - решили выложить запись той встречи. Думаю, что вам будет интересно посмотреть/пересмотреть: удивительно, как сбываются некоторые предсказания и про наращивание компьюта (stargate + анонсы инвестиций от гиперскейлеров), и про алгоритмические прорывы (deepseek), и про unhobbling (reasoning модели)
https://youtu.be/2phugrQKors
enjoy, like & share :-)
Экономический индекс Anthropic
Прикольную тему анонсировал Anthropic: свой экономический индекс. Это такой индикатор эффекта внедрения LLM в экономику и на рынок труда по мотивам задач, для которых юзают модельки Anthropic.
Наиболее популярные, ожидаемо, задачи кодинга. Далее редактирование отчетов/докладов/ресерчей. Потом редактирование текстов/надписей. Может потенциально стать источником идей продуктов, но для этого надо глубже изучить, я покопаю на этих или следующих выходных
Вспомнил сегодня историю: уроки пения в школе. Учитель мне поставила 5 за куплет из какой то песни. В следующий урок она попросила меня перепеть и поставила 2. Я допускаю, что я мог за неделю серьезно «просесть»… но я то сам знал, что нет.
Я тогда очень ярко почувствовал субьективность оценок. И, конечно, опасную важность фидбека учителя.
Сейчас поем с друзьями в караоке и я понимаю, что та ситуация до сих пор во мне. Но, что я хотел бы: чтобы нам попадалось меньше таких «фидбеков», что мы получали, и давали фидбеки, что развивают, а не стагнируют; что вдохновляют, а не останавливают; что делают тепло, а не смущение.
Давайте будем внимательнее и не забывать, что контекст и условия достаточно сильно влияют на ВОСПРИЯТИЕ результата
Отличный read от «старины» O’Reilly про то, почему программисты будут нужны еще больше:
https://www.oreilly.com/radar/the-end-of-programming-as-we-know-it/
Не знал про CHOP - chat-oriented programming :-)
В прошлом году не удалось, но в этом поступил на Network School v2 - рекомендую всем, кто хочет создать/создаёт свое сообщество
Очень рад! Надеюсь, увижусь с кем-то из вас там в марте!