4047
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Удалось попасть на закрытый ивент в Париже, где выступал CEO Anthropic - Dario Amodei. В целом он достаточно бегло пересказал свою статью в блоге последнюю, но дал отличный спойлер что ожидать от новой модели Anthropic. Попозже напишу как ивент закончится.
Читать полностью…
Ну это одной строкой: Маск хочет там за почти 100 ярдов купить контроль над OpenAI и Франция так же в датацентры кладет почти 100 ярдов. Веселое время однако.
Читать полностью…
Рубрика «прочитано, но не до конца понято». Поехали.
1/ тут DeepMind запустили в свет работу, возможно на первый взгляд не самую примечательную, но как мне кажется важную. Они поднимают вопрос «а какую систему вообще можно назвать агентской», а значит «применить reenforcement learning».
2/ Тот же DeepMind выложил труд «How to scale your model» о том как работает deep learning на уровне железа и передачи данных, каким образом происходит масштабирование мощностей на это все дело и эффективности вычислений. Просто must read для тех, кто хочет глубоко понимать а нафига тут датацентры и в чем фишка у DeepSeek.
3/ для хардкорных читателей, хотя блин и так один хардкор что-то выше, есть прекрасная статья о том как работает градиентный спуск и почему импульс в этой истории как концепт работает. Короче так на заметку. Потому что это поворотный момент в deep learning в целом.
4/ немного про китайскую экосистему технологических компаний
5/ для всех кто целиком пропустил и не понимает что за LLM - 200 страниц с нуля до конца (теория в основном)
6/ Андрей Карпаты 3 часа LLM для инженеров с нуля - рекомендую (практика в основном)
7/ редкое видео основателя musically (он же тикток в будущем) о росте, пользователях и так далее. Кладезь!
Давно хотел написать про такое понятие в мире продакт менеджеров современности как «культура оптимизации конверсий».
На самом деле для всех полезно. Часто когда общаюсь с лидерами продуктов или СЕО стартапов (а они обычно лидят продукт) встречаю такой нарратив:
- мы тут опросили или узнали что в этой воронке вот столько шагов
- и все что пытаются сделать это повысить конверсию в каком-то шаге причем в лоб через фичи (новые кнопки, данные и так далее)
И вот на этом порочном круге придумай новую фишку проходят годы. Годами ваш продукт тормозит, но вы все еще придумываете новые фишки, кнопки, картинки чтобы увеличить конверсию. Все это тянется со знаменитой истории Марисы Майер (первый продакт менеджер Google или почти первый), которая перебрала 7000 оттенков синего, чтобы выбрать какой же все-таки цвет конвертит в выдаче в клик лучше. И вот далее эта логика есть «база» для каждого, кто строит свой проект.
Но многие забывают, что некоторые части достаточно просто ускорить. Например бронирования в booking.com случаются на 30% выше (цифры с потолка дискуссий с разными людьми, не придирайтесь) если сайт загружается менее чем за 300мс. И самый любимый мой пример это биддинг (аукцион за какую рекламу показать) на устройстве. В 16-17 году Facebook и другие DSP/SSP (реклама продают/поставляют) сделали так, что задержка на показ рекламы пользователю снизилась с 800мс до 200мс в среднем, что дало возможность показывать видео рекламу и более того загружать ее на устройство пользователя заранее (ведь мы торгуем за показ прям в приложении и не ждем сервера). Эта штука в первый год своего существования дала более 5 ярдов выручки (а маржа в рекламке 40% обычно) в первый год только в Facebook.
Это я к чему. Смотрите на ваши проблемы шире, думайте что действительно важно, а что нет. И что люди любят муки выбора и не надо их сокращать, можно сделать их доступнее или быстрее.
Рекомендации в новый батч YC этой весной. Смотрим что там свежее. Ну все еще инфра и теперь уже агенты, которые будут прям полностью заменять людей на их рабочих местах, какой там co-pilot.
Читать полностью…
Для все еще интересующихся ценой обучения модели, CEO Anthropic выдал эссе с элементами политики (и тут AI напоминает гонку вооружений уже).
Из интересных моментов, которые он подчеркнул что модели которые рассуждают всегда основаны на базовой модели и ее качестве. То есть все эти рассуждения как бы следствие того, что у тебя получилось до этого в виде базы (база просто тренируется выдавать ответ на вопрос, такой очень умный автокомплит/заканчиватель предложения как я люблю говорить). Так же он сказал что их модель передовая была сделана примерно за несколько десятков миллионов (думаю 25-30).
Вообщем рекомендую к прочтению для понимания рынка AI. Так как эта технология будет везде, в любом бизнесе рано или поздно.
Хотел добавить важные пять копеек про вот этих ребят на первой строчке US AppStore. Это пока на моей памяти единственный пример где проведены абсолютно все оптимизации вертикально начиная с математики заканчивая железом. По сути архитектура решения в вычислительном дата центре подобрана под конкретную сетку и ее обучение. Добро пожаловать к ребятам из high frequency trading. Почитать внимательно можно тут.
Добавлю: для сравнения это как Apple в мире consumer устройств. По сути все начиная с железа, процессоров, софта, операционной системы сделано одной компанией. Я уверен китайцы держат такую же логику и как показывает практика это всегда самый сильный продукт.
Наткнулся на компанию Unitree из Китая, компании 8 лет и она единорог, делают роботов прям прикольных.
Стоит такой кажется 1600 баксов. Более того у них есть специальный open source проект для имитационного обучения. Кайф.
Есть короче такая мантра в индустрии про количество, которое якобы перетекает в «качество», ну результат.
Стандартная формулировка: вам нужно пропитчить вашу идею 200 раз и будет конверсия, или когда вот вы опросите 300 клиентов вы наконец поймете что к чему.
У меня абсолютно обратная логика. Чем больше вы фигачите в одном направлении и не чувствуете никакой отдачи кроме отказов без эмоций и прочего то нужно меняться и похоже кардинально. Во всех отказах есть свои причины. Понимание этих причин часто ведет к понимаю общих принципов работы той или иной индустрии.
И больше всего не понимаю, когда эти бесконечные отказы подают как мол «ты старайся, когда-то получится». Никакой связи нет. Надо уже привыкнуть, что без опыта (успешного) удача больший фактор чем настойчивость.
А вам что больше помогало настойчивость при большом количестве отказов или смена стратегии и новые попытки?
Так как тема выходного дня бан тиктока в сша, слежу прям интересно. Сделано конечно Трампом все круто, банят тикток, все молодежь не верит, приходит Трамп и говорит все будет ок, даже вординг внутри приложения поменяли.
Так голоса и зарабатывают. Четко.
Апдейт: ну все, работает :)
Рубрика «прочитано, но не до конца понято».
1/ очень надоела тема агентов и их всемогущей силы, из каждого утюга. Даже нашел работу такую, которая мол говорит это не панацея. Еще работа антропика говорит, что агенты нужны очень мало где и классические алгоритмы по автоматизации очень даже неплохо справляются.
2/ понравилась статья по предсказанию трендов в AI. Просто занимательно и очень внятно написано.
3/ изучал какие у нас города дорогие для жизни, а какие нет, раньше не знал об этом сайте, а у вас есть такие интересные ресурсы поделитесь плиз
4/ узнал что такое инвектива
5/ пока ехал дочитал Князь Света Роберта Желязны, рекомендую любителям фантастики
6/ посмотрел два интервью, одно с Шале который очень крутой чувак в AI и запустил ARC Prize и моего любимого физика современности Роджера Пенроуза
7/ нашел свою первую лекцию в МФТИ еще 2016 года кажется
Правда про венчуров. Хороший ответ и особенно сравнение с тем фактом, что если ты сидишь на первом ряду в играх топ команды это еще не значит, что получится ее тренировать.
Я так же идейно поддерживаю идею, что лучшие партнеры в фондах это те кто сам строил компании.
Возвращаюсь из отпуска. Тут такое дело Nikita Bier запустил «новую» аппку. Explode. Суть та же, что и ранее только рассылка невидимой фигни идет через iMessage. Ранее он продал tbh в Facebook и GAS в Discord.
На что обратил внимание:
- инвайт в апп висит в activity даже если апп убит и живет он целый час аж
- после приглашения трех друзей, апп как бы должен заработать, но нет ты получаешь paywall с free trial на месяц - гениально скамово
- остальное все супер приятно и по максимум используются разные интеграции с фишками iOS
Запуск тестов дистрибуции был в августе где-то. Тюнили пол года.
Апп линк
Twitter анонс
Понравился видос с ответами CEO Nvidia о его лидершип команде топов, которых 60 человек (кек). И объяснение этому разумное. Главное сократить глубину иерархии и проводить меньше 1на1, чтобы не было привилегий к доступу к информации, что создает дисбаланс во власти и управлении. Да и на 60 человек и правда не сделаешь столько 1на1. И фидбек он дает при всех на общих встречах. Короткий видос.
Ну а вообще это все говорит лишь о том, что процессы и иерархия вторичны и главное чтобы был результат. А как к нему прийти дело уже частное.
“В науке существуют реальные знания и знания, создающие духовный комфорт;”
Глас Господа
Станислав Лем
Вот абсолютно тоже самое я считаю про курсы, советы, адвайзеров и прочую муть.
Я выявил некоторое количество достаточно абстрактных признаков «полезного взаимодействия» с курсом, книгой, человеком в профессиональном поле, которые ведут к повышению вероятности успеха в текущей деятельности.
1/ помощь требует времени, прямо как в терапии, вылечиться за раз не получится, так и понять как заработать миллион или научиться строить продажи на зарубежном рынке. И обычно времени нужно много (любые практики переносить тяжело учитывая разницу в майндсете и команде и текущем процессе).
2/ знания это боль и унижение особенно после 30. Потому что ни у кого нет желания учиться (обычно это эффект подмены а-ля если посмотрел короткий ролик с дофамином то мол если там информация интересная то поучился). Я в целом считаю что образование для взрослых работает только в определенных и достаточно узких кейсах. Поэтому учиться должно быть неприятно и сложно и мучительно. И даже моментами бесполезно на короткой дистанции.
3/ изучение кейсов других это просто набор кругозора и все. Ценность MBA в нетворке умных людей, ценность онлайн MBA мне не ясна. Более того многие кейсы настолько сильны привязаны к времени когда это происходило (люди, культура, исторический контекст, состояние рынка и сотни других факторов), что невольно понимаю что толку сейчас от этих знаний как он знаний быта средневековой деревни. Поэтому изучая чужой опыт старайтесь как можно быстрее ответить себе на вопрос могу ли я очень быстро применить это без серьезных изменений в процессах или продукте.
4/ доверяй, но проверяй! Спрашивай каких конкретно достижений в цифрах добился ваш коуч/адвайзер и прочие. БЕРИ РЕФЕРЕНСЫ на человека и ищи сам на рынке их (обычно сам коуч дает 2-3 человек).
5/ и наконец - отдыхай побольше, это самый эффективный улучшатель настроения, не хочешь - не делай. Работать с календарем 24/7 забитым бесполезными встречами нагружает мозг так, что не останется времени подумать, а без «подумать» вряд ли выйдет что-то адекватное.
Привет вашим агентам. Как дела?
Короче, я давно вещаю, все эти ваши контексты в миллион токенов и так далее фигня. Скажем так, чисто в теории мое ощущение что после 10к там драматически падает качество, ну и вот подтверждение подкатило.
А теперь эти «уникальные» данные/знания можно применить к агентам по продажам, агентам по чему угодно и подумать «когда же AI заменит человека на рабочем месте?». Как говорится, вашему агентскому стартапу на заметку.
Ого какие темы постит Anthropic. Не могу не поделиться.
Ребята выпустили исследование как же используется AI сейчас и каков его экономический вклад (хотя тут я не очень понял). Цифры крайне занимательные. Картиночки приложу.
Основные выводы:
- большая часть использования(36%) AI приходится на задачи связанные с technical documentation etc и software development (кто бы мог подумать, да?)
- небольшой скос в сторону именно не полной автоматизации, а так называемой аугументации задач, это когда вы проверяете или дополняете задачу с помощью AI (я думаю разрыв в сторону аугументации будет расти очень сильно)
- большая часть задач которые решаются категоризированы к профессиям среднего/высокого достатка. И практически ничего с самыми низкими и высоко оплачиваемыми ролями. Тут я считаю просто скос из-за аудитории, которая использует их Claude. Вряд ли дворники или CEO доверяют свои задачи AI. Пока что.
Крайне советую прочесть, дает много инсайтов как и по областям применения и того, что действительно может работать.
Я все так же считаю:
- полная автоматизация с помощью агентов будет очень нескоро даже простых задач (см как же быстро вошли в жизнь self driving cars)
- все больше применения будет в аугументации задач и улучшении результатов (а-ля инструмент помощи)
- агенты == зло, базовые автоматизации круть (отдельные блоки в процессах, latency, качество определенных решений - условно замена старой технологии на новую)
Воскресное. Что же читают партнеры одной из самых влиятельных и больших венчурных фирм A16Z.
Читать полностью…
Ну вот же, вот же для рекламы надо делать ваш AI. Топ инструмент так то.
Будем пробовать «всего за косарь баксов в год» :)
Немного карьерных твистов или как после купонов основать компанию по созданию сверхзвуковой авиации. И вся история в этом твите.
Читать полностью…
То что мертво, умереть не может. Это можно только продать и сделать новый холдинг LLVMH.
А так может слухи, но когда-то поднявший стартап французский под названием Mistral кажется находится в кризисе и думаю в каждой шутке доля шутки.
Немного мыслей про агентские системы типа Operator от OpenAI и похожая штука есть у Claude. Типа даешь таск и оно управляет браузером (мышкой водит и клавиатурой пользуется). Так вот мои три копейки:
1/ Честно говоря это какие-то public эксперименты, в текущем виде это продукт без будущего и явно outdated. Андрей Карпаты написал в тви что похожую тему они задумали еще в 2016-17 до так сказать прогресса в трансформерах значимого. Зачем вообще эмулировать поведение браузера если можно пользовать API или там скрипты или еще что-то и сделать это без визуальной составляющей которая явно все дико замедляет. Это все отсылка к проекту MCP. Который сделает весь этот визуальный мусор ненужным.
2/ Все еще для меня особняком стоит старая продуктовая проблема голосовых ассистентов (кстати как пользуетесь часто?). Большая часть задач ставится голосом/текстом сложнее чем через обычный интерфейс протапать или прокликать. Одним словом формулировка уже вызывает сложности, не говоря о том, что по пути изменения могут происходить и голосом этим всем управлять тяжеловато. Попробуйте представить процесс заказа пиццы на дом (допустим система знает где дом, вы начинаете выбирать где заказать, выбирать пиццу, ой а надо же глянуть цену, а может даже фотку или состав, ну короче это мы еще не пришли к тому что если доставить нужно не к двери, а внизу или вот специальные инструкции как зайти во двор). Другими словами графический интерфейс сильно упрощает взаимодействие с информацией и ее представление. Как сделать взаимодействие быстрее я пока не знаю. Идея встроить куда-то там LLM очень даже ок, но на данный момент и работает все ужасно и доверия нет.
3/ ну и все же с релизом китайской сетки Deepseek r1 все начали паниковать мол смотрите она же open source и все про нее более менее понятно, кроме того сколько ресурсов влили в обучение реально (если верить китайцам то они получили тоже самое что OpenAI только за «5-50м баксов» что конечно очень дешево). Тем не менее пользоваться все еще этим добром тяжело, я нахожу фактические ошибки в каждом втором запросе если он посложнее инструкций. Или вот возможность сходить в интернет вызывает вопросы. Оставлю в комменте скрины интересно ваше мнение.
TLDR: следим за областью, но агенты в текущем виде это просто эксперименты рисерч лаб.
Небольшой новостной повод размером в 500 ярдов инвестиций (больше мне кажется, чем любые гос проекты до этого в истории США) в датацентры для AI. А пишут что даже для OpenAI, но четкой формулировки эксклюзивности нет (или я не нашел). Что конечно смахивает на гонку вооружений, но только в AI. В интересное время живем :)
Читать полностью…
Достаточно показательные данные о том, сколько процентов нужно отдавать всяким адвайзерам и советникам в вашем стартапе.
Не более 1% человеку и всего обычно не более 2-3% так сказать на всей дистанции.
Там в сша тикток забанили и все что в целом от bytedance. И вот вам немного логики
Читать полностью…
Друзья,
Каждый день провожу созвоны
Помогаю
Ваще только и делаю что инфобизнес для вас дорогих
Поэтому решил запустить для вас курс, закрытый клуб, платные консультации или просто мне нефиг делать, а денег нет и надо как-то зарабатывать, живу то где-то в какой-то стране, а тут все новое и так каждые пол года
Да нафиг не надо если есть основной бизнес или работа, которая нравится
“Информация из вторых рук всегда выглядит более стройно и убедительно, чем полные пробелов и неясностей сведения, которыми располагает ученый.”
Последнее время часто встречаю посты про какие-нибудь там процессы в компаниях (обычно это не корпорации, а либо стартапы либо небольшие компании около 100 человек). Я большой противник бюрократии на первых этапах развития и так же начальном этапе роста. Нашел для себя несколько первопричин почему же:
1/ любой новый процесс обычно это еще один шаг по модификации информации, будь то итоги встречи или еще одно письмо или комментарии где-то. Чем больше шагов тем более искажена начальная мысль, так же как в переписывании Библии в средние века.
2/ процессы это как вкусовщина каждому свое, самые жаркие споры и вечные о том как же нам вести задачи и какой фреймворк использовать, что редко двигает к результату, а скорее к личной привычке части людей использовать определенные инструменты. И да легче всего обсуждать именно еще один процесс ведь там у каждого будет мнение в отличие от хардовых вопросов (там где действительно существует влияние на результат например архитектура или дизайн)
3/ чем менее квалифицированная команда тем больше процессов в вашей компании и это логично. Так как хочется привести все к рельсам на которых нужно ехать и меньше думать, а думать это сложно. Все фреймворки обычно отсылают нас к заводам (канбан), фабрикам и прочему именно поэтому. По инструкции работать ума не надо.
4/ я не верю в то, что процесс поможет человеку стать лучшим профи, но поможет облегчить усилия на подумать это точно, поэтому процессы часто убивают креативность и идеи, так как по сути сводят все к повторению одного и того же
TLDR: как и наука tech это по сути индустрия умственного труда и автоматизация этого всегда будет уменьшать вероятность получения инноваций. При этом отрицать то, что организация работы нужна я не собираюсь.
Ахаха, ну это за 2000 USD надо было. Здоровому стартапу здоровая экономика.
Читать полностью…
Всех с наступающим! Ну и главное здоровья и чтобы следующий год был всегда лучше чем предыдущий!
Читать полностью…
Новогодний AMA, неделя была откисать по большей части, все-таки в Англии Рождество основной праздник поэтому и я решил отдохнуть. А так ловите опросник, чего было бы интересно или просто оставляйте пожелания 🙂
А кому хочется проверить насколько мощная о3 моделька от OpenAI можете поиграть в те самые задачки, на основе которых она "называется прорывом в причинно-следственных связях"