4047
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Новогодний AMA, неделя была откисать по большей части, все-таки в Англии Рождество основной праздник поэтому и я решил отдохнуть. А так ловите опросник, чего было бы интересно или просто оставляйте пожелания 🙂
А кому хочется проверить насколько мощная о3 моделька от OpenAI можете поиграть в те самые задачки, на основе которых она "называется прорывом в причинно-следственных связях"
Рубрика «прочитано, но не до конца понято»:
1/ Про нейронку, которая лежит в основе знаменитого шахматного бота stockfish. Фишка этой архитектуры в том что она старается очень мало менять внутренние состояния и вводные считая следующие ваши ходы. Уважаемая вещь.
2/ Боэций «Утешение философией». Книга вообщем то. Это для того, чтобы понять как мыслили в средневековье. Человек был настолько уважаемый, что его книгу переписывали почти во всех монастырях в Европе. Да и формат диалога в книге интересный. Хотите понять че там к чему было в головах у правителей, читайте смело.
3/ Достаточно старая статья на n+1 про некие уровни в физике, а-ля насколько все сложно и мем, который когда-то выложил Илон Маск. Одна из любимых статей, так как сам разбирался в теории струн (несколько лет, так для себя).
4/ Кажется откопал чисто случайно откуда взялся термин JTBD (job to be done). В шестидесятых некий Теодор Левитт, который работал в Гарварде как экономист и препод, выдал теорию под названием "маркетинговая близорукость". Если по-простому, он толкнул идею о том, что куча компаний тупят, определяя себя через свои продукты, а не через то, какие потребности они закрывают (сейчас эту тему и переупаковали в фреймворк "работа, которую нужно сделать").
5/ достаточно прикольный плейбук по монетизации от чувака из Eventbrite. Понравилось как просто и легко построены решения на основе базовых показателей таких как виральность, ретеншен и так далее.
6/ всем желающим разобраться в квантовых вычислениях рекомендую
Мои пять копеек в мир великих AGI предсказателей и обожателей OpenAI.
Мне очень понравился сегодняшний релиз очень дорогого умного брутфорса. Или если хотите аналога alphaGO, но для определенного типа задач (затачивают под матан и логику кажется с геометрией). Чтобы лучше понимать откуда такая цена за прогон (решить по сути детскую задачку стоит 1500 баксов, но с математикой серьезного уровня там не все супер круто, 25% только по бенчу, стоит учесть что там очень серьезный бенчмарк и требует от человека крайне сильных знаний - меня максимум на одну с половиной задачу хватило), то лучшая аналогия это понять как работает та самая архитектура, которая всех выиграла в игру го. А там был внутри так называемый MCTS (monte Carlo tree search). И пару сеток который генерили ответы к позиции и дальше по ним шел такой умный поиск. Вот моя ставка что текущая версия o3 это оно и есть. Это какой-то умный алгоритм поиска плюс сеточка (скорее всего даже небольшая типа на 70B параметров). И вот ее тысячи прогонов в определенном окружении стоят столько.
Еще более простая аналогия это брутфорс, но не в лоб, а с подсказками. Как бы сетка подсказывает чего точно быть не может или что точно должно тут быть. Это сильно сокращает количество вариантов и поэтому процесс хотя бы сходится. Думаю, что будущее за сетками и еще несколькими внешними алгоритмами типа MCTS или Program Synthesis. Как ограничитель во времени используется идея test time compute.
Кстати один из авторов alphaGO Noam Brown перешел в OpenAI как раз где-то год назад, вот и результат.
Касательно AGI, черт знает что это конкретно, но типа прям разум и все такое, сам принимает новые решения доселе невероятные, то еще долговато. Но не так прям чтобы нереально. Лет 10-15.
На картинке график популярности MidJourney. Это все про генерацию изображений и прочего графического. Относительный график, но важный. Он хорошо показывает насколько скорость и момент важны в цикле жизни продукта в интернете. Как легко можно стать лидером и так же легко потерять ветвь первенства.
Ни что так не важно как момент и тайминг когда вы делаете ваш продукт или стартап.
Конкретно у ребят получилось вырасти, использовать релевантные комьюнити инструменты, получить супер важные данные о предпочтениях чтобы быстро итерировать с моделью, НО так же отстать в производстве большого веб продукта, найма большего количества людей для более быстрых параллельных итераций в модели и продукте и проигрышу большим ребятам. Основатель тем не менее утверждает что проект не брал венчурное финансирование (что конечно можно прочитать как «деньги мы взяли, просто вот не у фондов или вам не скажем»).
Минутка саморекламы кстати, а не рекламы обычной. Мы с Аней работали когда-то в mail ru еще на заре карьеры. Да и как-то вот периодически говорим на ее канале.
Помимо того, что ничего сверхъестественного я не говорю, мой контент часто приземленный. Но тем менее в воскресенье под фон может и зайдет.
Тык тык
Google там сделал прогресс в квантовых процессорах, и если половина чуваков вам просто постит заголовок, что мол смотрите штука считает то что классический комп считал бы дофига лет, то я вам всегда советую почитать Reddit или работу и понять, что задача для заголовка выбрана специально, чтобы квантовый проц решал ее быстро, а классический медленно.
А так прогресс ощутимый, еще лет 10 думаю до нормальных применений. Жду.
Кстати еще не люблю культ страданий. Постоянное нытье, как тяжело мол в стартапе быть, в корпорации быть, как сложно код писать когда руководитель дурак или вокруг одни дураки. Вот от людей с таким посылом и в целом нарративом надо бежать. Проблемы обычно именно из-за них. В своем глазу и бревна не увидишь.
Читать полностью…
Короче, ваши ставки «новый Google» или еще один Theranos? Либо я чего-то не понимаю, но здесь что-то не так. А вы что думаете?
Читать полностью…
Яндекс Nebius поднимает 700м ибо надо выходить в США. Но в целом мое ожидание, что это так себе ставка от ребят (по сути думаю кредит).
Могу пожелать удачи в конкуренции с AWS/Azure etc
Думал короче вернусь в режим, но на неделе попал в больницу по абсолютной случайности. Короче жив здоров.
Дальше к делу. Тут такой тред про мотивацию инженеров в корпорациях у одного из моих любимых ныне инвесторов возник.
Позволю себе вольный перевод и свои пять копеек:
1/ есть некий миф или недопонимание мол инженеры (читай программисты) ленивые и вообще ничего не делают и не хотят. Что не совсем так. Скорее в современных корпорациях стимул выстроен в стиле завода 1950х.
2/ а именно нет никаких поощрений за упрощение или удаление ненужных частей кода/процесса. Если ты сделал что-то быстро - значит задача была легкая. Задачи в большинстве своем не вносят никаких существенных изменений в продукт, а лишь двигают KPI на пару процентных пунктов вперед. Помните все эти линкедины «увеличил конверсию на 1.5%», и даже если бизнес выиграл много, задача все равно скучная так как скорее всего вы пилите фреймворк для а/б тестов.
3/ не нравится текущая работа - смени и найди новую, грамотный инженер может себе позволить такое, а значит риск быть уволенным низкий. Инновации заключается в смене мидл менеджеров, которых вращают чтобы те не раскачивали лодку.
4/ почти все акции которые у тебя в опционе или бонусы которые зависят от KPI всей компании никак не связаны с твоим трудом. Твой код очень редко влияет на рост акций компании. Чувствуется что значимая часть твоего дохода (а иногда даже бОльшая часть) вообще к тебе никак не относится.
5/ ротация слабая, если люди слабые то никто их трогать не будет так как найм дороже содержания посредственных людей. Перед акционерами редко стоит обязательство увольнять кого-то, ну разве что ну совсем уже никак, но тогда просто удаляют чтобы финансы подтянуть, а не ситуацию с качеством исправить.
6/ все системы ревью полный треш. Система оценки взламывается через дружбу, делать только «важные» задачи и так далее. Закон Гудхарта. Любые метрики производительности можно взломать и это будут делать.
7/ все эти калибровки уравнивают все команды в один большой поток, где нет лучших и худших. Нет понижения выходит, а значит повышение в любом случае дает чувство безопасности.
Уверен что так почти везде где 10к плюс человек, а может и меньше. На моей практике даже поменьше компании обладают всеми этими чертами. Когда начинаешь измерять интеллектуальный труд получается что фиксить 2 бага в неделю эффективнее чем придумать новый продукт.
TLDR: Единственный способ существенно увеличить доход — получить повышение. Промо-пакеты и политика важнее, чем создание качественного продукта.
Ну и касательно предыдущего тезиса.
Цитата: "Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures - have plateaued." Вообщем наконец-то начали признавать как обстоят дела. И думаю что Илья хорошо понимает что нужны другие методы и алгоритмы для следующего шага. Трансформеры в полной мере примерно показали себя.
До сих пор согласен, что юнит экономика это про далеко далеко, а команда и продукт про самое начало. Доказано путем общения с большим количеством разных фондов и decision makers.
P.S. наверное стоит упомянуть это именно про венчурные проекты (== требующие финансирования для быстрого роста и достижения результатов)
Воскресное. Или о пользе онлайн игр.
Может быть вы слышали или нет, но я много играю в онлайн игры и помимо обычного соревновательного духа и всего такого есть одна вещь, которая мне очень импонирует.
А именно мы поговорим о социализации. Я в целом достаточно закрытый человек и к 33 годам у меня сугубо профессиональный круг общения и близкие. Это в целом ограничивает понимание что и как происходит у разных групп людей и населения. В онлайн играх же вы часто собираетесь в группу и идете вместе убивать боссов или играете команда на команду. Частенько вы сидите в голосовом чате типа Discord. И там как раз вы знакомитесь. И иногда крайне интересно слушать кто чем занимается (например у меня были проводники в поездах дальнего следования, работники нефтяной вышки и так далее) и это очень хорошо отрезвляет и дает хоть какое-то отличное от вашего пузыря виденье. Лично у меня не так много шансов регулярно слышать разные истории такого плана даже если я захочу. Такие дела.
А как вы выходите из вашего социального пузыря?
У кого что там в ChatGPT по промту:
based on what you know about me. draw a picture of what you think my current life looks like
Присылайте свои результаты :) я видимо много спрашивал про wow, потому что так проверяю актуальность в поиске
AI убьет «подставить название профессии» или очень популярный реддит пост про новую рекламу Coca Cola, которую сделали с помощью AI и маркетологи срубили себе годовой бонус
https://www.reddit.com/r/mildlyinfuriating/s/wcPdBrjuNN
Заметил такую штуку. Часто какой-нибудь head of ai ищет себе в команду senior product manager. Чтобы мол присоединиться к инновациям. Я читаю это так: короче есть тут пару идей, кто хочет таски в Jira писать, я буду диктовать на коллах?
Но обязательно опыт в ML/AI!
https://arcprize.org/blog/oai-o3-pub-breakthrough
Ну что ж новая о3 модель подвозит очень крутые цепочки рассуждений и даже нормально решает бенчмарк тех кто сомневался. Да здравствует test time compute. Ждем релиза в начале след года. Или позже :)
Отечественные так сказать генераторы изображений. 😑
Читать полностью…
Заметили, как все билдеры аппов на AI (ну все эти эксперты по промтам) типа гороскоп, коуч и прочее резко стали билдить агентов. Мол мы поможем вам создать то, что сами не смогли никому продать. Сделай своего агента, который будет эксель заполнять (кстати можно и без AI там формулки написать).
Так наблюдение.
Иногда буду еще такие короткие факты постить а-ля TIL (today I learned).
Сегодня узнал где мы находимся на очень большом масштабе так сказать. Ланиакея с гавайского (и такой есть да) - необъятные небеса. Просто красивое название.
Одной строкой - вышла новая llama 3.3 70B метрики как у 3.2 405B. Meta норм так идет.
Читать полностью…
Ставшая хитом рубрика "Прочитано, но не до конца понято".
1/ Пэйпер от дуолингво, про как ребята сделали алгоритм для пушей для поддержания вовлечения и так далее (бандиты и все такое).
2/ Какой-то старый курс по рекламке и моделям которые там используются (конечно же старый, но мне нравится как в старых курсах подается база, читал наискосок, вроде ниче сложного)
3/ Достаточно фундаментальная работа про смысл аукционных алгоритмов или что выбрать бабки или эффективность (короче говоря клик бейт или реальная польза от товара/целевого действия). Крайне рекомендую для понимания как работает реклама в целом и где там проблемы.
4/ О том как считать ваши расходы, когда собрались хостить/тренировать свои модели
5/ Что-то Курта Геделя по теме решения уравнений общей теории относительности и первых работ по структуре вселенной и времени в ней, зачем я не знаю, но говорят работа породила целое течение в этой области, какое тоже не скажу 🙂
6/ Старый блог с задачками, в этот раз популярная: Сколько в среднем нужно взять случайных натуральных чисел, равномерно распределенных на отрезке от 1 до n, чтобы их сумма превысила n ?
7/ Пока ниче не делаю читаю книжку про историю Blizzard (игровики такие), там прям ух дух треша чувствуется сильно.
8/ Ну и классика французских мылсителей про закон, мне кажется один из самых сильных трудов да и книга там четкая есть того же автора Фредерика Бастиа
Вот так просто человек показал то, чем все занимаются часами в тиктоке и так далее. Жду новых продуктов, фичи которых можно будет вот так вот понять. Любому, без философии, просто понять и попробовать.
Читать полностью…
Воскресное. Тематическое. В номинации лучший промт победил этот парень.
Читать полностью…
Возвращаемся к жизни после недели дня рожденья. Так вот интересно дела делаются и как мне кажется Антропик по чуть чуть делает для нашего любимого AI больше чем OpenAI, а именно начинают по чуть чуть внедрять стандарты и делать их открытыми (Open AI ахах), на этот раз протокол как скормить свой продукт агентам на основе LLM.
https://www.anthropic.com/news/model-context-protocol
Одна из самых как по мне значимых статей вышла. Она убедительно показывает, что мы достигаем пределов квантизации. В работе говорится: чем больше токенов используется для обучения, тем больше точности требуется. Или помните все эти битнеты(где всего веса из трех цифр 1 0 -1) и прочее (кажется это полное опровержение данной идеи).
Важно:
- почти всегда мы достигали лучшей производительности и прочего путем снижения размерности (пусть даже и циферок)
- другими словами замедление пришло и оно реально, похоже надо учиться улучшать то что есть уже и оптимизировать под более узкие кейсы
Всем интересующимся AI на серьезно обязательно читать
https://arxiv.org/pdf/2411.04330
Не все может в курсе, но было время играл профессионально в футбол за тогда еще Смена, которая потом стала академией Зенита Санкт-Петербург. Поэтому переживаю на спорт и кажется там очень много проблем. Особенно в поиске талантов и процессу как игрок идет от молодежки к взрослому уровню. Кто смотрел такой сериал «вне игры»? Да я в целом верю что с помощью технологий можно значительно улучшить процесс в футбольных школах. Коррупции там тоже дофига.
Например, слежу за JuniStat - там ребята научили сеточки точно считать данные футболистов с помощью мобильника и собрали метрики с тысяч игроков от 8 до 18 лет по всему миру. Клубы и федерации используют эту систему, чтобы отслеживать данные перспективных игроков через тесты, валидированные по стандартам FIFA.
В мое время такие технологии были недоступны - сложно представить сколько детей могли бы показать себя и попасть на радары только по своим данным.
Ну и для тех кому не безразличен спорт и все такое вот канал CEO, и да это не реклама. Один из немногих проектов которые хочется поддержать, и я даже не инвестор @junistatsystem
Ну наконец-то всем фанатам подкатили еще один солидный как по мне бенчмарк на этот раз по математике. И там прям никто не решает его и кстати разницы между o1 & gpt4o тоже нет.
Бесконечный хайп вокруг LLM думаю сильно стихнет, так как текущий прогресс просто банально зависит от разметки и данных о предпочтениях (один вариант лучше другого). Поэтому жду замедления высшей точки и быстрого роста небольших моделей по качеству. Так как их будут тренировать на качественных более данных.
Я когда-то сравнивал современный tech с промышленностью 30-40х годов 20 века. Ну вот же точно оно.
Идем на завод каждое утро да да