8212
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai (реклама и консультации) Habr @Andriljo Kaggle: Andrilko
Обзор "MCP для новичков"
Пожалуй это первая публикация на Хабр в которой просто и понятно, без маркетингового булщита и воды, автор разобрался сам и попытался объяснить нам, что такое MCP (Model Context Protocol), зачем он нужен, почему он работает так как работает и какие у него особенности.
Тезис, вокруг которого построена публикация:
Model Context Protocol (MCP) - это просто API, разработанный для LLM.
Reinforcement Pretraining Learning от Microsoft - новый взгляд на предобучение.
RPT - это новый подход для дообучение моделей на основе рассуждений с RL.
Как это работает? 💡
Ранее, мы использовали старую схему: предобучение, инструктивный тюнинг и выравнивание. Далее DeepSeek привнёс дополнительно методологию предобучения+RL тюнинга, без итерации SFT.
Однако, Microsoft пошли дальше. Мы делаем предобучение модели с задачей next token prediction, а далее делаем дополнительный шаг к дообучению (допредобучению) с использованием формата рассуждений для предсказания следующего токена. Да, да, с использованием спец.форматов thinking tokens и т.п. (ниже будет скрин формата). При этом, откуда взялся RL тут? Да все просто – ввиду моды на GRPO и задач, которые сами порождают себе награду, из-за своего известного ответа. Ведь для задач предсказания токена мы уже также имеем нужную разметку. Поясню, у нас есть тренировочный опорный текст, его мы нарезаем на контекст + следующий токен, так мы делаем teacher forcing. Отсюда награду на этапе RPT будем давать за правильно предсказанный токен с GRPO, а не юзать CCE loss. Кстати, очень похоже на подходик с RTD (replaced token detection) для обучения ELECTRA, помните такую?
Вот и вся идея: берем претрейн+rpt, далее уже че хотим, то и воротим. Можно следом сделать RL SFT, и авторы этот эксперимент проводят и показывают, что такой RPT "отжиг" (почему-то с ним аналогия, хотя у отжига есть условие соблюдения чистоты и частоты разметки к претрен сырцу), естественно, улучшает качество тюна дальнейшего с RL. Все логично, мы же уже подготовили почву через обучение сродственное.
Отсюда вообще много чего, интересного можно натворить. Взять и сделать реально аналог отжига, но на RPT подходе, прям по всем правилам и требованиям к датке, но с функцией цели в виде GRPO. Можно генерить разметку претрен сета в виде рассуждений при помощи reasoning моделек, создавая уже RPT синту. Далее пойти в DeepSeek R1 пайп. Написать сначала людьми разметку под токены рассуждений, потом обучить опорную свою RPT модельку, ее использовать для рефайна сета претрен. Получив синту с нужной разметкой, отобрать ту синту, для которой энтропия/перплексия минимальная (отобрать лучшие примеры), и вкинуть уже в модель второго уровня на пайплайн: претрен, rpt с синтой, rl sft и т. д. по аналогии с R1 пайпом после ZeroStage.
Кстати, авторы показали не только хорошую интеграцию с RL sft, но и правила скейлинга качества для разного уровня сложности задач на рассуждения, на примере задач математики. Туда же долили замеры QA и MMLU и тоже показали ап. 🌿
К тому же, 14b моделька Qwen с RPT заняла место между NTP 14b и 32b. 📈
В общем, читайте статью и пробуйте.
🔎 Опытные разработчики с ИИ работают на 19% медленнее
Организация METR провела рандомизированное контролируемое исследование, которое перевернуло представления об эффективности ИИ-инструментов для кодинга.
16 опытных разработчиков open-source проектов решали 246 задач в знакомых им кодовых базах. Проекты в среднем существовали 10 лет и содержали более 1,1 миллиона строк кода. Разработчики использовали Cursor Pro с Claude 3.5/3.7 Sonnet, каждая задача занимала около 2 часов. Участники записывали экраны и получали $150/час.
Результаты показали разительное расхождение между ожиданиями и реальностью:
🟡До исследования: разработчики ожидали ускорение на 24%
🟡После исследования: считали, что ускорились на 20%
🟡Реальные измерения: замедление на 19%
93% участников имели опыт с ChatGPT, но только 44% работали с Cursor ранее.
Детальный анализ 74 задач показал, как именно тратилось время при использовании ИИ:
Время сократилось:
🟡Активное кодирование: -15%
🟡Тестирование и отладка: -5%
🟡Исследование и чтение информации: -8%
Время увеличилось:
🟡Режим ожидания (idle time): +4%
🟡Чат с ИИ: +20%
Именно 20% дополнительного времени на взаимодействие с ИИ (промпты, ожидание генерации, проверка результатов) стало основной причиной общего замедления.
Ключевые проблемы:
1. ИИ генерировал код, который формально работал, но не соответствовал стандартам open-source проектов
2. Множественные раунды "промпт ➡️ ожидание ➡️ проверка ➡️ отбрасывание ➡️ новый промпт" замедляли работу
3. Ожидание ИИ сбивает фокус (flow state)
4. Сложности передачи нужного контекста ИИ в больших, сложных кодовых базах
Замедление НЕ ожидается для:
🟡Junior-разработчиков
🟡Работы в незнакомых кодовых базах
🟡Greenfield проектов (создание с нуля)
Также возможны значительные улучшения эффективности после сотен часов использования Cursor.
Исследование METR контрастирует с предыдущими работами, которые показывали ускорение от ИИ-инструментов. Однако те исследования часто использовали более простые benchmark задачи или новые проекты, что объясняет разницу в результатах.
Reuters отмечает, что это первое крупное исследование, показавшее замедление при использовании ИИ-инструментов опытными разработчиками.
#исследование #cursor #claude
@hikonon
Сначала они копировали европейский автопром, советское оружие и ширпотреб из USA.
Теперь, они копируют авто друг у друга (привет копии лисян и zeeker), оружие делают и сами норм, но еще крадут у друга код и архитектуру модели 🧠.
Хуавей официально отвергла сходство своей модели с Qwen от Алибаба.
Хотя не только китайцы "копируют" наработки у друг-друга, разработчики с запада также перенимают их опыт и архитектуру😀. If you know what I mean 🤣.
Привет коллегам по цеху в РФ.
Для тех, кто в англ не бум бум.
Google делает OpenAI в GenAI
OpenAI делает свой Google ч. 3я
Теперь в моде иметь в гараже по Бентли браузеру с LLM. Тут ждут анонс от OpenAI. А также зарелизили свой браузер perplexity - зовут Comet.
С одной стороны это посягательство на трон Google. С другой привычный всем и тем самым удобный канал связи через браузер и поисковую строку с доп интерфейсом. Так сказать более легкое и нативное проникновение в массы, а еще способ монетизации через рекламу, сбор датки о юзерах для персонализации и т. п.
В общем набираемся попкорна и следим за парадом браузеров с LLM. 🍿
Гибридизируй это - память.
Как я и говорил гибридизация механизмов памяти это будущее. Теперь уже и настоящее.
Подобно memGPT (про память, а не мемы 😀 ), коллеги из Китая пошли в операционку с памятью. Очень интересная работа.
/channel/chinaaichannel/167
+ выкладываю свою презу по памяти для LLM на datafest (будет ниже).
Видео залиты сами знаете куда. Мое выступление с 1:33:00 примерно.
Видение трендов AI-based решений и продуктов после первого полугодия 2025.
Видео для привлечения внимания.
Проходит первое полугодие и хочется обновить видение по основным трендам вокруг ИИ, на мой взгляд, естественно.
Демократизация AI, в виде конструкторов моделей и фабрик агентов. Наблюдаю тренд, не только на вайбкодинг, но и появление у крупных игроков возможности дообучения моделей на их стороне. При этом закрываются вопросы приватности, к примеру, можно обучать lora и прочие адаптеры, не прокидывая знания в основную тушку модели. Однако, для крупных игроков плюс в том, что вы подвязываетесь на их модели, доступные только с апи. Поэтому, движение дальше видится, как платформы с возможностью выбрать любые открытые модели по mit/apache 2.0 и иным открытым лицензиям, и уже дообучение этих моделей на стороне платформы в виде разных адаптеров или вовсе лайт тюнинг. Тут вы уже не зависите от решений закрытых моделей, а можете выгрузить себе адаптер и подложить к такой же модельке инхаус. Что вы приобретаете с такого решения помимо независимости? Еще возможность переиспользовать ресурсы и алгоритмы тюна компании, предоставляющее такие платформы, тем самым не имея необходимости учить модели у себя со всеми вытекающими (спецы, инфра и т.п.). Разумеется, будут выигрывать те решения, которые не будут свои грязные ручки опускать в вашу датку и использовать их для себя или слива другим игрокам. Все-таки доверие на основе privacy роляет.
Туда же пойдут решения в виде конструкторов агентов или платформ для вайбкодинга. Опять же, по аналогии с конструктором сайтов, вы сможете использовать алгоритмы, опыт и ресурсы компании, которая дает такой конструктор. Далее выгружать решение в виде готовой сборки или получить нужный код и т.п.
Данные заканчиваются, пора продавать свои – часть вторая, но... Биржа проприетарных или синтетических данных, может стать новой вехой развития. Вы можете продавать или качественную синту по апи или же очищенные данные компании, где используется свой алгоритм деперсонализации и т. п. Разумеется, большие корпорации и ит-гиганты обладают огромными массивами подобных данных, а многие из них уже давно продают такое по апи в обезличенном виде. В 2025г., когда скорость и объемы потребления данных для обучения моделей достигли уровня, что новые открытые данные не поспевают рождаться, подобные сервисы получат второе рождение.
Экономия должна быть экономной. Или агенты на службе домохозяйств. Появление агентов, которые уменьшают время провождения хозяек и хозяйственников в онлайн-сервисах покупок (и не только там). И это не пресловутые рекомендации и копайлоты для покупок, а полноценные AI-peaker агенты. Пикером называют ребят, которые собирают ваш заказ в условном METRO, но вы все равно тратите время на сбор корзины онлайн. А хочется, чтобы пользователь не тратил часы на сёрфинг корзин, а дал агенту задачу, бюджет и только возвращался, чтобы ответить на уточняющие вопросы или прожать покупку, проверив итоговую корзину. Более того, после холодного старта, такие решения смогут именно подстраиваться под вас и с каждой совместной покупкой, делать подборку более персонализированной именно под вас. Да, и уже сейчас системы рекомендаций и историю покупок можно использовать для таких ai-пикеров на холодную.
На покупках в магазинах мы не останавливаемся, ai-консъержи, ai-риелторы на платформах/классифайдах недвижимости и т.п. и т.д.
Список будет продолжаться... Кидайте свои идеи и соображения в комментарии.
👇👇👇👇👇
Знаком с Надей еще с 2017го и уже тогда она была заряжена сделать крутое AI-based решение. И, видимо, момент настал.
👇👇👇👇
Вспомним базу. Classic ML. Про скорость реакции, data driven зрелость, на примере оттока.
Сейчас в период стагнации и кризиса, многие компании, которые проспали уже вторую на моих глазах AI-революцию очнулись от сна. С одной стороны – высокий ключ, с другой – раздутый ФОТ, с третьей – неоптимальные процессы и т.п. приводят к желанию использовать волшебную таблетку в виде ML, и еще шире AI-решений. И вот побежали спящие красавицы и красавцы под лозунгом "мы старый мир разрушим, а на нем новый AI-based построим".
При этом у многих в умах есть заблуждение,что нужно иметь много данных и база клиента нужна широкая. Однако мы должны помнить,что нужен хороший etl. Т.е. над собирать, хранить и преобразовывать информацию и в удобном формате, ну или как потом стало популярным в ocean/lake и т. п. сливать в не плоском и полу сыром виде, но давать к этому доступ для всех специалистов которым эти данные нужны для принятия или поддержки принятия решений. Я работал в 2010х в месте, где все пересылалось эксельками и велись от руки журналы на бумаге. И чтобы такое оцифровать и положить в базюки, потребовался бы большой ресурс, но сделать бы это точно стоило. Т. к. данная компания впоследствии тоже захотела оседлать волну data driven и цифровой трансформации. Побежала так, что подсела на иглу одного erp гиганта так,что не дай матричный божЕ.
Как я уже сказал, мало иметь много данных, нужно чтобы из них чет было толковое для работы с моделями. Сырец над еще преобразовать, консолидировать для доступа специалистов: аналитиков, ds и тп. Т.е. тут не только etl процессы, но и к data driven культуре надо идти, а это большая трансформация. Преобразовать процессы как найма, так и работы, обновить тех.стек, закупить, возможно новое оборудование и т.п. и т.д.
Но, допустим, у вас все получилось и вот вы строите модели. Но толку от моделей, если вы не можете предложить принятие решений на их предсказании. К примеру, есть модель оттока, только если предскажем отточных клиентов, есть ли компании, что предложить,чтобы их удержать? И сколько нужно времени на то,чтобы эти операции по удержанию произвести? Какой ТТМ? А что если за это время все уже уйдут и т. п. Помимо игры с ценой и рекомендациями, есть бизнесы с долгим процессом преобразования предложения, например банковские продукты и услуги. И пока новый пакет из ограниченного числа услуг дашь, клиент уже убежит. Кстати, мне больше всего нравится, как с этим справляются телеком, на примере индивидуального тариф конструктора.
В общем, к чему я веду, порой нужно мыслить шире, как вокруг ML строится бизнес. Не бежать за модой и хайпом, если вы не готовы. Лучше сделать шаги к важным пререквизитам: data driven культура, процессы, кадры и т.п. И уже далее как вишенка на торте создавать ai-решения, но помня, как они могут принести пользу. Да есть примеры и немало, когда сначала были созданы ai-решения, а вокруг них строился бизнес. Да, да привет openAI и т.п. Но каков Ваш путь?
Sakana.AI опять. ALE Bench и ALE-agents.
Бенчмарк по решению сложных задач оптимизации: маршрутизации, планирования, в т.ч. NP-трудные.
Дядя уже говорил о том, что такие задачи нужны именно для развития reasoning свойств и проверки их эффективности, а так же coding, тк ахах никто не решает LLM это влоб, а генерит код алгоритмов или под спец. пакеты. Напомню, что помимо открытых задач, тут широкий простор для синтетики. И вот мы видим бенч.
Вдобавок, зарелизили агента, способного "решать" подобные задачи (в кавычках тк NP трудные задачи не все разрешимы за полиномиальное время).
Как обычно смотрят для NP-задач лучшее решение? Мы можем иметь уже забрутфоршенные задачи, где известно лучшее решение или решения. Для оценки награды используется, к примеру, метод идеальной точки - когда смотрим расстояние или отклонение до ее значения. Если интересно, см. методы дискретной оптимизации и методы многокритериальной оптимизации.
Про работу Sakana.AI смотрим ниже. 👇👇👇
Код. Блог. Датасет.
А теперь туда, дай матричный бог, LoRA адаптер влезет... Не то, чтобы ИИ-убивец...
Обученный на уничтожение Сары Коннор, конечно.
Нашли, чем хайповать, сыграли бы с AlphaZero.
Тут еще надо понимать,что модель ChatGPT и т.п., как оптимайзер не может нормально коммивояжёра решить на больше 10 городов, разумеется, без привлечения внешних вызовов солвера. Но на то, это и NP задачка.
SEO и фильтры поисковиков на страже оригинальности контента в эпоху GenAI. Факты и мифы.
В сети и в рабочих процессах smm/seo спецов стали появляться разговоры про снижение качества выдачи. Как считают специалисты, это связано с нашествием сгенерированого контента. Мол google, yandex и пр. стали банить такую выдачу по магическим паттернам: спец. классификаторы, частотки слов с обученных моделей и пр.колдунщики.
Давайте немного порассуждаем над вариантами такой фильтрации и сделаем один интересный вывод.
1. Модели классификации сгенерированного контента. Никто на рынке еще не смог без хайпа и пиара, нормально, описать работу этих моделей. С метриками fpr, tpr и т. п. Везде только "точность", а мы знаем, что задача сильно дизбалансная и метрика смещенная. Поэтому может там и есть 95% точности, но в охватах ~20% дай матричный бог (для примера). Поэтому я бы был осторожен с такими моделями. Даже если есть такие модели, у поисковиков, они публично об этом не будут заявлять, с одной стороны это конкурентное преимущество, а с другой паблик риски. Вы сами-то можете отличить ген.текст, от оригинала на глаз?
2. Магические частоты слов корпусов, на которых обучались модели. Ходит и такая гипотеза. Мол фильтры основаны на паттернах датасетов, которые видели модели для обучения. Но при этом, данные сеты открытые, и естественные. Не естественным может быть выдача при генерации, хотя это тоже спорное. Крч банить за распределение войны и мира частоток, равно забанить всю выдачу Толстого. Далее, некоторые из моделей вообще закрыты и не известно на каких сетах обучались. Тут если и есть, что анализировать для составления таких карт частот, то только обстрелы по апи. Да, мы можем оценить типовые частоты генераций, но не самих сетов в обучении в таком случае. И, возможно, последнее и будет полезнее.
3. Инъекции спец. символов и вотермаркинг. Это самый реалистичный вариант фильтрации, но все ли открытые модели пользуются вотермаркингом? Все ли закрытые модели, доступные по api делятся на коммерческой основе с Яндексом или гуглом такими вещами?
А теперь вернемся на "землю". Мы знаем, что у поисковиков есть индексация по своим правилам, которые в свою очередь имеют требования к контенту для его продвижения вверх. И мне кажется, что дело не в LLM контенте, а в людях,что тупо копипастят его без доработок под особенности выдачи. Т.е. проблема не сколько в специальных колдунщиках для сгенерированного контента, сколько в лени специалистов, юзающих GenAI для материалов новостей, сайтов и т.п.
Да и камон, люди, вы реально думаете, что крупнейшие игроки, которые зарабатывают на своих ИИ-решениях в т.ч. для создания контента, будут себе в колени стрелять?)
В доказательство доводов выше, дополнительно, приведу свод правил Google в отношении ИИ-контента. В этих правилах указано, что компания поощряет любые способы создания контента высокого качества. "Главное, чтобы он соответствовал стандартам E‑E-A‑T (опыт, компетентность, авторитетность и достоверность), которые составил Google."
А еще важное это с одной стороны проводить фактчекинг генераций, т. к. глюки моделей никто не отменял, а с другой не атаковать выдачу:
«…искусственный интеллект не должен использоваться для создания контента, нацеленного исключительно на продвижение сайта в результатах поиска. Это является нарушением наших правил в отношении спама».
В общем, Дядя напомнит, что задача llm в копирайтинге не писать все за спеца, а дать эскиз или нулевой шаг, приведя к горячему старту. Дальше художник/редактор всеравно доработает текст/картинку, естественно, если это необходимо, под правила платформы размещения. Но есть те места, где нет таких фильтров как в поисковиках.
За этим урок окончен, увидимся на просторах паутины.
Google и vibe coding на собесе PO/PM - теперь не только гномики 🚬.
Ждем новшества на рынке СНГ? 👍
А ваш PO/PM уже работает с курсором и т. п.?
- Это все еще работает?
- Всегда работало. 🔫
#meme, #injection
Выступал сегодня на Conversation со своим докладом про Workflow LLM смстемы, обошел ребят и собрал их мнения и цитаты про RAG/LLM продукты под капотом
Соответственно ими хочу поделится в первую очередь
Спасибо
Паше
Саше
Ринату
Богдану
Илье
За дельные мысли (цитаты великих)
Собирать стиль из случайных покупок - все равно что пытаться составить осмысленное предложение из слов на холодильнике.
По отдельности интересно, но вместе не очень работает 😐
Aesty (Antler ‘24) - это Fashion OS: приложение, который помогает собрать стиль из того, что у тебя уже есть, и дополнить его тем, что действительно нужно. Получается связный, логичный гардероб, который работает как система и курируется приложением 🎧
В отличие от классических fashion-приложений, Aesty:
- Позволяет примерять и свои вещи, и новые — прямо на себе, в одном образе
- Показывает, что у тебя уже есть в гардеробе и как это сочетать друг с другом
- Строит образы под погоду, стиль и тренды
- Показывает, что действительно стоит докупить — с учетом твоего контекста, а не просто красивой ленты в пинтересте
С первого дня Aesty помогает иначе смотреть на гардероб не как на хаос, а как на стройную, понятную систему 😎
⌨️ Лаунч на Product Hunt: https://www.producthunt.com/posts/aesty-your-fashion-os/
будем рады поддержке 🤝
🎁 Только для PH:
Инвайт другу = обеим бесплатная примерка
Промокод: PRODUCTHUNT
Лайк, шэир, репост очень привествуются! 😎
Число постов в канале упало не просто так (о, великий султан, на то была тысяча причин).
И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром.
Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий.
Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent
Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее.
Если вдруг кто захочет поучиться — есть промокод, datarascals
для любителей рекомендашек комьюнити сорева с призовым фондом 10K$
https://www.kaggle.com/competitions/aeroclub-recsys-2025/overview
много данных, понятная метрика, возможно подходит что-то из SOTA из недавно прошедшего avito.tech:
В решении команда использовала передовые (SOTA) подходы:
🔘EASE-DAN: Свежая и мощная версия линейного автоэнкодера для извлечения коллаборативного сигнала.
🔘SASRec (RePlay): Для извлечения позиционного сигнала последовательностей действий.
🔘Экспериментальный лосс Barlow Twins: Примененный к SASRec, этот новый подход, представленный в этом году на главной мировой конференции по рекомендательным системам ACM RecSys 2025, помог улучшить результаты.
ruMTEB,
по mean (Task) между e5-large-instruct и jina-embeddings-v3
(С)
Крч, король не побежден.
Делай легче, делай играюче, text-to-lora, кайфуй!
Зачем учить свою LoRA, когда можно взять инвайт и просто добавить воды описание задачи и получить адаптер без обучения. На самом деле за один forward pass и предварительным обучением гиперсети. Но на инфере действительно за один прямой проход. Sakana.ai снова удивляет.
Работает это при помощи того, что мы берем выходной эмб с модели cls emb для энкодера или last token emb для LLM. Далее инитим гиперсеть случайно (по типу LoRA). После проносим через это опорный эмб с базовой модели и добиваемся, чтобы на выходе из мета-сети получить консистентые отображения. Также используется принцип mutual learning, чтобы обмениваться с LoRA учителя градиентами, как по скрытым состояниям, так и по выходу вероятностей. Т.е. происходит и шеринг весов и дистилляция модели учителя.
Задача тут в том, чтобы получить сеть, которая может порождать LoRA веса схожие с весами учителя и не терять task specific. Скормлено в таком сетапе сотни известных и популярных адаптеров и связанных с ними задач. Авторы так же отмечают трансфер и на unseen задачи. Т.е. обещают свойства out of domain трансфера.
Интересное. Над пробнуть.
https://mistral.ai/static/research/magistral.pdf
Еще сделали до кучи репорт, советую почитать. Идея с fasttext в награде,чтобы не скакал по языкам топ. Можно попробовать приладить к инференсу.