8212
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai (реклама и консультации) Habr @Andriljo Kaggle: Andrilko
Видение трендов AI-based решений и продуктов после первого полугодия 2025.
Видео для привлечения внимания.
Проходит первое полугодие и хочется обновить видение по основным трендам вокруг ИИ, на мой взгляд, естественно.
Демократизация AI, в виде конструкторов моделей и фабрик агентов. Наблюдаю тренд, не только на вайбкодинг, но и появление у крупных игроков возможности дообучения моделей на их стороне. При этом закрываются вопросы приватности, к примеру, можно обучать lora и прочие адаптеры, не прокидывая знания в основную тушку модели. Однако, для крупных игроков плюс в том, что вы подвязываетесь на их модели, доступные только с апи. Поэтому, движение дальше видится, как платформы с возможностью выбрать любые открытые модели по mit/apache 2.0 и иным открытым лицензиям, и уже дообучение этих моделей на стороне платформы в виде разных адаптеров или вовсе лайт тюнинг. Тут вы уже не зависите от решений закрытых моделей, а можете выгрузить себе адаптер и подложить к такой же модельке инхаус. Что вы приобретаете с такого решения помимо независимости? Еще возможность переиспользовать ресурсы и алгоритмы тюна компании, предоставляющее такие платформы, тем самым не имея необходимости учить модели у себя со всеми вытекающими (спецы, инфра и т.п.). Разумеется, будут выигрывать те решения, которые не будут свои грязные ручки опускать в вашу датку и использовать их для себя или слива другим игрокам. Все-таки доверие на основе privacy роляет.
Туда же пойдут решения в виде конструкторов агентов или платформ для вайбкодинга. Опять же, по аналогии с конструктором сайтов, вы сможете использовать алгоритмы, опыт и ресурсы компании, которая дает такой конструктор. Далее выгружать решение в виде готовой сборки или получить нужный код и т.п.
Данные заканчиваются, пора продавать свои – часть вторая, но... Биржа проприетарных или синтетических данных, может стать новой вехой развития. Вы можете продавать или качественную синту по апи или же очищенные данные компании, где используется свой алгоритм деперсонализации и т. п. Разумеется, большие корпорации и ит-гиганты обладают огромными массивами подобных данных, а многие из них уже давно продают такое по апи в обезличенном виде. В 2025г., когда скорость и объемы потребления данных для обучения моделей достигли уровня, что новые открытые данные не поспевают рождаться, подобные сервисы получат второе рождение.
Экономия должна быть экономной. Или агенты на службе домохозяйств. Появление агентов, которые уменьшают время провождения хозяек и хозяйственников в онлайн-сервисах покупок (и не только там). И это не пресловутые рекомендации и копайлоты для покупок, а полноценные AI-peaker агенты. Пикером называют ребят, которые собирают ваш заказ в условном METRO, но вы все равно тратите время на сбор корзины онлайн. А хочется, чтобы пользователь не тратил часы на сёрфинг корзин, а дал агенту задачу, бюджет и только возвращался, чтобы ответить на уточняющие вопросы или прожать покупку, проверив итоговую корзину. Более того, после холодного старта, такие решения смогут именно подстраиваться под вас и с каждой совместной покупкой, делать подборку более персонализированной именно под вас. Да, и уже сейчас системы рекомендаций и историю покупок можно использовать для таких ai-пикеров на холодную.
На покупках в магазинах мы не останавливаемся, ai-консъержи, ai-риелторы на платформах/классифайдах недвижимости и т.п. и т.д.
Список будет продолжаться... Кидайте свои идеи и соображения в комментарии.
👇👇👇👇👇
Знаком с Надей еще с 2017го и уже тогда она была заряжена сделать крутое AI-based решение. И, видимо, момент настал.
👇👇👇👇
Вспомним базу. Classic ML. Про скорость реакции, data driven зрелость, на примере оттока.
Сейчас в период стагнации и кризиса, многие компании, которые проспали уже вторую на моих глазах AI-революцию очнулись от сна. С одной стороны – высокий ключ, с другой – раздутый ФОТ, с третьей – неоптимальные процессы и т.п. приводят к желанию использовать волшебную таблетку в виде ML, и еще шире AI-решений. И вот побежали спящие красавицы и красавцы под лозунгом "мы старый мир разрушим, а на нем новый AI-based построим".
При этом у многих в умах есть заблуждение,что нужно иметь много данных и база клиента нужна широкая. Однако мы должны помнить,что нужен хороший etl. Т.е. над собирать, хранить и преобразовывать информацию и в удобном формате, ну или как потом стало популярным в ocean/lake и т. п. сливать в не плоском и полу сыром виде, но давать к этому доступ для всех специалистов которым эти данные нужны для принятия или поддержки принятия решений. Я работал в 2010х в месте, где все пересылалось эксельками и велись от руки журналы на бумаге. И чтобы такое оцифровать и положить в базюки, потребовался бы большой ресурс, но сделать бы это точно стоило. Т. к. данная компания впоследствии тоже захотела оседлать волну data driven и цифровой трансформации. Побежала так, что подсела на иглу одного erp гиганта так,что не дай матричный божЕ.
Как я уже сказал, мало иметь много данных, нужно чтобы из них чет было толковое для работы с моделями. Сырец над еще преобразовать, консолидировать для доступа специалистов: аналитиков, ds и тп. Т.е. тут не только etl процессы, но и к data driven культуре надо идти, а это большая трансформация. Преобразовать процессы как найма, так и работы, обновить тех.стек, закупить, возможно новое оборудование и т.п. и т.д.
Но, допустим, у вас все получилось и вот вы строите модели. Но толку от моделей, если вы не можете предложить принятие решений на их предсказании. К примеру, есть модель оттока, только если предскажем отточных клиентов, есть ли компании, что предложить,чтобы их удержать? И сколько нужно времени на то,чтобы эти операции по удержанию произвести? Какой ТТМ? А что если за это время все уже уйдут и т. п. Помимо игры с ценой и рекомендациями, есть бизнесы с долгим процессом преобразования предложения, например банковские продукты и услуги. И пока новый пакет из ограниченного числа услуг дашь, клиент уже убежит. Кстати, мне больше всего нравится, как с этим справляются телеком, на примере индивидуального тариф конструктора.
В общем, к чему я веду, порой нужно мыслить шире, как вокруг ML строится бизнес. Не бежать за модой и хайпом, если вы не готовы. Лучше сделать шаги к важным пререквизитам: data driven культура, процессы, кадры и т.п. И уже далее как вишенка на торте создавать ai-решения, но помня, как они могут принести пользу. Да есть примеры и немало, когда сначала были созданы ai-решения, а вокруг них строился бизнес. Да, да привет openAI и т.п. Но каков Ваш путь?
Sakana.AI опять. ALE Bench и ALE-agents.
Бенчмарк по решению сложных задач оптимизации: маршрутизации, планирования, в т.ч. NP-трудные.
Дядя уже говорил о том, что такие задачи нужны именно для развития reasoning свойств и проверки их эффективности, а так же coding, тк ахах никто не решает LLM это влоб, а генерит код алгоритмов или под спец. пакеты. Напомню, что помимо открытых задач, тут широкий простор для синтетики. И вот мы видим бенч.
Вдобавок, зарелизили агента, способного "решать" подобные задачи (в кавычках тк NP трудные задачи не все разрешимы за полиномиальное время).
Как обычно смотрят для NP-задач лучшее решение? Мы можем иметь уже забрутфоршенные задачи, где известно лучшее решение или решения. Для оценки награды используется, к примеру, метод идеальной точки - когда смотрим расстояние или отклонение до ее значения. Если интересно, см. методы дискретной оптимизации и методы многокритериальной оптимизации.
Про работу Sakana.AI смотрим ниже. 👇👇👇
Код. Блог. Датасет.
А теперь туда, дай матричный бог, LoRA адаптер влезет... Не то, чтобы ИИ-убивец...
Обученный на уничтожение Сары Коннор, конечно.
Нашли, чем хайповать, сыграли бы с AlphaZero.
Тут еще надо понимать,что модель ChatGPT и т.п., как оптимайзер не может нормально коммивояжёра решить на больше 10 городов, разумеется, без привлечения внешних вызовов солвера. Но на то, это и NP задачка.
Твои любимые крупы, теперь и с ризонингом.
Reasoning модель 24b от Мистралей.
https://huggingface.co/mistralai/Magistral-Small-2506
https://huggingface.co/mistralai/Magistral-Small-2506_gguf
Иллюзия мышления: сильные и слабые стороны моделей Chain-of-Thought
В след за Антропик яблочники показали свое исследование внутренностей моделей, на примере рассуждений.
Оно выявило ключевые проблемы современных языковых моделей с цепочками рассуждений (Chain-of-Thought).
Тестировались следующие задачи:
- Башня Ханоя (более 100 шагов)
- Логическая задача с волком, козой и капустой
- Комбинаторные головоломки
Основные выводы:
- Модели не осуществляют реальных рассуждений, а полагаются на память.
- Чем сложнее задача, тем менее вероятно правильное решение.
- Дополнительные шаги размышлений ухудшают результат. Часто простое решение заменяется ошибочным.
- Увеличение вычислительных ресурсов и числа токенов не улучшает итоговую производительность.
- Показательно, что популярная задача "башня Ханоя" решается успешно благодаря частоте встречаемости в датасетах, тогда как классические головоломки типа "волк-коза-капуста" приводят к провалу.
Верим ли мы Apple или личный опыт говорит об обратном?
Вообще-то уже XGBoost 3 вышел...
Юмор выходного дня.
Upd. В комментариях веселее, атас!)
Кто первый прогонит на ruMTEB, тот и молодец.
https://huggingface.co/Qwen/Qwen3-Embedding-0.6B-GGUF
Но уверен 0.8b FRIDA рвет все равно на ру, даже не ггуф версию qwen'ов.
Обновление памяти от OpenAI, опять. 💻
С 3 июня 2025 года бесплатная версия ChatGPT получила очередной обновление. Теперь ИИ-помощник сможет запоминать ваши разговоры и учитывать их в новых диалогах. Это значит, что теперь общение станет ещё более личный и осмысленным.
🔥 Вот что изменится:
- Бесплатная версия получит улучшенную кратковременную память. Ваш чат больше не забудет, о чём шла речь буквально пару дней назад.
- Пользователи версии Plus и Pro смогут насладиться глубокой долговременной памятью. Чат запомнит ваши прошлые предпочтения и интересы, чтобы сделать каждое взаимодействие особенным.
⭐️ Больше никаких повторений вопросов и пояснений контекста — ваш новый лучший друг готов поддержать разговор на любой стадии вашего пути.
Мое имхо как это работает:
LLM+long_context+саммаризация и усе , никаких функций колла с сложной механикой и тп структурами хранения. Есть файл куда пишет, лонг контекст позволяет LLM ходить туда сюда, сканить файл юзер и возвращать для использования в контексте.
Что для этого надо?
Хорошее не "тупое" LLM с нормальным ризонингом, и действительно большой и эффективный контекст. Все.
https://help.openai.com/en/articles/8590148-memory-faq
Кто найдет, где юзер зашит, молодец. 👇👇👇👇
Ток чур комментарии не читать.
Выступал сегодня на Conversation со своим докладом про Workflow LLM смстемы, обошел ребят и собрал их мнения и цитаты про RAG/LLM продукты под капотом
Соответственно ими хочу поделится в первую очередь
Спасибо
Паше
Саше
Ринату
Богдану
Илье
За дельные мысли (цитаты великих)
Собирать стиль из случайных покупок - все равно что пытаться составить осмысленное предложение из слов на холодильнике.
По отдельности интересно, но вместе не очень работает 😐
Aesty (Antler ‘24) - это Fashion OS: приложение, который помогает собрать стиль из того, что у тебя уже есть, и дополнить его тем, что действительно нужно. Получается связный, логичный гардероб, который работает как система и курируется приложением 🎧
В отличие от классических fashion-приложений, Aesty:
- Позволяет примерять и свои вещи, и новые — прямо на себе, в одном образе
- Показывает, что у тебя уже есть в гардеробе и как это сочетать друг с другом
- Строит образы под погоду, стиль и тренды
- Показывает, что действительно стоит докупить — с учетом твоего контекста, а не просто красивой ленты в пинтересте
С первого дня Aesty помогает иначе смотреть на гардероб не как на хаос, а как на стройную, понятную систему 😎
⌨️ Лаунч на Product Hunt: https://www.producthunt.com/posts/aesty-your-fashion-os/
будем рады поддержке 🤝
🎁 Только для PH:
Инвайт другу = обеим бесплатная примерка
Промокод: PRODUCTHUNT
Лайк, шэир, репост очень привествуются! 😎
Число постов в канале упало не просто так (о, великий султан, на то была тысяча причин).
И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром.
Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий.
Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent
Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее.
Если вдруг кто захочет поучиться — есть промокод, datarascals
для любителей рекомендашек комьюнити сорева с призовым фондом 10K$
https://www.kaggle.com/competitions/aeroclub-recsys-2025/overview
много данных, понятная метрика, возможно подходит что-то из SOTA из недавно прошедшего avito.tech:
В решении команда использовала передовые (SOTA) подходы:
🔘EASE-DAN: Свежая и мощная версия линейного автоэнкодера для извлечения коллаборативного сигнала.
🔘SASRec (RePlay): Для извлечения позиционного сигнала последовательностей действий.
🔘Экспериментальный лосс Barlow Twins: Примененный к SASRec, этот новый подход, представленный в этом году на главной мировой конференции по рекомендательным системам ACM RecSys 2025, помог улучшить результаты.
ruMTEB,
по mean (Task) между e5-large-instruct и jina-embeddings-v3
(С)
Крч, король не побежден.
Делай легче, делай играюче, text-to-lora, кайфуй!
Зачем учить свою LoRA, когда можно взять инвайт и просто добавить воды описание задачи и получить адаптер без обучения. На самом деле за один forward pass и предварительным обучением гиперсети. Но на инфере действительно за один прямой проход. Sakana.ai снова удивляет.
Работает это при помощи того, что мы берем выходной эмб с модели cls emb для энкодера или last token emb для LLM. Далее инитим гиперсеть случайно (по типу LoRA). После проносим через это опорный эмб с базовой модели и добиваемся, чтобы на выходе из мета-сети получить консистентые отображения. Также используется принцип mutual learning, чтобы обмениваться с LoRA учителя градиентами, как по скрытым состояниям, так и по выходу вероятностей. Т.е. происходит и шеринг весов и дистилляция модели учителя.
Задача тут в том, чтобы получить сеть, которая может порождать LoRA веса схожие с весами учителя и не терять task specific. Скормлено в таком сетапе сотни известных и популярных адаптеров и связанных с ними задач. Авторы так же отмечают трансфер и на unseen задачи. Т.е. обещают свойства out of domain трансфера.
Интересное. Над пробнуть.
https://mistral.ai/static/research/magistral.pdf
Еще сделали до кучи репорт, советую почитать. Идея с fasttext в награде,чтобы не скакал по языкам топ. Можно попробовать приладить к инференсу.
Немного про термин LLM "обучается".
Пост для тех подписчиков канала, кто не из AI/ML среды.
Бываю на конференциях и общаюсь с людьми, слежу за вопросами из зала.
И вот ребята говорят: "Мы вот дали доп контекст в модель и она обучилась и стала лучше работать". Ребят это не обучение модели, это вид промптинга. Обучение модели подразумевает изменение ее весов и процедуру обучения определенными программными и аппаратными средствами, скармливанию данных при этом в этот процесс. Это делаете не Вы, это делают специалисты.
Пожалуйста, не говорите, что если Вы в промпт чет добавили, аля пару примеров как решать подобные задачи, что Вы обучили модель. Вы не обучили ее, вы ей подсказали направление "мысли".
Все. Завтра буду на true tech day не дай матричный бог услышу такое...
Баян, но скоро будет актуальненько...
Спасибо подписчику за подгон.
Если отвлечь синьора и дизайнера, то, кажется, можно даже понятно нарисовать как SASRec учится. Интересно, получится ли с моделями поновее и побольше -- HSTU и FUXI-alpha 🤔
Читать полностью…
🔥 Интернет-королева возвращается: 340 страниц об AI, которые взорвали Кремниевую долину
Легендарный аналитик Мэри Микер, автор культовых отчетов о трендах интернета, спустя 6 лет выпустила новый масштабный доклад — на этот раз об искусственном интеллекте. 340 страниц данных, прогнозов и провокационных выводов.
Главный вывод: ИИ-революция уже необратима, и мы находимся в точке "сингулярности".
📌 Основные тезисы:
- AI-революция необратима: В отчете 51 раз встречается слово "беспрецедентный"
- Китайские модели дешевле в 500 раз (ERNIE 4.5 Turbo vs GPT-4.5)
- Индия — неожиданный лидер по числу пользователей ChatGPT (13.5% от мирового трафика)
💸 Пузырь OpenAI?
Микер прямо называет оценку компании ($300B) "сильно завышенной":
→ Выручка OpenAI: $9.2B/год
→ Оценка/Выручка = 33x (у Perplexity — 75x!)
🔧 Технические детали
• Энергопотребление Blackwell GPU в 105 000 раз ниже аналогов 2014 года
• DeepSeek-R1 почти догнал OpenAI (93% vs 95% в MATH Level 5)
🌐 Главный тренд будущего
Следующие 1 миллиард пользователей пропустят этап приложений и сразу перейдут к AI-ассистентам через голосовые интерфейсы — особенно в регионах с низким интернет-покрытием.
🔮Вывод: "Нынешние лидеры ИИ могут повторить судьбу AltaVista. Единственное, что точно известно — мы в начале нового суперцикла технологий."
Полный отчет: BOND Capital AI Report 2025
Краткий обзор в китайской статье
#КитайскийИИ #КитайAI #ИИтренды #OpenAI #TechАналитика