Меня зовут Андрей Кузнецов Директор лаборатории FusionBrain в AIRI, один из фаундеров моделей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87 Linkedin: https://tinyurl.com/y96nmmdd
🔥 Внимание, AI-энтузиасты! 🔥
Ребята из нашей лаборатории FusionBrain запускают несколько топовых исследовательских проектов в рамках конкурса научных проектов МГУ! Если мечтаешь вкатиться в AI Research, прокачать свои навыки и поработать над крутыми задачами — это твой шанс!
📢 Темы исследований:
- Text-to-Image/Video Diffusion Models
- Large Language Models (LLM)
- Vision-Language Models (VLM)
- 3D perception/reconstruction
👩💻 Кто может участвовать?
Студенты и выпускники технических вузов, готовые погрузиться в мир передовых технологий и внести свой вклад в развитие науки.
📌 Как принять участие?
1. Заходи на сайт: ссылка
2. Выбирай проект, который тебе по душе
3. Заполняй анкету с сайта
4. Отправляй заявку на почту: a.mezentseva@intellect-foundation.ru
📅 Дедлайн: до 23:59 (МСК) 26 мая 2025 года.
Не упускай возможность — вливайся в мир AI, работай с крутыми задачами и прокачивайся вместе с нами! 🔥
⚡️Вчера ByteDance выпустил новую супер модель Bagel, которая базируется да трансформере декодере и решает широкий спектр задач понимания и генерации мультимодальных данных (картинки, видео). Модель умеет как понимать разные модальности, так и генерировать их и вносить изменения (например, редактировать картинку по текстовой инструкции)
Архитектурно это MoE архитектура с двумя типами экспертов: Understanding и Generation. В опен сурс выложена 7B модель.
Модель обучена на нескольких триллионах токенов (отдельная часть исследования посвящена росту качества от увеличения числа токенов на обучении для визуальных генеративных задач), которые включают очень разнообразные задачи: от описания изображений до видеороликов, сопровождаемых траекториями движения. Также проработан механизм подробной фильтрации данных (UI removal, контроль разрешения и др.). Это позволяет насытить модель большим разнообразием потенциальных задач, обученных на чистых данных. Что интересно, у модели прокачаны и способности к рассуждениям (thinking mode inside💪).
Статья
Hugging Face
P.S. Обязательно изучаем и дружим с Cursor😉
Вместе с коллегами из TRASSIR успешно завершили первый этап исследования возможностей мультимодальных моделей в задачах видеоаналитики📷
Основная цель проекта — создание системы, способной эффективно выявлять случаи краж товаров в торговых точках с минимизацией ошибок. Мы использовали мультимодальные модели, работающие в zero-shot-режиме, чтобы снизить количество ложных тревог и повысить точность выявления подозрительных ситуаций без специального дообучения модели.
Улучшения:
⚫️Механизмы рассуждения, позволяющие лучше распознавать сложные действия (например, "взятие+возврат" товара)
⚫️Детализация эпизодов интереса для более точного анализа коротких событий
⚫️Поддержка потокового видео с учётом длинного временного контекста
➡️Будущие проекты предусматривают использование мультимодальных моделей для оценки соблюдения стандартов общепита: анализ аудио на предмет соблюдения речевых скриптов персоналом, контроль за соблюдением санитарных норм, детекцию нарушений, связанных с условиями допродаж и чистотой помещений.
Эта неделя насыщена деловыми поездками, делюсь с вами.
📌Первый пункт назначения был вчера — международная конференция IEEE USBEREIT 2025 в Екатеринбурге. Целью конференции являлось объединение исследователей и практиков из различных областей науки, включая радиоэлектронику, информационные технологии, биомедицинскую инженерию и другие.
Я выступал с докладом по генеративному проектированию в области строительства и промышленного производства. Это направление активно развивается в рамках деятельности лаборатории FusionBrain и вызывает интерес как у научного сообщества, так и у представителей бизнеса. После доклада присоединился в качестве эксперта к круглому столу про применение и развитие современных технологий ИИ в образовании.
📌Следующая остановка — Казань!
Приглашаю вас на мое выступление на Data Fest в Сбере 30 мая ✨
Будем говорить про генеративное проектирование в архитектуре, новые горизонты возможностей для творчества и инженерии 🤖
Подключайтесь к онлайн-трансляции в сообществе Сбера в VK или приходите на мероприятие, если вы в Москве!
Чтобы прийти очно, необходимо зарегистрироваться ➡️ вот тут
Поздравляю всех с великим праздником — С Днём Победы⭐️
Вечная память всем героям, которые отдали жизнь ради счастья и спокойствия будущих поколений! Мы будем нести историю из поколения в поколение🙏
Желаю всем мира и добра!🕊️
Коллеги из Сбера ищут человека, который будет организовывать и проводить хакатоны по искусственному интеллекту в онлайн и оффлайн форматах 👋
Кандидат будет управлять всеми этапами подготовки мероприятия — от разработки концепции и привлечения участников до контроля качества исполнения и анализа результатов.
Что предстоит:
☑️Разработка концепций и реализация хакатонов
☑️Подбор и координация команд разработчиков
☑️Юридическое сопровождение и подготовка документов
☑️Запуск рекламы
☑️Организация церемоний награждения, анализ обратной связи
Что ждут от кандидата:
☑️Опыт проектной деятельности и организации мероприятий
☑️Понимание правовых норм и опыт работы с документацией
☑️Коммуникабельность и умение вести переговоры
☑️Хорошее знание инструментов и методов управления проектами (Agile/Scrum)
☑️Английский язык для общения и понимания технических материалов
☑️Желательны базовые знания AI и ML
Присылайте резюме @vladalogunova и приходите делать крутые проекты в Сбере вместе 😼
Коллеги из Сбера опубликовали на Хабре кейс: «Как мы научили GigaChat слышать».
Из главного, для повышения качества распознавания перешли на end-to-end архитектуру вместо связки ASR + LLM. И если раньше голосовой запрос шёл через распознавание речи и преобразование в текст, то сейчас GigaChat Audio сразу распознаёт речь. В side-by-side сравнении на 1200 диалогах набрал 0,68 против 0,32 у прежней схемы. Вместе с этим увеличилась и длительность контекста до 170 минут аудио в одном запросе.
Новый GigaChat Audio достиг уровня GPT-4o. Субъективная оценка диалоговых возможностей на русском языке состояла из семи критериев: общее впечатление, красота, грамотность, следование system, контекстность, полезность и фактология.
Протестировать слух нейросети уже можно в веб-версии giga.chat и в боте @gigachat_bot.
Обращаюсь ко всем потенциальным участникам школы👨🎓👩🎓
Если вы:
📍испытываете экзистенциальные муки выбора (подаваться или нет)
📍сложности с выполнением задания (так делать или иначе)
📍любые другие сомнения относительно летней школы
Вы можете задать свой вопрос прямо внизу в комментариях и получить на него ответ👇👇👇
И помните, «не бывает глупых вопросов — бывают глупые ответы» (не в этом случае, надеюсь)😅
Head of FusionBrain Lab (Andrey Kuznetsov) meets co-lead of VGG group at University of Oxford (Andrea Vedaldi)
Читать полностью…Head of FusionBrain Lab (Andrey Kuznetsov) meets Head of Google Research (Yossi Matias)
Читать полностью…Приглашаю вас на открытую лекцию от DeepSchool, чтобы разобраться в одном из ключевых вопросов: есть ли жизнь после релиза?
После запуска модели работа не заканчивается. Начинаются новые испытания: модель деградирует, количество новых пользователей растёт, а для эффективной поддержки у команды нет лишних рук. Важно заранее предугадывать, где и что может пойти не так.
На лекции узнаете:
▶️как в реальности выглядит цикл жизни CV-модели
▶️как выстраивать поддержку: что можно автоматизировать, а что — нет
▶️как следить за качеством модели: дрифты, аутлаеры, шум, ключевые метрики
▶️какие есть подходы для автоматизации мониторинга модели
▶️и спроектируте возможное решение на примере реальной задачи
Также все участники лекции получат программу курса CV Rocket и скидки на обучение 📕
Обо всём этом расскажут:
⏩Анастасия Старобыховская — руководитель CV-направления НЛМК ИТ
⏩Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer, KoronaPay
Регистрируйтесь по ссылке и подключайтесь 24 апреля, четверг, 18:00 МСК.
В ожидании новой модели синтеза видео…
Поделюсь новостями, как выйдет подробная информация📝
Продолжаем тренд. Теперь делаем анимацию😉
Промпт для Image2Video (Kling 1.6) в комментариях👇
Очень люблю разные визуализации риалтайм событий. Раньше в Самарском универе делали онлайн карту движения гор транспорта на модном тогда HTML5, когда Яндекс.Транспорта ещё не существовало. Тогда же появилось приложение мобильное "Прибывалка-63" и онлайн можно было посмотреть каждый автобус, трамвай и троллейбус (это к слову были 2012-2013 г.г.!). А в конце января 2025-го пришли какие-то персоны из деп транспорта и под какими-то не особо обоснованными предлогами доступ к данным закрыли и сервис с приложением перестали радовать жителей Самары...
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
Хочу познакомить вас со своим другом, Артёмом Арюткиным, руководителем продуктового офиса, который делает платформу для разработчиков в Яндексе.
На своём канале Артём рассказывает о построении масштабируемых сервисов, обеспечивающих надёжность работы для миллионов пользователей, о современных методиках управления продуктом и принципах эффективной коммуникации:
🔹 как решать проблемы
🔹 какие вопросы задавать нанимающему менеджеру
🔹 как гарантированно выгореть (лучше не надо!)
🔹 нужно ли продакту уметь в техничку
Подписывайтесь и исследуйте мир редких зверей — technical product manager’ов 😎
МТС приглашает разработчиков на масштабную ИТ-конференцию True Tech Day 6 июня. Участие бесплатно
Ключевая тема конференции в этом году — искусственный интеллект. Тебя ждут доклады ученых, выступления зарубежных спикеров по AI и экспертов крупных ИТ-компаний.
В программе:
— 4 трека и больше 40 докладов.
— Выступления зарубежных спикеров с индексом Хирша более 50.
— Концентрация практических кейсов: как создаются большие ML-проекты.
— Доклады по архитектуре, бэкенд-разработке и построению ИТ-платформ.
— AI-интерактивы и технологические квесты.
— Пространство для нетворкинга,
…а еще after-party со звездным лайн-апом.
Когда: 6 июня
Где: Москва, МТС Live Холл и онлайн
Участие бесплатно. Регистрация по ссылке.
📌Второй пункт — Казань!
Вместе с Университетом Иннополис мы запустили новую лабораторию мультимодального генеративного ИИ!
Сегодня, на XVI Международном экономическом форуме «Россия — Исламский мир: KazanForum», состоялось подписание соглашения заместителем директора по развитию цифровых проектов российского ИТ-вуза Алексеем Павловым и генеральным директором Института AIRI Иваном Оселедцем.
Мне выпала честь возглавить новую лабораторию. Вместе с Директором Института ИИ Университета Иннополис Рамилем Кулеевым будем заниматься сведением ресерч инициатив лаборатории и продуктовых запросов от бизнеса с прицелом на повышение качества, а также поиском новых решений с помощью мультимодальных моделей. Задачи новой лаборатории связаны с треками лаборатории FusionBrain, AIRI, что усилит научные проекты и повысит эффективность команд.
Начало положено✔️
Если вы студент, аспирант, постдок Иннополиса с опытом работы с языковыми, мультимодальными моделями, увлечены темой генеративного ИИ, присылайте мне @kuznetsoff87 своё резюме!
Стал доступен первый российский AI-сервис для создания 3D-моделей — Kandinsky 3D 🚀
За считанные минуты сервис генерирует детализированные 3D-объекты по текстовым описаниям или входным изображениям. На выбор несколько поддерживаемых форматов: STL, OBJ, FBX, GLB и USDZ.
Kandinsky 3D также поможет оптимизировать процессы генеративного проектирования и промышленного дизайна. Нейросеть создаёт полигональные модели, совместимые с профессиональными системами автоматизированного проектирования (САПР).
Протестировать модель можно здесь, подключить API здесь.
⚡️Sakana AI продолжает свой путь в развитии bio inspired архитектур нейронных сетей. Свежий утренний релиз нового типа моделей - Continuous Thought Machine
Ключевой особенностью новой архитектуры - механизм синхронизации нейронов, где каждый нейрон - это набор весов или мини-нейронка со своей памятью состояний. Как результат - говорят о росте способности к рассуждениям или reasoning, что сейчас является очень важным направлением развития фундаментальных моделей.
Детально тут👇
Paper: https://pub.sakana.ai/ctm/
GitHub: https://github.com/SakanaAI/continuous-thought-machines
@complete_ai
2025 год. Международная конференция NAACL 2025. Место проведения — Альбукерке, США. Представление работы, когда никому из авторов не дали визу🤪
Пояснение: это некоторая виртуальная площадка как в онлайн стратегии, где ты ходишь между постерами и можешь к любому подойти, рассмотреть его и собственно поговорить с презентующим о его исследовании или просто посмотреть постер.
Так и живём😉
Мы с командой делали сервис по реставрации и колоризации фотографий для Бессмертного полка💪
Поэтому, если у вас есть фото ваших героев, то можете внести их вместе с краткой информацией до 6 мая на сайте👇
https://2025.polkrf.ru/
Фото дедушки получилось очень красивым!
Ванильный RAG не работает. Как исправить?
RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Но несмотря на популярность его внедрение часто сопровождается проблемами: система выдает недостоверные ответы, делает поверхностные выводы или вообще молчит. Причины разнообразны: эмбеддинг теряет суть запросов, поиск пропускает важные документы, генератор не справляется с обработкой контекста.
В эту среду DeepSchool проведёт открытую лекцию, на которой коллеги разберут, как в этой системе навести порядок✔️
На лекции вы узнаете:
🟢почему ванильная схема "ретривер + генератор" почти никогда не даёт нужного качества
🟢с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
🟢какие задачи приходится решать, чтобы RAG действительно работал
🟢как из разрозненных компонент собрать надежный RAG-продукт
На лекции также будет представлен курс LLM Pro, где вы сможете научиться создавать эффективные AI-решения. Всем участникам лекции — скидка на обучение!
📎Регистрируйтесь по ссылке и подключайтесь 30 апреля в 18:00!
До закрытия приёма заявок на школу по искусственному интеллекту «Лето с AIRI» в ТГУ — всего 4 дня!
Все лекции и семинары прошлого года доступны в VK Видео — загляните, чтобы почувствовать атмосферу Школы и вдохновиться на участие.
Подавайте заявки по ссылке до 29 апреля 23:59📌
21 апреля в AIRI мы организовали крупнейший в России семинар по генеративному проектированию ⤵️
Более 100 участников руководителей и представителей департаментов проектирования крупнейших строительных компаний и промышленных предприятий собрались на площадке AIRI. Магистральная команда AIRI и Сбера со своей стороны поделилась текущими результатами создания передовых методов для автоматизации задач проектирования в строительстве и инженерии, получив в завершении важную положительную обратную связь и новые предложения о сотрудничестве.
Основные темы дискуссии
⚫️Автоматизация процессов в строительстве и архитектуре, синтез BIM моделей, квартирография и создание дизайн проектов по текстовым описаниям
⚫️Применение генеративных моделей в промышленности при создании 3D моделей изделий
⚫️Реверс-инжиниринг и восстановление CAD-моделей
Отдельно поговорили о разработке AI-помощников для контроля качества, оптимизации расходов и онлайн-мониторинга реализации проектов на стройке. Обсудили внедрение 3D-технологий в производство — например, как восстанавливать сложные детали на базе облаков точек.
Мы также сделали фокус на прикладном применении наших решений и создании плагинов для широко используемых продуктов (Компас-3D, Autodesk Revit). Важно отметить, что команда генеративного проектирования достаточно молодая — трек стал активно развиваться с сентября 2024 года, хотя экспертиза в GenAI накоплена уже существенная. При этом сам трек в бОльшей степени ориентирован на прикладную пользу для решения реальных задач строительства и промышленности. Side эффект в виде научных публикаций, конечно, станет приятным дополнением!
Генеративное проектирование поможет сделать производство эффективнее:
📍сократить сроки реализации проектов
📍снизить риски пропуска ошибок на этапе проектирования
📍упростить выполнение ряда задач, а некоторые полностью заместить работой AI-ассистента.
Для российской экономики такие инструменты — важная часть в плане конкурентоспособности предприятий на мировой арене. На пути много вызовов, и мы к ним готовы💪
📍На этой неделе я решил посетить конференцию Machines can see 2025, пока большинство моих коллег поехало на ICLR. Довольно интересные дискуссии происходят, много внимания уделяется прикладным задачам, которые можно решать на базе VLM/LLM.
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
Отметили четырёхлетие Института!
Все сердца AIRI сегодня — для вас ❤️
Не участвовал в разработке Llama 4 — можно рассмотреть резюме😅
Спасибо @data_secrets за весёлый инсайт
Все в тренде, а я чем хуже😅
Промпт в подарок в комментариях 👇
до меня долетела статья с Хабра про то, как человек тестирует LLM на общении в Тиндере на предмет того, как быстро собеседник поймет, что с ним разговаривает бот; при этом, по всей видимости этот гражданин не знает о существовании теста Тьюринга
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5; ссылка на Хабр