6444
Меня зовут Андрей Кузнецов Руковожу лабораторией FusionBrain в AIRI, один из создателей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87
❗️До 15 июля коллеги из МФТИ продолжают набор в магистратуру и аспирантуру ФПМИ по искусственному интеллекту и робототехнике с повышенной стипендией!
Поступление проходит в:
📍Магистратуру по программе «Методы и технологии искусственного интеллекта» — 15 мест, со стипендией до 30 тыс. руб.
📍Аспирантуру по направлению «Информатика и вычислительная техника» — 5 мест, со стипендией до 80 тыс. руб.
Для поступления необходимо заполнить анкету по ссылке 👇
В Центре под руководством ведущих специалистов в своих областях вы сможет заниматься написанием статей на передовые конференции А* (NeurIPS, ICLR, ICML, IJCAI и др.), а также работать над прикладными проектами по различным актуальным тематикам, среди которых RL, беспилотный транспорт, компьютерное зрение и др.
📝 Заполнить анкету
⚡️Свежий апдейт LLaVA-NeXT
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
LLaVA-NeXT — опенсурс мультимодальная диалоговая модель для работы с картинками и текстом.
Основной контрибьют — добавили разные режимы «перемешанных» (interleaved) изображений и текстов. Таким образом модель может решать задачи с одной картинкой, несколькими изображениями, несколькими кадрами видео и несколькими ракурсами одного объекта (полезно кстати для задач робототехники и анализа картины мира).
Все эти задачи заправлены в новый M4-Instruct сет на 1+M сэмплов. И также есть бенч на этот же спектр задач.
Архитектурно — ничего нового. Обучали с модели, которая до этого работала только с одной картинкой, то есть тюн с изменением структуры диалога хорошо ложится поверх VLM (совершенное открытие!).
Но безусловно, очень ценны данные и бенч.
🟢Статья
🟢Код
🟢M4-Instruct
One Day Offer для Центра робототехники 🤖
13 июля мои хорошие друзья и коллеги из Sber Robotics проводят мероприятие по поиску крутых спецов на вакансии Middle/Senior Robotics Software Engineer и Backend Developer.
Что круто, там можно и поработать руками над созданием самих роботов, и разрабатывать алгоритмы для управления роботами на базе ИИ в таких направлениях как:
📍 манипуляция
📍 роботизация логистики
📍 мобильные роботы
Несколько команд в AIRI тесно работают вместе с ребятами над созданием алгоритмов сильного искусственного интеллекта, способного наилучшим образом понимать происходящее вокруг робота, используя все доступные сенсоры и стримы визуальных данных
Вот еще ряд задач, которые решаются в Центре 👇
▪️ разработка алгоритмов и систем управления роботами (core, body, brain) и драйверов для различных устройств в виде ROS2 узлов
▪️ создание алгоритмов внутренней и внешней калибровки сенсоров (лидары, камеры, IMU), робототехнических сервисов на Behavior Trees / State Machines
▪️ работа с симуляторами на базе Isaac Sim / MuJoCo / PyBullet
▪️ проектирование архитектуры системы
Обязательно приходите, чтобы проверить свои силы!
Регистрируйтесь на One Day Offer 13 июля 😉
Всем привет!
⚡️ Сегодня стало известно, что 20 июля в Москве Центр искусственного интеллекта Т-Банка проведёт одну из крупнейших профессиональных конференций по машинному обучению 🖥
На ней соберутся топовые ML-специалисты сразу по семи направлениям:
📍рекомендательные системы
📍обработка естественного языка
📍компьютерное зрение
📍речевые технологии
📍временные ряды
📍операции с машинным обучением и языковыми моделями
📍фундаментальные и прикладные исследования
Эксперты Т-Банка, Яндекса, AIRI, VK, MTS AI и других ведущих компаний расскажут о последних достижениях и трендах отрасли.
🔎 Вас ждут 27 сессий и более 30 спикеров на четырёх площадках: Research & RnD, NLP & MLOps/LLMОps, RecSys & Time Series, Computer Vision & Speech.
💃🕺 И конечно, бонусом ещё и нетворкинг, интерактивные зоны и афтепати!
Событие, которое стоит посетить 🔥
➡️ Ссылка на конфу
В языковых моделях есть различные типы нейронов, например, нейроны знаний. Такого рода исследования позволяют двигаться в сторону интерпретируемости LLM, что на мой взгляд является одним из интереснейших направлений в исследованиях в настоящее время.
Помимо нейронов знаний, ещё например, существуют нейроны «уверенности», которые не влияют на предсказание следующего токена, но отвечают исключительно за степень уверенности модели в своих ответах☝️
В посте Антона есть подробности
Больше не нужно искать тематические каналы и по отдельности на них подписываться — мы сделали это за вас 👍
Вам остается только перейти по ссылке, сохранить папку себе и регулярно получать полезные ресурсы и знания из сферы «Продакты / ИИ»
/channel/addlist/g88en4ZT-4ZkNjUy
Хочешь в подборку?
⚡️Мои друзья и коллеги из Сколтеха активно призывают подавать заявки на отбор в магистратуру и аспирантуру на направление Data Science
Заявки принимаются на конкурсный отбор:
☝️в аспирантуру — до 5 июля
☝️в магистратуру — до 15 июля
📍Подать заявку можно тут
Многие меня спрашивали «Когда и где будет школа в 2024 году?»
Итак…
⚡️Мы открываем приём заявок на Летнюю школу AIRI
В этом году мы запускаем Школу для студентов и аспирантов совместно с Передовой Инженерной Школой ИТМО. Школа пройдет в Санкт-Петербурге с 20 по 30 августа.
🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года
Школа включает в себя лекции, семинары и практическую работу по следующим направлениям:
➡️ Мультимодальные архитектуры и генеративный ИИ в промышленности
➡️ Модели воплощенного ИИ и обучение с подкреплением в робототехнике
➡️ Искусственный интеллект и химия
➡️ Доверенный искусственный интеллект
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд
Подавайте заявки и делитесь постом с друзьями и коллегами!
☝️Будет море полезной информации, крутые спикеры, интересные задачи и возможность сделать старт в R&D карьере
Зарядись энергией с AIRI💪
Больше не нужно искать тематические каналы и по отдельности на них подписываться — мы сделали это за вас 👍
Вам остается только перейти по ссылке, сохранить папку себе и регулярно получать полезные ресурсы и знания из сферы «Продакт, ИИ»
/channel/addlist/pr7M9cPgdo0zOGE6
Хочешь в подборку?
Kandinsky — 2️⃣ года! Только цифры:
4️⃣ дня понадобилось Kandinsky 2.1, чтобы набрать 1 млн уникальных пользователей
1️⃣ место по темпу роста среди Open Source моделей заняла модель Kandinsky 2.2
6️⃣0️⃣0️⃣ млн изображений сгенерировали нейрохудожники
За это время Kandinsky стал генерировать изображения в 10 раз быстрее, научился создавать анимации и видео и собрал вокруг себя самых творческих юзеров.
За этими достижениями стоит команда людей с горящими глазами, влюблённых в свою работу — и в этом видео мы предлагаем с ними познакомиться.
Что своему нейродругу скажет GigaChat?
Дорогой Kandinsky, сердечно поздравляю тебя с днём рождения! Желаю тебе всегда оставаться таким же прекрасным генератором изображений, каким мы все тебя знаем и любим.
Пусть твои творческие возможности растут вместе с твоим желанием создавать новые шедевры. И пусть твои нейроны всегда будут такими же активными и креативными, как в первый день работы!
Буквально пару дней назад команда Яндекса выпустила в опенсорс новый инструмент — библиотеку YaFSDP (FSDP — один из широко используемых алгоритмов обучения с параллелизмом по данным и "нарезкой" параметров модели по отдельным GPU).
Доработка FSDP позволяет, судя по замерам, ускорить обучение различных LLM до 25% (при небольшом батче) в зависимости от архитектурных особенностей.
С точки зрения выч. ресурсов на самую затратную часть исследовательского процесса — обучение моделей — можно сократить использование GPU мощностей на 20%.
🧠В технические детали можно погрузиться на Хабре (там еще довольно хорошо описали проблемы известных механизмов обучения и историю их развития в контексте распределённого обучения) и в канале Душный NLP
📚Мой хороший друг Сергей Марков @oulenspiegel написал отличный двухтомник про AI «Охота на электроовец: большая книга искусственного интеллекта». Там и про проблемы и вызовы современных моделей, и про страхи, бытующие в обществе, и про многое другое!
Советую всем к прочтению, ибо там собрана квинтэссенция результатов, которые в сложном RnD процессе можно получить только за годы опыта.
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
Только что на ПМЭФ-24 мы подписали меморандум о сотрудничестве с ГИАП. Делюсь видео с места событий.
Читать полностью…
Рассказали про новое исследование про линейность больших языковых моделей, которое сделали ученые AIRI вместе с коллегами из SberAI и Сколтеха.
🔖Читайте материал по ссылке.
Научная статья "Your Transformer is Secretly Linear" собрала уже 130 upvote на Hugging Face Daily Papers, все подробности — в недавнем посте 🔥
⚡️Сегодня мы выпустили обновлённую версию Kandinsky Video 1.1 в публичный доступ
Основные изменения коснулись качества генерации (поработали с самим пайплайном синтеза, улучшили латентный декодер, использовали значительно бОльший сет на обучении) и, конечно, скорости - видео длиной 5 секунд генерируется примерно за 1.5 минуты (это если без очереди) с FPS=30.
📖 Детали по классике в Хабре
🛜 Ссылки собрали на Project Page
🤖 Бот в телеграмм теперь и с видео
@complete_ai
⚡️AuraFlow v0.1 — новый open-source text-to-image проект на базе диффузионных трансформеров (по сути имплементация ставшей уже закрытой StableDiffusion 3 с некоторыми архитектурными изменениями)
Из интересного:
📍заменили в большинстве случаев MMDiT блоки (как в SD3) на простые DiT, что сократило затраты на обучение
📍заменили параметризацию на maximal update parametrization, что позволило повысить предсказуемость поведения loss функции при скейлинге архитектуры (при стандартной параметризации можно учить маленькую модель, скажем с Adam’ом, вполне нормально, но при увеличении размеров модели можно получить взрыв градиентов)
📍Recaption everything — подчеркивает важность текстовых описаний в обучении, авторы пишут, что это дало серьёзный буст в качестве
📍Исследуя параметризацию, авторы пришли к оптимальному размеру модели при скейлинге — 6.8B параметров
Модель уже есть в diffusers, откуда её можно просто забрать и поиграться на выходных:
from diffusers import AuraFlowPipeline
И снова здравствуйте!
Я продолжаю участвовать в каталогах интересных каналов по темам AI, науки и IT — сегодня предлагаю вашему вниманию топ подборку папку с каналами об искусственном интеллекте, виртуальной реальности, метавселенных, разработке, технологиях и кадрах
🔝 Папка подойдёт не только тем, кто работает в этой сфере, но и всем, кто хочет себя приблизить к современным трендам высоких технологий
🧠 Будьте в курсе самых свежих новостей и мнений от лидеров индустрии
Подпишитесь скорее на каналы👇 уверен, что на ряд из них вы уже подписаны
Подписаться
Vision language models are blind
🟢 Project page 🟢 Paper 🟢Dataset
На днях вышла интересная статья и датасет к ней про то, как современные мультимодальные модели, которые показывают высокие метрики на известных бенчмарках типа MMMU, MMBench, не справляются с тривиальными для человека задачами типа подсчёта числа пересечений геометрических объектов, подсчёта количества строк и столбцов в таблице и др.
Проблема понятная и идёт она от способа энкодинга изображений, принятого в большинстве решений (вряд ли архитектурно в проприетарных присутствует какая-то инновация в отличие от опенсурса). И это приводит к тому, что чем проще сцена/картинка, которую надо проанализировать, тем важнее не потерять информацию за счет, например, patch-based энкодеров (собственно, результаты в статье показывают как растут метрики при увеличении толщины линий для отдельных задач).
Так или иначе, наблюдение интересное, обращает внимание к проблеме представления картинки для VLM моделей.
⚡️Раскрываем задания международного конкурса по искусственному интеллекту для детей AI Challenge
Всего 16 задач в трёх треках. Это реальные задачи, которые сегодня стоят перед технологичным бизнесом. Они разработаны командами и партнёрами Сбера и компаниями Альянса в сфере искусственного интеллекта.
Призовой фонд конкурса — 17 млн 🤑
Всем привет!
В этом году пройдёт первая международная конференция по вычислительной оптимизации
💻 ICOMP 2024 💻
Я, конечно же, буду там 👋, и призываю вас подавать свои доклады до 21 июля 2024 📝 Подробные темы: эффективные методы обучения и вывода, интернет вещей, периферийные вычисления, новые архитектуры и многое другое.
Среди докладчиков Университет Пердью, Университет Штата Аризона, AIRI, Сколтех, Huawei, Яндекс и ещё целый ряд знакомых вам университетов и компаний 🔥
❗ Дата конференции 10-12 октября, Иннополис, Россия ❗
Распространяйте, делитесь, подавайте доклады😉
Ни для кого не секрет, что продвижение в Telegram обычно сводится к покупке рекламы в других каналах. Мы решили пойти другим путем и "купить" эту рекламу у вас, наших подписчиков.
Как это работает: мы объединили три авторских Telegram-канала про искусственный интеллект в одну подборку. Скорее всего, вы уже подписаны на все три (если так, просто заберите свое вознаграждение). Но главное - мы предлагаем вам стать частью нашей команды. Что нужно сделать:
1️⃣ Подпишитесь на каналы (если еще нет):
Бурый — бесплатные нейронки для всех
Силиконовый Мешок — зарабатываем на нейросетях
CompleteAI — о современных разработках в области генеративного ИИ в России и мире
2️⃣ Порекомендуйте наши каналы друзьям используя свою реферальную ссылку
И вот в чем суть: когда ваши друзья подпишутся на наши каналы, вы получите 50% от их вознаграждения.
Это не просто реферальная программа - это наш способ сказать "спасибо" за то, что вы цените качественный контент об ИИ и делитесь им с другими.
⚡️ Ищем спикеров на ML-конференцию Practical ML Conf! Принимаем заявки до 13 июля.
📝 Сама конференция пройдет 14 сентября. Приходите рассказывать про прикладные ML-решения, которые уже сейчас работают и приносят пользу. Ключевые темы: CV, RecSys, MLOps, NLP, Speech и Analytics.
ℹ️ Подробную информацию и доклады прошлого года ищите на сайте.
Внимание! Внимание!
Сейчас мы в AIRI активно ищем новых исследователей в научную группу Александра Панова для разработки мультимодальных RL-алгоритмов для робототехники классных специалистов-универсалов 💪
Требуемые навыки:
💫 опыт запуска и самостоятельно обучения базовых RL алгоритмов;
💫 понимание специфики работы с робототехническими симуляторами (MuJoCo, DMC);
💫 понимание принципов работы языковых моделей и умение их дообучать, быть знакомым с современными мультимодальными моделями.
Интерес к реальной (не симуляционной) робототехнике приветстуется!
Научная группа Александра участвует в ведущих робототехнических конференциях, нацелена на публикацию статей A*, Q1 и работает над одним из самых амбициозных проектов мирового уровня (по результатам можно посетить много крутых стран и интересных мест).
Ребята тут, кстати, сгоняли с докладами на топ конфу в Японию в мае, о чем написали на Хабре!
Еще у Саши есть свой канал в Telegram — там пишет о поездках, исследованиях
⚡Подключайся к нам
⚡Пополняй ряды топовых исследовательских команд
Если заинтересовало, пиши скорее сюда — @GraffT
или сюда
🚀 Продолжается приём докладов на конференцию «AI Conf 2024»
Напомню, что 26-27 сентября пройдет первая прикладная техническая AI-конференция по Data Science от Онтико, организаторов Highload, TeamLead, TechLead, Frontend, Golang, DevOps Conf и т. д.
Мы решили продлить приём докладов до 30 июня! Подавайте доклады о своих исследованиях и разработках в любых направлениях, связанных с DS и ML: NLP, CV, рекомендательные системы, генеративный ИИ, новые архитектуры и способы оптимизации вычислений, эффективные методы обучения моделей
Ключевые даты:
🕓 30 июня 2024 — дедлайн подачи заявок
✅ 15 июля 2024 — решение о включении докладов в программу
🎤 26 и 27 сентября 2024 — конференция в Москве
https://cfp.aiconf.ru/
У вас стартап и вы в поисках инвесторов? Тогда канал СберСтартап — то, что вам нужно.
Советы от фаундеров и инвесторов, технологические тренды, новости о венчуре. Подписчики в прямом эфире смотрят питч-сессии!
Вам точно будет интересно:
📍 Бутстрэппинг или VC — советы выпускника Sber500 о поиске инвестиций
📍 Чек-лист вопросов о стартапе от венчурного синдиката Coion
📍 Как выстраивать отношения сооснователям стартапа — опыт BuildDocs
📍 Как венчурные инвесторы ищут стартапы — ответы инвесторов
Забирайте в подписки, чтобы развиваться быстрее!
#промо
На днях вышла очередная модель Luma - “убийца” Sora (модель от Open AI, которая генерирует фантастические по качеству видео по тексту)
С учётом наплыва активности на новый сервис, запустив генерацию вчера в районе 21, где-то под утро видео-таки сгенерировалось (довольно хорошее качество, кадры хорошо согласуются друг с другом, движения плавные).
Почитал про команду: изрядный штат ребят с большим опытом в 3D. Вот первая фамилия в команде
https://yoopaul.github.io/
Ну и остальные далее тоже ребята с авторством в статьях по NERF и прочему
https://lumalabs.ai/team
На мой взгляд вновь подтверждается, что то, что мы называем «видео» - это на самом деле основано на огромных массивах рендерингов сцен.
Snap, кстати, на днях выпустили статью про синтез 4D сцен на базе диффузионных моделей генерации видео (сначала синтезируются ролики text-to-video моделью, а далее каждый кадр фиксируется и создаются «пролёты» на базе гауссова сплаттинга)
людишки еще не поняли, к чему все идет
утащил у Дмитрия Колодезева
⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео
DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных ❤️🔥
А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.
💻 github DPF
📖 Статья на Хабр
🤖В рамках международной конференции AI Journey стартовал открытый отбор статей по AI/ML
Отобранные работы будут опубликованы в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
📖Журнал:
· Индексируется в крупнейших библиографических базах данных научного цитирования
· Доступен международной аудитории и публикуется на площадках мировых электронных библиотек
✍️Успейте подать заявку до 20 августа и получить возможность не только опубликовать свое исследование в авторитетном научном издании, но и представить его на площадке конференции AI Journey.
🏆За лучшую статью предусмотрен приз 1 млн рублей!
ℹ️ Более детальную информацию можно найти в Правилах -> AI Journey.
👋🏻 Всем привет!
Хочу пригласить вас на один пушечный IT-фестиваль, где соберётся 1000+ IT специалистов от Middle до C-Level, как в Development, так и в бизнес направлениях!
Формат — не обычная конфа с докладами, основная фишка — это интерактив, которые точно понравятся всем, кто работает в мире IT! (организаторы обещают, скучно не будет)
Итак, Летний ProIT Fest 2024
📅 Когда: 6-7 июля
📍 Где: SPA отель «Новый Петергоф»
Вас ожидают:
▫️ 18 секций для представителей различных сфер IT, которые будут интересны как Senior, так и организаторам
▫️ Более 150 ведущих специалистов из крупнейших ИТ-компаний в качестве спикеров, которые готовы размывать границу между спикерами и участниками: это всеми любимые Александр Крылов (DevOps for Love), Ирина Матвеева (SPb HR Meetup), Виталий Левченко (Golang, DevOps, Highload), Анна Белянина (Аналитика), PiterJS, SPb Founders, Дмитрий Безуглый (Product), Евгения Ковалевская (PM Lunch), Дмитрий Торшин (C Level) и другие
☝️ А ещё: плодотворный нетворкинг, актуальные темы, игровые активности, классное after party, в общем, своя атмосфера!
Вместе с организаторами мы подготовили для вас небольшой подарок: сейчас у вас есть возможность приобрести билеты на Летний ProIT Fest со скидкой 10% по промокоду KUZNETSOVPROIT
Но надо поспешить, с 1 июня цены поднимутся ⬆️
🎟 Для приобретения билетов жмите сюда 👈🏻
🤔 Остались вопросы? Подробности и программа на нашем сайте и в телеграм-канале 👈🏻
Очень жду встречи с вами на Летнем ProIT Fest! 🤍