6444
Меня зовут Андрей Кузнецов Руковожу лабораторией FusionBrain в AIRI, один из создателей Kandinsky, к.т.н., 15+ лет опыта в Computer Vision, выступаю с лекциями и пишу о событиях в AI и ML Tg: @kuznetsoff87
👋Всем привет!
В моей команде работает много талантливых молодых учёных и скрывать их — настоящее преступление. Я горжусь ребятами и буду знакомить вас с ними ❤️
В этом году к лаборатории FusionBrain AIRI присоединилась крутая команда Controllable Generative AI под началом Айбека Аланова, которая нацелена усилить генеративное направление 💪 (между прочим он руководит ещё и Центром глубинного обучения и байесовских методов в НИУ ВШЭ). Айбек занимается исследованиями в области генеративных моделей и публикуется вместе с командой на топовых международных конференциях:
🟢все статьи можно почитать тут
🟢избранные свежие работы: StyleDomain на ICCV 2023 и StyleFeatureEditor на CVPR 2024
Разные подходы по персонализированной генерации изображений, стилизация картинок различными способами, объяснение сложных вещей простыми словами и многое другое — это всё к нему😉
👉Недавно он создал свой тг-канал AI Brain, где будет делиться мыслями и материалами для погружения в Gen AI, разбирать научные статьи, а заодно рассказывать о команде и последних исследованиях! Очень рекомендую подписаться 💯
⚡️ Machine learning - самый крупный обучающий ресурс в Telegram, посвященный машинному обучению
По контенту:
1. Разбираем самые интересные модели
2. Составляем ежедневные дайджесты главных релизов и новостей
3. Полезные курсы
4. 2300 реальных задач с собесов с разбором
5. Учебники для скачивания.
Целая папка для всех, кто изучает мл
И многое другое.
Это первоисточник всего, что появляется в платных курсах и популярных ресурсах по МО и ИИ.
Подписывайтесь, такие знания в 2024-м году на вес золота: @ai_machinelearning_big_data
⚡⚡⚡Свежайший крутой апдейт от OpenAI
Теперь файнтюнинг GPT-4o доступен всем
https://openai.com/index/gpt-4o-fine-tuning/
Today, we’re launching fine-tuning for GPT-4o, one of the most requested features from developers. We are also offering 1M training tokens per day for free for every organization through September 23.
Fine-tuned models remain entirely under your control, with full ownership of your business data, including all inputs and outputs. This ensures your data is never shared or used to train other modelsПобежали скорее что-нибудь тюнить🏃 Читать полностью…
👋Всем привет!
Сегодня мы стартовали Летнюю школу AIRI на базе ПИШ ИТМО в Санкт-Петербурге! Из почти 1000 заявок отобрали 80 лучших, и вот они здесь, с горящими глазами, блестящими навыками и готовые постигать знания на лекциях по 6 направлениям, а также оттачивать навыки в ходе проектной работы.
Супер интенсив, уникальные знания, крутые спикеры и эксперты, 🔝 студенты технических направлений со всей России💪
Желаю всем удачи!
Всем привет!
Недавно я писал про сотрудника Лаборатории FusionBrain в AIRI, который принимал участие в первой Международной олимпиаде по искусственному интеллекту — Андрей Громыко. Подготовкой команды занималась команда преподавателей Центрального Университета.
🥇Так вот, команда ребят взяла золото! Более того, они стали не просто победителями, а абсолютными победителями🎉🎉🎉
Поздравляю ребят, желаю успехов в учебе и новых побед! Команде тренеров отдельная благодарность🤝
⚡️Основная часть конференции ACL 2024 торжественно завершилась
🎉Конференция приняла 550 онлайн и 3250 очных участников
Топ-конференция в области NLP переходит в фазу воркшопов (14-15 августа), а также 22 августа будет онлайн мероприятие, на котором будет ряд постеров и выступления обладателей наград за лучшие работы
Три продуктивных дня конференции подошли к концу, за которые я обзавёлся новыми контактами, которые, надеюсь, приведут к плодотворному сотрудничеству, познакомился с интересными проектами и решениями различных задач, а также мы представили несколько постеров. Следует отметить, что такого рода конференции также являются отличным катализатором мыслительного процесса, поэтому мы возвращаемся с идеями для новых исследований и крутых публикаций💪
Qwen сегодня на ACL подробно рассказывали про свою новую мультимодальную архитектуру Qwen2-VL.
Работает с картинками, видео. Умеет работать с разными разрешениями, добавили специальные позиционные эмбеддинги, чтобы процессить видео.
⚡️Топ конференция в области NLP — ACL 2024 началась сегодня в Бангкоке
Acceptance rate = 21.3% (на конференции принимается 1/5 поданных работ)
Мы представляем на конференции работу об исследованиях особенностей трансформеров:
https://huggingface.co/papers/2405.12250
Всем привет 👐
Этот пост заряжен моей искренней поддержкой ❤️
С 9 по 15 августа в Болгарии пройдет первая Международная олимпиада по искусственному интеллекту (IOAI). В ней примут участие российские старшеклассники и среди них сотрудник AIRI — Андрей Громыко, занимающийся исследованием мультимодальных архитектур. Подготовкой ребят активно занимается квалифицированная команда преподавателей Центрального Университета — верю в то, что получится крутой dream team!
Андрей, желаю тебе победы, сил и удачи! И всем российским ребятам.
Мотивацию надо поднять 💪
⚡️⚡️⚡️Рабочая неделя подошла к концу, а я с новостями
Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.
Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.
🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.
🟢Все детали на Хабре
🟢Протестировать модель можно в демке на Hugging Face👇. Она пока работает только с изображениями лиц, но скоро раскатаем и на другие домены😉
Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)
Хабр
Демо
Всем хороших выходных👋
👋 Мои коллеги из ИТМО AI Talent Hub набирают новых магистрантов
В этом году открывается LLM-трек
🌠Учебный трек фокусируется на актуальных топиках в развитии LLM. Каждый месяц – обновление и актуализация данных.
И разработан совместно с экспертами из AIRI, Raft, Napoleon IT, Университета ИТМО, а также приглашенных экспертов-разработчиков YandexGPT и GigaChat.
Также в магистратуре:
🔛Гибкая система выбора траектории обучения позволяет собрать индивидуальный трек.
🔛Занятия проходят онлайн в вечернее время, вы можете подключаться из любой точки мира (льготы при этом как у «очников»: отсрочка от армии, диплом очной магистратуры)
🔛Сильное комьюнити. Менторы, преподаватели и авторы курсов — действующие специалисты топовых AI-компаний — всегда готовы поделиться своим опытом и помочь советом.
❗️Чтобы успеть пройти на бюджет, подайте заявку до 25 июля
👉Подробнее про LLM -трек
👉Подать заявку в магистратуру AI Talent Hub
👉Кому интересно почитать про то, как сделать LLM более сговорчивой на разные темы (abliteration = ablated + obliterated), предлагаю посмотреть в материале тут
Грубо говоря, имея некоторый harmful датасет, его прогоняют через модель, определяют активации, которые сигнализируют об отказах модели отвечать на какие-то вопросы, а потом ортогонализируют соответствующие тензоры. Так модель сохраняет основную часть своих весов нетронутыми, а refusal direction за счёт ортогонализации меняется. Конечно, речь не идёт об устранении 100% отказов отвечать на вопросы, но тем не менее позволяет «ослабить» LLM
⚡️Субботние новости!
AI-Центр Т-Банка открыл доступ к своей языковой модели T-lite 7-8B. С точки зрения качества по замерам модель обгоняет многие открытые, а в некоторых задачах и проприетарные модели. Например, на независимом бенчмарке MERA T-lite обгоняет Llama3-8b-iInstruct, Mistral-7b-Instruct-v0.3. На внутренних задачах типа суммаризации и банковских кейсов модель тоже показывает себя лучше, чем Llama3 и ChatGPT-3.5.
В релизе также отмечают, что для обучения потребовалось достаточно мало вычислительных ресурсов (3% от обычно используемых для задач обучения). В целом это лишний раз подтверждает, что решать вариативные задачи можно без гигантских мощностей в наличии.
Приятно, что на рынке растёт количество игроков на арене LLM: Сбер, Яндекс, Т-Банк, МТС, и что несмотря на выбиваемые регулярно новые показатели, всегда есть запас для улучшения качества.
Модель T-lite доступна по ссылке
В настоящее время задачи оптимизации моделей ИИ крайне необходимы и популярны, это позволяет сокращать расходы на GPU которые в современном мире на вес золота. Это касается как обучения нейросетей, так и последующего инференса, особенно, если сервис становится популярным и MAU/DAU растут как на дрожжах. Наша команда недавно опубликовала статью про способ оптимизации архитектур «Your Transformer Is Secretly Linear» 📝
Для "разгона" нейросетей приходите на лекцию от Deep School 🗓 18 июля в 18:00 🗓 На ней вы узнаете, какие методы ускорения существуют и сможете задать свои вопросы специалисту в этой области 🗒
Саша Гончаренко, СТО стартапа enot.ai, за лекцию:
— применит прунинг, квантование и дистилляцию для ускорения нейросети 😎
— подробно объяснит все методы ♟
— рассмотрит возникающие тсложности и способы их решения 💻
— объяснит, почему различается результат на разных вычислителях 🤔
— расскажет о вызовах в ускорении 💻
— и представит обновлённую программу курса «Ускорение нейросетей»
Регистрируйтесь на лекцию по ссылке!
🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino
Приходите на лекцию 18 июля в 18:00 МСК!⚡️
Разгоняют новость, что во Франции Дурова приняли, с формулировкой "создатель сервиса зашифрованных сообщений", чтож запасаемся попкорном)
UPD: Его там серьезно набутыливают на 20 лет 😞
ℹ️Делюсь интересным мероприятием на тему RAG, где будет участвовать мой хороший знакомый и отличный специалист в области NLP — Валентин Малых.
Кому интересно послушать про RAG, и с чем его едят — советую сходить послушать Валю и других спикеров.
Информация о событии👇
/channel/valuableai/53
В Сбер-команду моего хорошего друга Глеба Михеева (да, и он теперь в Сбере😏) требуется Data Science уровня middle/middle+, который примет участие в разработке планировщика с многошаговым вызовом функций, поэтапным обогащением данных и корректировкой плана 💪
Команда Глеба занимается разработкой цифровых ассистентов на LLM. Задачи NLP и CV уровня R&D для особо искушённых 😏
Что надо делать:
- Исследовать возможности LLM в части реализации многошаговых функций
- Строить пайплайны работы с LLM для обработки запросов пользователей
- Реализовывать системы метрик для сбора обратной связи и определение зон развития пайплайнов и моделей
- Формировать и проверять технические и продуктовые гипотезы
- Готовить планы и проверки результатов обучения LLM
Требования:
- Делайте хорошо, а плохо не делайте
- ML/DL/NLP
- Python + pandas, scikit-learn, catboost, pytorch
- Опыт использования MLFlow, Argo Workflows, Airflow, JupiterHub, k8s
👉С резюме и вопросами пишите в личку Глебу: @glebmikheev
На просторах интернета нашел забавный тест, который позволяет посоревноваться с современными языковыми моделями в навыке предсказывания следующего слова в тексте💪
Если знаете инглиш, то можете посоревноваться 🥊
👉В бой
Я набрал 4/15 баллов. Пишите свои результаты в комментариях😏
⚡В продолжение темы мультимодальной модели Qwen2-VL, авторы выложили на Hugging Face демку Max версии — можно пообщаться в чат режиме, загружая картинки и видео, а далее вести диалог про содержание. При этом никакого нового тех репорта от них не выпущено — только то, что я выкладывал в посте выше 😊
Демо Qwen2-VL-Max
https://huggingface.co/spaces/Qwen/Qwen2-VL
Все, кого удалось собрать из русского комьюнити участников ACL 2024, в одно время в одном месте🔥🔥🔥
Читать полностью…
LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
👋Всем привет!
Сейчас стало поступать очень много интересных запросов от представителей промышленности с задачами, которые в литературе принято называть Industrial Generative AI — по-русски я это называю "генеративное проектирование".
Потребность заключается в том, чтобы, используя генеративные модели, иметь возможность синтезировать проектную документацию, чертежи, дизайн проекты и др. формы представления, которые в дальнейшем могут быть обработаны/доработаны в специализированном CAD софте. Особенностью создаваемых архитектур будет являться возможность учёта специфических правил при генерации объекта (ВнД, СНиПы, формулы расчёта физических и геометрических показателей прочности и др.). Решение такого рода задач создаёт большой потенциал для развития моделей генеративного ИИ с точки зрения их практической и бизнес применимости (безусловно, важное значение здесь имеет сотрудничество с инженерами и технологами производств, которое позволит давать правильную оценку разрабатываемым подходам).
📌 В связи с началом исследований в этом направлении начинаем поиск middle и senior исследователей в новую команду в AIRI. Кандидату необходимо иметь следующий опыт:
🟢генеративно-состязательные сети (GAN): ArchiGAN, EdgeGAN, HouseGAN, ...
🟢трансформерные архитектуры, знание современных LLM, Code LLM
🟢графовые нейронные сети (GNN): GAN + GNN, GraphTransformer, ...
🟢диффузионные модели, VAE: pix2pix, U-Net, DiT, ...
🟢обучение с подкреплением (RL), генетические алгоритмы (Wave Function Collapse и др.)
❗Важно иметь глубокое понимание описанных архитектур, обязателен опыт их обучения
📍Опыт в одном или нескольких направлениях от 2х лет📍Дополнительным преимуществом будет наличие публикаций на конференциях Core A/A*, в журналах Q1
📍Наличие степени/PhD будет плюсом
💥Свои резюме можно присылать HR-менеджеру Ксении — @ksenia_jaja. По содержательным вопросам с радостью отвечу в комментариях или в лс, ответы на самые частые вопросы выложу в этот пост в формате апдейта.
Буду благодарен за репост🙏
Полезные ссылки
1) Tile-GPT
2) Survey 2024
👋Всем привет!
⚡️⚡️⚡️Супер новость — снова ищу на middle, middle+ и senior позиции исследователей в лабораторию FusionBrain, AIRI
Направления исследований
📍 интерпретируемость моделей и исследование их внутренних свойств
📍 мультимодальные архитектуры и спец энкодеры для модальностей (изображения, аудио, видео, 3D)
📍 мультиагентность, коммуникация LLM, Chain-of-…, mixture of agents
📍 генеративные модели (диффузионные модели, DiT, GAN, StyleGAN, …)
📍 применение LLM и VLM в задачах манипуляции и планирования в области робототехники
Все эти направления базируются на высоком уровне экспертизы в CV, NLP и/или RL, опыте проведения глубоких исследований в больших командах, наличии статей в Core A/A* конференциях, управлении научными группами и проектами. Учёная степень в релевантной сфере очень приветствуется🤝
❓По вопросам можно писать мне и, если зависаю с ответом, дублировать Ксении @ksenia_jaja
💪Присоединяйтесь к одной из лучших исследовательских команд
Всем привет!
🤖 Мои коллеги из научной группы "Адаптивные агенты" в AIRI сейчас активно ищут стажёров в свою программу карьерного роста shorties.
❗Дедлайн подачи заявок — 15 августа сего года.
Если вы любите RL, как любят его ребята — вам точно туда!
👉Подробнее можно прочитать в посте в канале команды — @dunnolab
❓А если есть вопросы HR характера, то пишите смело Ксении @ksenia_jaja
🎬Сегодня вышел выпуск на канале Основа
Получилось довольно круто на мой взгляд! Поговорили с Борисом про современные тренды в ИИ, подискутировали про будущее и возможности современных технологий.
Приглашаю всех посмотреть, выходной как раз этому способствует! Заранее спасибо за просмотр🙏
👉Подкаст
Ещё ребята выложили чекпоинт T-lite-instruct-0.1 без цензуры, что в современном мире alignment очень необычно😉
https://huggingface.co/IlyaGusev/T-lite-instruct-0.1-abliterated
Всем привет 🖐
Задумался на днях про маркировку ИИ-контента, ибо много обсуждений ведётся, а мнение публичное я не встретил, а очень хочется узнать разные позиции.
Моя личная позиция в том, что маркировка мультимедиа - важная задача, потому что позволяет понимать как распространяются генерации, как влияют на инфополе. Одна случайная картинка может стоить владельцу модели, бигтеху или стартапу репутации. Такие картинки можно успеть задетектить или доказать, что они сделаны не вашим ИИ при наличии встроенного механизма защиты.
Также маркировка поспособствует развитию генеративного искусства и защите авторского права. Хотя тема авторства ИИ-контента сложная, но почему не думать об этом на будущее?
Ну и, конечно, помимо маркировки нужно развивать инструменты для её анализа. Вот, например, кто-то взял картинку котика и дорисовал ему не совсем то, что надо; и вроде и контент промаркирован, а вроде уже не исходное изображение. Значит надо еще и за устойчивостью решений следить к разным локальным правкам контента.
А ещё: как именно маркировать контент? Предлагаю всем подумать в комментариях под этим постом 🔍
А ниже два коротких вопроса, буду признателен за участие 🙏
Увидел тут в одном интересном канале пост про ИИ в фэшн индустрии. Возникли некоторые мысли, которыми захотелось поделиться.
Не секрет, что один из моих основных фокусов в исследованиях — генеративные модели, поэтому так или иначе про прикладные применения технологии читать всегда интересно. Персонализация в фэшн индустрии, на мой взгляд, ключ к сердцу покупателя. Море опросов можно найти, где респонденты уверено подчеркивают пользу влияния ИИ в части рекомендаций товаров, в части предложения новых услуг. На днях, например, один из пионеров индустрии моды в Европе объявил о старте AI-based рекламной кампании линейки молодёжной одежды. При этом они не просто сгенерировали картинки одежды, а прошли полный цикл: сначала была изготовлена коллекция одежды, потом все элементы коллекции были сфотографированы, а далее обучалась модель, которая далее правильно «одевала» в эту одежду моделей на сгенерированных картинках (пример из кампании как раз в закрепе) .
О чём это всё говорит: индустрия под влиянием ИИ меняется, даже такие чувствительные направления как мода не остаются в стороне. В недалеком будущем предполагаю, что будут и персональные коллекции одежды, сам стиль будет подбираться индивидуально под физиологию человека, а перенося это всё в «видео» модальность мы сможем «покрутить» себя и посмотреть со стороны как будем выглядеть в той или иной одежде и в разных окружениях. И одежда — это всего лишь одна из повседневных потребностей человека, но в формате персонализации такие «AI-стилисты» должны учитывать и твоё настроение (ммм, ИИ-эмпатия), и геолокацию, и погоду, и календарь встреч, и многие другие факторы, влияющие на выбор. Мода и одежда становится компонентом, как сейчас принято называть, модели мира, где каждый сможет «оцифровать» себя, сгенерировать любое окружение и смоделировать различные сценарии. Вот так от темы генерации и примерки одежды мы быстро приходим к AGI😉
А хочется ли этого вам? Надо ли такое или это уже перебор?
А форма на Летнюю Школу AIRI ещё открыта😉 Но это ненадолго)
Поспешите, кто ещё хочет провести окончание лета 2024 года с пользой👇
Подать заявку