2562
Data Сообщество По всем вопросам обращаться @SberlogaHelperBot Чат - @sberlogadataclub
https://youtu.be/ONwNCjH6KKY
Self-supervised обучение для последовательных данных
Алексей Зайцев (Skoltech)
Self-supervised learning - мощная парадигма современного машинного обучения.
Она дает возможность избегать дорогостоящей и субъективной разметки данных.
Доклад является введением в self-supervised learning и рассмотрены его приложения к последовательным данным и связанным с ними задачам и достижениям.
💼 Вакансия в группе Алексея, связанная с темой доклада: /channel/sberlogajobs/150
🗨 Обсудить доклады можно в нашем чатике
@sberlogadataclub
❤️ @sberloga ❤️
🧑🎓 Учить чтобы учиться
На первый взгляд странная идея, ведь преподаватель должен знать все. Однако речь идет именно о простом способе освоить то, чему вы хотите научиться.
🤓 Техника Фейнмана
На самом деле читая его книги я не помню, чтобы он сам это называл техникой, но не раз писал о способности объяснять даже сложные вещи ребенку и связи этого навыка с пониманием материала.
Потому что обучение — это не про пролистать книгу и запомнить факты, чтобы пройти тест. Информация усваивается, когда вы можете объяснить ее и использовать в самых разных ситуациях.
В конечном счете смысл обучения — понять мир. Но большинство из нас не утруждает себя тем, чтобы осознанно чему-либо учиться. Мы запоминаем то, что нам нужно, когда учимся в школе, а затем большую часть забываем.
Техника Фейнмана помогает превратить информацию в знание, доступ к которому так же прост, как приготовить себе кофе — это помогает избежать неожиданностей.
📣 Это небольшой ролик как раз о способе приложить эту технику в практическое поле:
https://youtu.be/8QCSwgXssVU
Может быть не самый лучший, но думаю стоит его обязательно попробовать 👍
В связи с этим:
🎉 Call for Speakers
Проходишь курс? У тебя интересный проект? Может быть ты просто обладаешь знаниями, которые не прочь рассказать?
Хотим попробовать новый формат трансляций и ищем желающих поделиться знаниями с друзьями. Не обязательно ведь быть супер сеньером-помидором чтобы сделать доклад
Рассказ о новой библиотеке которая помогает вам в работе, проекте, навыки soft-skills или различные agile фреймворки с которыми вы сталкиваетесь казалось бы каждый день - для других это может быть новинкой, которую они хотели бы узнать, так почему не от тебя?
💡 Теперь я еще знаю, что это так же может помочь лучше понять ту область, которую рассказываешь
Если пока все только в стадии идеи, не беда - напиши @boyadzhi, достаточно начать с одного сообщения 👍 дальше поможем
Ну и друзьям перешли это сообщение 🔄
❤️ @sberloga ❤️
Университет Иннополис открыл регистрацию на онлайн-хакатон по ИИ с призовым фондом 1 млн рублей
Международный отраслевой хакатон в области искусственного интеллекта Global AI Challenge пройдет 9—24 февраля. Заявки принимаются до 7 февраля от команд из 2—6 человек, состоящих из молодых специалистов, преподавателей, аспирантов направления Data Science, обучающихся ведущих образовательных организаций России и стран ближнего зарубежья.
Командам предстоит решить задачу по предсказанию активности ингибиторов на основе малых молекул против COVID-19.
Подробности и регистрация: https://globalai.innopolis.university/
🚀 @SBERLOGA online seminar on machine learning:
👨🔬 Александр Абрамов (Cбер) «Дистилляция моделей на примере SBERT.»
⌚️ Четверг 20 января, 18.00 по Москве
О чем поговорим? Вспомним, что такое RuSBERT. Зачем нам нужна дистилляция моделей. Какие лоссы и подходы мы используем для дистилляции. Как можно собрать свой TinyBERT на коленке, а также наследовать знания от k-ой к k+1-ой модели в проме. Хинты для отображения узких эмбеддингов к широким от учителя к ученику (и наоборот).
Ссылка на зум будет доступна в чатах: /channel/sberlogadataclub ближе к началу доклада.
🚀 @SBERLOGA online seminar on machine learning:
👨🔬 Роман Куцев (TrainingData.Solutions) «Методы оптимизации процесса разметки для обучения нейронных сетей.»
⌚️ Четверг 13 января, 18.00 по Москве
Описание:
• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
Ссылка на зум будет доступна в чатах: /channel/sberlogadataclub ближе к началу доклада.
Twitter и вокруг него: наши цели на 2022; наши докладчики и Ян ЛеКун.
Во-первых у @Sberloga появился Twitter - https://twitter.com/sberloga - прямо также @Sberloga - только в Twitter - подписывайтесь, лайкайте, ретвитьте - сделаете нам Новогодний подарок. Зачем кому-либо Twitter ? Многие ученые и специалисты в дата-сайнс, биоинформатике и других областях ведут Twitter. Даже если вы сами не планируете ничего писать - Twitter - очень удобен, чтобы отслеживать новые статьи, конференции, вакансии и прочее - просто подпишитесь на тех специалистов, которые вам нравятся. Кроме того рекомендательная система Twitter сама будет подсказывать вам полезные посты и людей на кого подписаться. А "Твитториалы" - то есть серия коротких постов с изложением основных идей статей - вообще бесподобная вещь.
Во-вторых давайте поставим себе цель на 2022 - зазвать на доклад на @Sberloga известного ученого не из наших краев. И тут Twitter и ваши подписки, ретвиты и лайки вполне помогут - поскольку это повышает вероятность того, что @Sberloga будет замечена и согласиться выступать на площадке, о который ты что-то знаешь намного легче, чем неизвестно где.
В-третьих Ян ЛеКун (один из самых известных людей в МЛ, один из "отцов" дип ленинг революции, глава МЛ в Facebook, etc.,etc.,) в своем недавнем твите похвалил и ретвитнул обзор с итогом графМЛ за 2021 от М.Галкина и его коллег ! Поздравляем коллег с этим ! Русскую версию они рассказывали у нас на @Sberloga - кто не успел на доклад - очень рекомендуем видео запись - https://youtu.be/s3Cc3Uo4smE .
В-четвертых - оставляйте в комментах к этому посту ваших любимых Твит авторов - давайте соберем коллекцию.
@Sberloga поздравляет всех с наступающим Новым Годом ! Желаем всем огромных успехов, побед, достижений, бонусов, а главное счастья и здоровья !
Медалей с каггл, Дед Мороз пусть принесёт !
Побед на Dream Challenges , Дед Мороз пусть не забудет !
Хакатоны будут взяты , статьи на NIPS все приняты !
Есть такая Сберовская байка - какой день самый счастливый - тот день когда дают бонус )))) Весь Сбер ходит со счастливой улыбкой, все люди - братья и сестры, довольны и счастливы. Пусть Дед Мороз сделает так, чтобы мы каждый день чувствовали себя так - как будто сегодня получен бонус )))
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))
Вторая номинация - биоинформатика.
Аналогично предыдущей - 10 последних докладов, небольшое изменение - голосовать можно за несколько пунктов,
есть мнение, что это может давать более справедливые результаты.
Голосование в посте: /channel/sberloga/196 , предыдущее голосование по номинации - доклады по дата-сайнс - /channel/sberloga/193.
Вот список с линками на видео записи - не забывайте подписываться на https://www.youtube.com/c/sberloga и ставить лайки !
1 Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Борис Бурков
https://youtu.be/t9WgWZuT9t8
2 Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
Видео запись скоро появится на канале https://www.youtube.com/c/sberloga - подписывайтесь
3 Иммунный ответ в раке. Как это работает и не работает - Мария Кондратова (Lille University)
https://youtu.be/oS6T5KYClYg
4 Подтипы микроокружения DLBCL - Никита Котлов (BostonGene)
https://youtu.be/ww2wehLe3Yg
5 Генетический паспорт - Александр Ракитько (Genotek)
https://youtu.be/EzcEmor-6gY
6 Различные задачи геномики, решающиеся с помощью задачи разладки - Всеволод Макеев (ИОГен РАН)
https://youtu.be/x2wVsrmP85Q
7 Аспекты производства и моделирования данных РНК-секвенирования одиночных клеток - Александр Ташкеев (University of Liege)
https://youtu.be/aMY3jENGwSQ
8 Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов - Антон Костин (МФТИ)
https://youtu.be/vw10_9j3Lig
9 Новые работы по АльфаФолду - к.б.н А. Залевский (ИБХ РАН) и Д. Иванков (Сколково)
https://youtu.be/hdtY4wJa92w
10 Инструменты для понимания межклеточных взаимодействий по данным SC RNA-Seq - В. А. Шитов (СибГМУ)
https://youtu.be/O43nS6gOWEc
Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии - Boris Burkov
https://youtu.be/t9WgWZuT9t8
Aбстракт доклада:
Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция
📈 Слайды
http://borisburkov.net/2021-12-25-1/
📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
/channel/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
/channel/sberlogabio
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))
Кому именно достанется приз - решать вам - голосуйте ! Голосование в телеграмме ограничено 10 пунктами, поэтому в списке только 10 последних докладов. Все доклады были замечательные и выбор наилучшего - всего лишь геймификация - а главное давайте вспомним, тех кто старался поделиться с нами своими знаниями и опытом - и не забывайте ставить лайки под видео докладов на ютубе.
Голосование пройдет в двух номинациях - доклады по биоинформатике , и доклады по дата-сайнс.
Вот десять последних докладов на @Sberloga по дата-сайнс - голосуйте, кто понравился вам больше - тот получит приз.
Голосование в посте - /channel/sberloga/193 ( оно анонимное ).
1 From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM
2 “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE
3 Современные Хопфилдовские Нейронные Сети - Кротов Дмитрий (MIT-IBM Watson AI Lab, IBM Research)
https://youtu.be/NHIZwWYQwCM
4 О математике метода симулированного отжига - Илья Павлюкевич (Prof. Dr. Universität Jena)
https://youtu.be/RwKlG5Xh5PQ
5 Визуализация данных в Data Science - Андрей Лукьяненко (МТС AI)
https://youtu.be/sbrAY1TObmc
6 Self-supervised обучение для последовательных данных - Алексей Зайцев (Skoltech):
Чуть позже выложим на Ютуб - произошла накладка - разбираемся.
7 Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов - Руслан Лукин
https://youtu.be/bfFK1K4ENDY
8 Новые методы поиска сущностей в графах знаний - Фёдор Николаев (Иннополис)
https://youtu.be/XFfDcjSTr8M
9 Git hooks is all you need - Дани Эль-Айясс (Sber)
https://youtu.be/92OMAtdVIAs
10 Введение в ворд2век - Фарид Хафизов
https://youtu.be/RRZQy-IUK9Y
❗️Важно:
1) @Sberloga ищет докладчиков:
Многие участники нашего комьюнити @sberloga, делают интересные проекты и было бы замечательно послушать их доклады. Это могут быть как оригинальные результаты, так и обучающие лекции, которые полезны комьюнити.
Пожалуйста, проголосуйте, по срокам, когда Вы могли бы сделать доклад. По любому из направлений - дата сайнс, биоинформатика/биология, ИТ, математика, физика, экономика/финансы.
Главное - НЕ СТЕСНЯЙТЕСЬ - не думайте, что Вам нечего рассказать ! Если вы колеблетесь - всё равно - проголосуйте , а там - разберемся, если передумаете или сроки изменятся - ничего страшного - это предварительный список - потом можно изменить.
————————————————————
2) @Sberloga ищет организаторов:
Также, у нас просьба - если кто-то готов помогать нам организовывать доклады - нам нужно несколько добровольцев. Кроме как плюс в карму сложно обещать что-то за такие усилия, но, возможно, дополнительным плюсом такой активности может являться некоторый нетворкинг - нам самим всегда была полезна возможность приглашать на доклад замечательных людей - это создает некоторые связи, которые могут быть полезны в будущем, а кроме того - всегда можно звать на доклад тех, кого самому интересно послушать, но сложно достать другим способом. Так или иначе - будем рады если кто-то откликнется на наш призыв !
Голосование доступно по любой из ссылок: /channel/sberlogadataclub/12038
/channel/sberlogawithgraphs/20235
/channel/sberlogabio/18140
- телеграм не позволяет размещать неанонинмые голосования в каналах (в отличии от чатов), поэтому так.
Субботний нетворкинг.
Один из постов с канала Андрея @ml_world - посмотрите - это интересно: /channel/ml_world/846
Видео запись прошедшего доклада:
From linear models through GCN to Attention - Anvar Kurmukov (AIRI)
https://www.youtube.com/watch?v=-hXUsOIcUqM
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning.
📈Слайды
https://drive.google.com/file/d/1FQFrw0yaJG4qOm_huIylpRQm9PBrwH6G/view?usp=sharing
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий
/channel/sberloga
🗨 Обсудить доклады можно в нашем чатике
/channel/sberlogadataclub
Открыта запись на курс «Анализ NGS-данных»!
С 24 января по 4 февраля 2022 года ждём вас на десятидневном интенсиве, где мы разберем основные типы NGS-данных, а также продвинутые технологии — секвенирование единичных клеток и нанопоровое секвенирование.
Подробная программа тут
После курса вы:
— сможете запускать базовые анализы по современным пайплайнам и будете понимать пользу и ограничения разных разделов NGS;
— получите материалы с расшифровкой основных терминов, указанием программ обработки данных и полезными советами по каждой теме;
— научитесь формулировать задачи биоинформатикам (или самому себе), будете представлять, сколько времени и сил требуется для выполнения конкретных задач.
До 20 декабря можно занять место на курсе по сниженной цене раннего бронирования! Также мы сохранили скидки для студентов и аспирантов:)
🚀 @SBERLOGA online seminar on machine learning/bioinformatics:
👨🔬 Александр Горский (ИППИ РАН) “Нейронаука — задачи для теоретической физики и анализа больших данных.”
⌚️ Четверг 23 декабря, 18.00 по Москве
В докладе будут рассмотрены ключевые вопросы теории мозга, которые инициированы современными исследованиями. Они включают в себя исследование коннектома методами случайных сетей, изучение зависимости явления синхронизации нейронов от структурного и функционального коннектомов. Также будут обсуждены вопросы , связанные с предполагаемой околокритичностью состояния мозга и его термодинамическими свойствами. Мы обсудим применение методов анализа больших данных к нейронауке; редукцию размерности и топологический анализ данных.
О докладчике: д.ф.-м.н. А. Горский - выдающийся теор.физик, работы которого цитированы многие тысячи раз.
Подписывайтесь на каналы тг: @sberloga, Ютуб: SBERLOGA - топовые доклады каждую неделю! @sberlogajobs - вакансии.
Зум линк - в чате: @sberlogabio перед докладом.
Топ 5 видео предыдущего года:
1️⃣АвтоМЛ LightAutoML (или коротко LAMA)
Александр Рыжков, Дмитрий Симаков
Новая библиотека для автоматизации построения ML моделей. Для решения каких задач создавался наш LightAutoML, чем он выделяется на фоне конкурентов и какую пользу способен принести пользователям и бизнесу.
Обсудили состояние automl направления, какие есть вызовы и чем примечательны конкуренты.
В заключение рассказали практическую частью, где можем в деталях показано, как использовать возможности библиотеки, и обсудили разные варианты того или иного элемента пайплайна (отбор и генерация признаков, тюн модели, построение ансамбля и подобное).
https://youtu.be/ci8uqgWFJGg
2️⃣GNN & GCN for complete beginners with examples in python
Анвар Курмуков
Будет объяснено, что такое графовые нейронные сети, в частности разберем 3 популярные статьи посвященные графовым сеткам:
1. Kipf GCN
2. Graph SAGE
3. An End-to-End Deep Learning Architecture for Graph Classification
https://youtu.be/TLVhGs2ckPY
3️⃣Использование Hydra для работы с конфигами в Python
Андрей Лукьяненко
Установка константных значений и управление изменяемыми параметрами - неотъемлемая часть многих проектов, особенно связанных с машинным обучением. Один из самых популярных вариантов для изменения значения параметров - стандартная библиотека argparse; однако, в последнее время все больше проектов используют конфигурационные файлы для хранения значений переменных.
Hydra (в основе которой лежит OmegaConf) - фреймворк для управления конфигами. Он позволяет динамически комбинировать иерархические конфиги, и менять любые значения с помощью командной строки.
В этом докладе Андрей рассказал о возможностях Hydra и показал несколько примеров использования этого фреймворка.
https://youtu.be/T_UyGSUUDKc
4️⃣Практические аспекты работы с задачей NER
Андрей Лукьяненко
Named Entity Recognition - одна из самых известных задач NLP. Существует большое количество походов, основанных на тех или иных архитектурах Transformer, которые показывают отличные результаты на бенчмарках и в реальной жизни.
В этом докладе более подробно рассказано о постановке задачи NER, схемах разметки и способах оценки качества моделей. Продемонстрированы различные подходы к построению моделей и в заключение даны советы о том, как можно улучшить качество таких подходов.
https://youtu.be/WGZpsDSmHnE
5️⃣From linear models through GCN to Attention
Анвар Курмуков
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning
https://youtu.be/-hXUsOIcUqM
📣 Подписывайтесь на youtube, там еще много чего интересного
https://www.youtube.com/SBERLOGA
❤️@sberloga❤️
В последнее время собеседую довольно много людей и думаю стоит поделиться небольшим лайфхаком:
📣 "Повторяйте простые вещи перед собеседованием"
Если вы не отвечаете на сложный вопрос - можно списать на нервы и это не так страшно
Но если вы не отвечаете на простой вопрос - на следующий этап вас не позовут
Например - не сказал метрики регрессионной модели, не сказал критерии сплита в дереве, не смог решить задачу по статистике, не сказал параметры резуляризации в дереве решений.
Отсутствие ответов на такие вопросы - это красный свет ⛔️
Я ищу себе в команду человека, который должен быстро вписаться и способного разобраться в новых вещах без бэбиситтинга. А это означает - знание основ💡
Во вложении (сообщение выше) небольшой cheatsheet по data science с МИНИМАЛЬНЫМ набором вещей которые должен знать ДС. Там 5 страниц А4, это просто скорее список базвых определений, которые стоит бегло повторить. Потратьте 15 минут, и не опозоритесь 🤓
Желаю успехов 👍
💼 У нас так же есть канал с вакансиями @sberlogajobs - их не так много как в одс, но коротко и понятно
❤️ @sberloga ❤️
Вы ещё не в курсе последних разработок в области фармацевтики? Держите в подписках — @chemrarpharma
Актуальная информация в области фармацевтики и медицины, последние новости об индустрии в России и мире, научные тренды по био- и нейротехнологиям, новации реальных разработок методов борьбы с COVID-19!
Только у ребят:
▪️ Самая свежая и актуальная информация;
▪️ Кейсы цифровой трансформации фармацевтики;
▪️ Аналитика рынка инновационных разработок лекарств от ведущих экспертов
Нейронаука — задачи для теоретической физики и анализа больших данных - Александр Горский (ИППИ РАН)
https://youtu.be/DedliTp886Q
Aбстракт доклада:
В докладе рассмотрены ключевые вопросы теории мозга, которые инициированы современными исследованиями. Они включают в себя исследование коннектома методами случайных сетей, изучение зависимости явления синхронизации нейронов от структурного и функционального коннектомов. Также рассмотрены вопросы, связанные с предполагаемой околокритичностью состояния мозга и его термодинамическими свойствами. Мы обсудили применение методов анализа больших данных к нейронауке; редукцию размерности и топологический анализ данных.
📈 Слайды
https://drive.google.com/file/d/13_44XUfhXaMcTa0VhV_ZhPFd7leZVWgz/view?usp=sharing
📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
/channel/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
/channel/sberlogabio
🚀 @SBERLOGA online seminar on machine learning:
👨🔬 Анвар Курмуков (Институт искусственного интеллекта AIRI)
«Vision Transformer (ViT)»
⌚️ Четверг 6 января, 18.00 по Москве
Продолжаем развивать тему трансформеров и их использования в задачах машинного обучения. На этот раз обсудим их применение в работе с изображениями.
❔Могут ли трансформеры заменить свёртки? Какие проблемы это создаст? Ответы на эти и другие вопросы вы получите на нашем следующем семинаре!
❕Для упрощения понимания, рекомендуем ознакомиться с недавними докладами Анвара Курмукова «From linear models through GCN to Attention» https://youtu.be/-hXUsOIcUqM и Бориса Буркова «Разбор алгоритмов и идей DeepMind AplhaFold2 с позиции ML-инженерии» https://youtu.be/XLNZ0wG3fQw
Подписывайтесь на каналы тг: @sberloga, Ютуб: https://www.youtube.com/c/sberloga - топовые онлайн доклады каждую неделю! @sberlogajobs - вакансии.
Ссылка на зум будет доступна в чатах: /channel/sberlogadataclub ближе к началу доклада.
Еще раз - с Новым Годом (от Бостон Динамикс и @Sberloga )))
Читать полностью…
В уходящем году было много замечательных докладов на @Sberloga, огромное СПАСИБО всем докладчикам и всем слушателям !
Наш шутливое голосование - на приз зрительских симпатий от https://shop.pcr.news. Выявило следующих фаворитов: в номинции дата-сайнс побеждает Руслан Лукин (Иннополис) Графовые Нейросети с Передачей Информации для Поиска Гетерогенных Катализаторов
https://youtu.be/bfFK1K4ENDY
Мы уже (/channel/sberloga/180) поздравляли Руслана и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд. А теперь поздравляем с призом зрительских симпатий !
В замечательном докладе обзоре “Намедни-2021 в GraphML” - М. Галкин, А. Цицулин, А. Курмуков https://youtu.be/s3Cc3Uo4smE (который вышел на второе место в голосовалке) , один из слайдов - о результате Руслана. Английскую версию обзора в своем твиттер Petar Veličković (DeepMind) назвал как must read. Так что кто не успел на этот доклад - всем рекомендуем (вместе с Petar Veličković - одним из лучших спецов в ГрафМЛ в мире ) !
В номинации биоинформатика у нас в последние моменты образовалось два лидера - Борис Буков - Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии https://youtu.be/t9WgWZuT9t8
и Никита Котлов (BostonGene) Подтипы микроокружения DLBCL - https://youtu.be/ww2wehLe3Yg
Но поскольку Борис оказался на пьедестале первым, а приз один - то приз достанется ему.
Все доклады были замечательные ! И еще раз огромное спасибо докладчикам и слушателям, присоединяйтесь к докладам в новом году !
Transformer architecture - Boris Burkov
https://youtu.be/XLNZ0wG3fQw
Aбстракт доклада:
Популярно про архитектуру нейронных сетей Трансформер завоевавшую NLP и CV и уверенно претендующую на трон foundation models. Для понимания доклада достаточно уметь умножать матрицы и быть знакомым с базовыми концепциями machine learning. Часть вторая.
📈 Слайды
https://github.com/BurkovBA/attention-talk/blob/main/attention.ipynb
📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
/channel/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
/channel/sberlogawithgraphs
Вспоминаем доклады, голосуем - решаем кому приз от наших друзей https://shop.pcr.news)))
2021 год близится к завершению, у нас было много замечательных докладов, и самое время вспомнить их. А чтобы придать элемент геймификации мы договорились с замечательной командой https://shop.pcr.news, которая предоставит нам призы. Кому именно достанутся призы - решать вам - голосуйте ! Подробности в следующем посте.
Коллеги из https://shop.pcr.news сделали замечательную вещь - если вы хотите подарить подарок, чтобы он был практичным, но красивым и оригинальным ? Такой вопрос обычно ставит в тупик.
Коллеги создали коллекции - одежды, украшения, подарки, аксессуары - которые с одной стороны практичны, а с другой стороны они не дадут вам забыть о любимой науке и ваши любимые формулы - будут всегда рядом.
ДНК на футболке и антитело на цепочке 🧬 — https://shop.pcr.news For science lovers❤️
Видео запись прошедшего доклада:
Намедни-2021 в GraphML - М. Галкин, А. Цицулин, А. Курмуков
https://youtu.be/s3Cc3Uo4smE
Aбстракт доклада:
Cобытия, люди, явления, определившие ход жизни в граф мл. То, без чего нас невозможно представить и еще тяжелее понять. Очередной год, очередной дайджест.
📈 Слайды
https://drive.google.com/file/d/1Xs2tYk_E-6N73VZoydUMhgB-lDtwf1cB/view?usp=sharing
📢 Подписывайся на наше сообщество , чтобы быть в курсе мероприятий
/channel/sberloga
https://twitter.com/sberloga
https://www.youtube.com/c/SBERLOGA
🗨 Обсудить доклады можно в нашем чатике
/channel/sberlogawithgraphs
Субботний нетворкинг. Если у вас есть интересный канал, блог, любой проект или активность - не стесняйтесь, расскажите о них.
Сегодня, разрешите вам представить несколько интереснейших каналов наших коллег, обязательно подписывайтесь:
@ml_world - на этом канале вы узнаете о топовых новостях из мира МЛ, новые СОТы для различных задач, ключевые статьи на NIPS, и многое другое ! Его ведёт Андрей - 20 лет в ИТ, РнД архитектор, в МЛ лет 5. Большой опыт в HL/HA, клаудах, децентрализации, немного в крипте и во многом другом. Подписывайтесь.
@datafeeling - на этом канале вы многое узнаете о соревнованиях по дата-сайнс от первого лица, eсли вам интересен kaggle и другие соревнование - подпишитесь. Его ведет Александр - выпускник МФТИ, он написал подробный пост о своем опыте за 2021 год в ОДС треде kaggle_crackers - "ODS2021AWARDS" - ссылка. Приятно, что подача материала в режиме один пост - одна мысль - подписывайтесь.
@o_fundamentalnom - это канал Валеры и для тех, кто давно в @sberloga этим всё сказано - первый доклад на @sberloga - доклад Валеры . К сожалению, Валера не часто пишет, но всегда очень интересно. Сам он представляет свой канал так - "Если это одновременно просто, важно, мощно, красиво, естественно, восхитительно, общо и всепронизывающе — или если для полного изъяснения вам не хватает языка и вы вдруг находите его в каком-то диалекте математики — значит это о фундаментальном." Подписывайтесь !
О зумбомберах.
Если вы проводите онлайн мероприятия и линки на них в открытом доступе, следует иметь ввиду, что можно столкнуться с такой проблемой - "зумбомберство".
Этот пост о нашем опыте и как с этим бороться - это не сложно, если быть готовым.
Вчера на доклад к нам опять пожаловали нежелательные гости - "зумбомберы", вероятно, подростки развлекаются тем, что находят открытые зум-линки и присоединившись, пытаются сорвать мероприятие. Первый раз это случилось год назад, мы были не готовы и доклад был сорван. Но подготовиться к такому достаточно просто и в этот раз были лишь не сильные неудобства. Следует иметь ввиду, что зумбомберы - в некоторой степени организованы, они координируют свои действия на сайтах типа "двача", кто-то из них находит ссылки, выкладывает их общий в доступ, "атаку" производят обычно несколько участников с разных экаунтов (обычно 2-3-4) , если вы удалили одного, это, обычно, не решает проблему - ждите, что через несколько минут начнет другой, потом третий. Это международное явление - даже есть статья в NY об этом и как с этим бороться: https://www.nytimes.com/2020/04/07/style/zoom-security-tips.html
Как бороться - кнопка "Security" - здесь ключевые настройки - здесь надо запретить (то есть НЕ должно быть "галок") - 1) шарить экран 2) Start video (1,2 вообще лучше делать сразу и всегда - после того как докладчик расшарил экран) 3) "unmute themselves" 4) Chat - можно запретить 1,2, 3 и 4 и тогда вам никакие зумбомберы не страшны, но теряется некоторый элемент интерактивности - участники не смогут задавать вопросы.
Если мы все-таки готовы чуток рискнуть, чтобы сохранить интерактивность доклада, то 1) или просить участников поднять руки (кнопка reactions) и давать слово тем кто поднял руку - если он это "бомбер", то удаляем его 2) или задавать вопросы в чате - опять же бомберы могут начать писать ерунду туда - удаляем раскрывшего себя бомбера 3) или - разрешаем всем себя анмьютить, но как только начинается "атака" первым делом убираем эту возможность и переходим к вариантам 1 или 2.
Ну и если началась атака, то лучше залокировать собрание или по крайней мере включить комнату ожидания (самые верхние пункты в меню "Security") - поскольку, когда вы удалили бомбера он пытается вернуться. Вчера бомберы удивили нас тем, что вернулись более чем через час после первой атаки.
🚀 @SBERLOGA online seminar on ML/bioinformatics:
👨🔬 Борис Бурков (http://borisburkov.net/ , @BorisBurkov) “Разбор алгоритмов и идей DeepMind AlphaFold2 с позиции ML-инженерии.”
⌚️ Пятница 24 декабря, 18.00 по Москве
Целеполагание ключевых модулей системы, а также ряд инженерных приемов:
- Исходные данные и общий поток информации в системе: выравнивания, hmmer, uniprot/mgnify/BFD, pdb, шаблоны структур.
- Архитектура нейросетевой части с высоты птичьего полета: Evoformer и структурный модуль.
- Evoformer: дистограммы из выравнивания через внешнее произведение и gated self-attention, условная оптимизация и соблюдения неравенств треугольника с помощью triangle self-attention
- Структурный модуль: механика постепенного сворачивания белка, Invariant Point Attention (IPA), SE(3)-эквивариантность
- Frame Aligned Point Error (FAPE) и дополнительные лоссы
- recylcing и самодистилляция
Подписывайтесь на: @sberloga, Ютуб: SBERLOGA - топовые доклады! @sberlogajobs - вакансии.
Зум линк - в чате: @sberlogabio
@SBERLOGA искренне поздравляет нашего докладчика Руслана Лукина и его команду - они заняли престижное второе место на международном конкурсе Open Catalyst Challenge, организованного Meta AI (Facebook AI Research), в котором участвовали 30 команд.
Видео доклада Руслана на @sberloga:
https://www.youtube.com/watch?v=bfFK1K4ENDY
"ТАСС уполномочен заявить:"
(https://tass.ru/ekonomika/13169683) "Специалисты Университета Иннополис уступили только команде из Microsoft Research. Участники Open Catalyst Challenge разрабатывали алгоритмы по применению глубокого обучения для квантовой химии и поиска катализаторов для возобновляемой энергетики".
Руслан: "Во время конкурса мы построили модели на основе графовых нейросетей с передачей информации для предсказания энергии адсорбции из структуры катализатора и реагента. С помощью этого можно найти катализаторы, которые позволят сделать эти процессы возможными, а также отобрать среди огромного пространства катализаторов..."
Институт искусственного интеллекта AIRI проведет митап «Single-agent & multi-agent RL» в эту субботу! 🎄
Встреча будет посвящена исследованиям и последним наработкам в области обучения с подкреплением, в том числе в мультиагентных средах.
На мероприятии будут доклады, посвященные особенностям мультиагентных систем, эффективной организации памяти агентов и новому взгляду на обучение модели среды. Кроме того, будет дополнительный доклад-анонс, на котором расскажут какие группы в России занимаются анализом медицинских изображений:
🎙17:00 Анвар Курмуков, Medical Image Analysis, AIRI
(Напоминаем, что сегодня Анвар делает доклад о трансформерах на @sberloga ).
В конце вас ждет круглый стол с ведущими учеными в области искусственного интеллекта, где вы сможете обсудить интересные вопросы из области обучения с подкреплением.
🚀 Подключайтесь 18.12 в 14:45 на трансляцию на нашем Ютуб канале.
Подробная программа ивента AIRI есть в нашей группе в Facebook.
До встречи в субботу! ⚡️