14983
Что-то про AI Research и AI образование от Танечки Сотрудничество/предложения: @atmyre
Первое и второе места в Junior ML треке — Костя Сигалов и Андрей Хлопотных — двое из членов нашей сборной на августовском межнаре IOAI 🎉
Я их учила, прикиньте! Хотя не уверена, что конкретно я научила их чему-то полезному)))
Летом мы возили сборную на межнар по AI, который называется IOAI. А кроме него, есть и другая международная школьная олимпиада по AI — IAIO (названия топ, да. Возьми AI, IO, OA, IA, OI, AO, и собери свою олимпиаду)
IAIO проходит 23-29 февраля в Словении, и туда мы тоже повезем команду. Изначально мы хотели сделать отбор в команду в конце декабря, но подача на Шенген теперь может занимать до 60 дней, поэтому отбор приходится делать срочно, уже в эти выходные.
Отбор будет проходить онлайн в 3 дня: 6, 7 и 8 декабря. Устройство этой олимпиады отличается от той, что была летом: в частности, на ней будут задачи на математику, поэтому и в отборе они тоже будут. Вот тут можно посмотреть вариант задач проглого года этой олимпиады, чтобы в целом понять, что примерно там будет. Подробную информацию про то, как проходит отбор и на что нужно обратить внимание, читайте в посте у Саши Гущина (как обычно, главного тренера сборной). Чтобы попасть на отбор, нужно зарегистрироваться тут, дедлайн регистрации — пятница 5 декабря 18:00 МСК
Написала выше, что "зашиваюсь со статьями", так вот. Дедлайн на CVPR — 13 ноября, и в середине октября я придумала идею статьи на основе своей прошлой статьи, которую, как мне казалось, будет несложно сделать за пару недель. Так как ту часть рисерча, когда надо ставить кучу экспериментов, писать код тестов, рисовать графики, писать текст статьи и делать картинки я не особо люблю, я продала идею статьи другому PhD студенту и мы стали ее делать
Теперь я чувствую себя прям как на этом меме 🫠 Когда начала идею реализовывать, выяснилось, что вот тут есть нюанс, а потом надо бы это все обобщить для вот этих разных случаев, а потом надо убедиться, что все работает для 4 разных моделей, а теперь почему-то не работает тут, хотя должно, поэтому надо два дня думать, тестировать гипотезы, и потом поменять в итоге кусок пайплайна, из-за которого перегенерировать все заново
К дедлайну я, вроде бы, успеваю, но мне потом надо будет неделю отпуска, видимо 🚬 За последние 2.5 недели я так упоролась по этой статье, что забила на практически все остальное в жизни. Продолбала пару дедлайнов, не выполнила пару обещаний.
Вообще я в таком режиме живу уже месяца три, до ICLR (дедлайн был в конце сентября) со статьями было примерно так же
Welcome to PhD research, когда ты еще и becomes easily obsessed (это я). Ну и я в последнее время уже очень хочу закончить, наконец, этот PhD, а для этого нужны хорошие статьи.
P.S. Все обещала написать про статьи, но напишу, когда (если) на них придут нормальные ревью
Пока я тут зашиваюсь со статьями, сходите на хорошую лекцию от хороших ребят⬇️
За последний год уже пара моих знакомых вне-AI интересовались тем, как сделать LLM-систему, которая могла бы точно отвечать на вопросы на основе какого-то набора данных (например, LLM, которая выдавала бы инфу из базы данных email'ов). Насколько я понимаю, такие вещи можно сделать на основе RAG, но надо постараться, чтобы действительно хорошо работало
(а я скоро напишу про что-то связанное с рисерчем, обещаю, точно-точно)
И еще про тему AI in Mathematics: кажется, эта тема в последнее время становится очень популярной. Хотя, наверное, неудивительно: прогресс в AI дошел до достаточного уровня, чтобы применениями AI заинтересовались в совершенно разных областях, и чтобы AI реально мог поспособствовать прогрессу в этих самых областях. Конкретно в математике, на мой взгляд, популярной тему AI делает еще то, что AI стал успешно решать математические задачи, и что известные математики вроде Terence Tao много стали говорить про применение AI в исследованиях.
Так вот. Есть такой проект — CayleyPy. Это библиотека с AI-методами для поиска путей в графах Кэли с огромным числом вершин. Проект существует около полутора лет, и у него уже есть три стати. Одна из них — про нахождение кратчайших путей в графе состояний кубика Рубика — недавно была принята на NeurIPS и получила spotlight — то есть, вошла в топ-3% принятых статей (честно — завидую прям). В статье авторы показали, что CayleyPy эффективно находит более короткие пути решения для кубика размеров 3x3x3, 4x4x4 и 5x5x5, чем любые другие существующие автоматические способы поиска решений . Две другие статьи проекта — вот и вот. В последней статье уже исследуются произвольные графы Кэли
CayleyPy делается отчасти краудсорсингом, и в проекте можно поучаствовать. Если вам интересно такое применение AI, и у вас есть знания Python и свобоодные хотя бы 2-3 часа в неделю — пишите Александру Червову, координатору проекта. Знания математики/RL/ML будут плюсом, но, говорят, не обязательно.
Более подробные вводные и общий роадмап проекта — в этом файле.
Еще пара апдейтов по IOAI и всеросу по AI:
1. На IOAI открылся call for tasks — сбор задач в лонг-лист олимпиады на 2026 год. Присылать идеи задач может кто угодно, подробнее про то, какие должны быть задачи и куда писать — на официальном сайте. Еще с этого года в International Scientific Committee (комитет олимпиады, который отвечает за отбор задач) входит Александр Дьяконов, который когда-то в 2024 году организовал подготовку первой российской сборной на IOAI
Присылайте задачи, короче, сделайте так, чтобы они все в этот раз были интересные, а не вот это вот что было в 2025 🙃
2. CS Space совместно с ФКН и ШАД проводят турнир по математике и AI для школьников 9-11 классов. Если собираетесь участвовать во ВсОШ по AI, то этот турир — хорошая возможность потренироваться. Обещают задачи по теории вероятностей, теоретической информатике, программированию и машинному обучению.
Турнир командный (по 2 человека в команде), первый тур — онлайн (12 октября), второй — очно в Петербурге и Москве (19 октября). Обещают призы) Подробнее о турнире — в посте CS Space и на сайте. Регистрация тут.
Новостей из мира AI становится все больше, каналов в тг, которые пишут про разные аспекты AI — тоже, и уследить за этим всем практически невозможно. Помочь вам в этом может svodka.ai — их AI-редакция отслеживает десятки каналов в тг и оформляет главные новости в понятные дайджесты в едином стиле, чтобы каждое утро подписчики получали горячую сводку из мира искусственного интеллекта.
▶️Подписаться на svodka.ai◀️
Реклама.
ИП Газаров Е.М. ИНН 263212385520
erid: 2Vtzqx9U1yF
Напомню, что через ~10 минут будет вебинар про IOAI и другие AI-олимпиады
Трансляция будет тут: https://vkvideo.ru/video-155161349_456239312 (да, понимаю, ВК 🥴, но нас просили сделать там из-за проблем с YouTube в России)
Кажется, история с реджектом статей авторов с российскими аффилиациями — это часть более общей проблемы NeurIPS. Реджект от SAC (Senior Area Chairs) после приятия получили многие статьи и без российских авторов (вот, вот и вот форум даже есть). Насколько я поняла, это связывают с тем, что на NeurIPS оказалось очень много принятых статей, и event venue (место, где NeurIPS будет проводиться), не может вместить столько людей. И поэтому часть статей решили просто реджектнуть
Как именно выбирать статьи для финального реджекта, тоже не очень понятно, реджектнули много статей с очень хорошими оценками
Если это действительно так, то это вообще еще больший пиздец. Во-первых, это совершенно несправедливо к авторам хороших статей, которые должны были быть приятны по результатам процесса ревью. Во-вторых это, по сути, нивелирует работу ревьюеров и area chair, которые потратили силы и время на ревью этих статей только чтобы потом их просто так реджектнули. А в-третьих, это бредово тупо потому, что эту проблему можно было решить другими способами:
- NeurIPS проходит в США, и многие авторы принятых статей все равно не приехали бы из-за сложностей с визами. То есть, людей на venue было бы не так много, как, возможно, оргиназаторы ожидают
- еще несколько месяцев назад было понятно, что NeurIPS растет, и что у многих возникают проблемы с визами в Америку. Поэтому было предложение организовать европейский venue для NeirIPS — EurIPS. Этим спокойно можно было бы решить проблему с кучей народу в одном месте
Мне даже кажется, что история с реджектом статей авторов с российскими аффилиациями может быть связана с тем, что орги хотели реджектнуть N-ное количество статей, и начали с тех, для которых можно найти причину получше, чем "ну нам просто надо выдать кому-то реджект". Но это только мои домыслы, если что
Вспомним снова про межнар IOAI, на который мы в августе возили школьную команду от России и взяли там много всяких медалей🍷
После межнара я писала пост про задачи с IOAI, но он был очень общий и не содержал ничего про конкретные задачи и идеи их решения. Поэтому мы с тренерами нашей команды решили сделать большой вебинар, где мы поговорим в целом про IOAI и другие AI-олимпиады, подробно разберем задачи этого года, а еще обсудим, как к таким олимпиадам готовиться, и каким ожидается всерос по AI.
Материала на обсуждение получается очень много, поэтому мы разбили его на два вебинара.
Первый вебинар пройдет в это воскресенье, 21 сентября в 12:00 МСК, с прямой трансляцией на YouTube и возможностью задать вопросы.
На нем обсудим:
- Что такое межнар, чем отличается и чем похож на другие школьные межнары. Чем отличается и похож на другие AI-соревы (Kaggle, НТО, Всерос, AIJIC)
- Какие были задачи, какие были идеи их решения у наших школьников, и какие решения предполагались авторами задач. Как можно было до этих решений догадаться, что нужно было знать.
- Какие основные скиллы (помимо знаний) нужны для успешных выступлений на подобных олимпиадах, и что есть основные составляющие успеха.
И вот еще:
- Мы позвали на вебинар несколько участников нашей команды (Даниса, Матвея и Тимура)— они расскажут, как они подходили к решению задач на олимпиаде, какие были идеи и что было сложным. Также расскажут про свои впечатления о подготовке и самой олимпиаде.
- А еще на вебинаре будет Женя Цымбалов — член Scientific Committee IOAI, один из авторов задач
А на втором вебинаре (дата пока неизвестна) обсудим будущие соревы: ВСОШ + IOAI 2026. Конкретнее:
- Как готовиться к ВСОШ и чего ждать
- Как готовиться к межнару и как на него попасть
- Как вообще устроена подготовка к ВСОШ и межнару со стороны организаторов в РФ
Ждем всех онлайн в воскресенье с вопросами! Ссылка на трансляцию будет ближе к началу вебинара в воскресенье. Запись будет.
🔥Авито открыл набор на стажировку для тех, кто хочет прокачаться в ML и работать в одной из самых технологичных DS-команд!
Развивайте уникальные продукты и получите шанс продолжить свой путь в Авито по результатам программы — подробнее в карточках.
Отправляйте заявку до 15 сентября: https://u.to/EWdXIg
#промо
Дополню это описание прекрасного процесса подачи и ребаттла статей парой своих историй:
- В январе 2024 года мы с Лаидой и коллегами подали статью на конференцию IJCAI. Получили три оценки ревью: Strong Accept, Weak Accept и Clear Reject. Ревью со Strong Accept сопровождалось словами: "Inspiring. An excellent paper. This paper changed my thinking on this topic. I will fight for acceptance." Мета-ревьюер (это чел, который на основе трех ревью финально решает, принять ли статью) выкатил отказ. Выглядело это так:
What are the reasons that might support rejecting this paper?
Meta-reviewer: The proposed method is generally simple, which raises some concerns regarding the significance of novelty.
Такое ощущение, что многие ревьюеры и рисерчеры в целом сильно biased на сложность: им подавай под каждую задачу совершенно непригодную для реальных задач нейронку-монстра, составленную из шести частей и обученную с четыремя лоссами и десятью тщательно подобранными гиперпараметрами. Такую штуку обучить стабильно будет ппц сложно, и там пальцем тронешь хоть один гиперпараметр или данные, так этот монстр развалится. А если идея рабочая, но простая — ну это недостаточно умно.
- С осени 2023 по лето 2024 у нас с Лаидой же и другими коллегами разворачивалась увлекательная история написания и подачи статьи про Fake text detection — той, которая в итоге в октябре на конференции COLM получила outstanding paper award. Лаида очень подробно описала всю эту историю у себя в канале. История действительно веселая: на какой-то из итераций подачи этой статьи она получила оценку 1 из 5, что ставят, по идее, только ну оочень плохим статьям. А в итоге через полгода — одна из лучших статей на другой конференции ¯\_(ツ)_/¯
- В этом году весной я подавала свою статью на ICLR, потом переподавала на NeurIPS. Так вот, с этой статьей у меня был (и все еще продолжается, на самом деле) ровно такой трип, как описан в блогпостах на Substack. Сейчас я снова переподаю эту статью на ICLR, и, надеюсь, она туда наконец пройдет. Как это, наконец, случится, обязательно напишу большой пост с веселой историей ребаттлов этой статьи 😢
Короче, в академии весело, ревью — отличный аттракцион, приходите!
Я тут часто пишу про рисерч и статьи, но ничего про то, как делать AI для продакшена и бизнеса (я в этом ничего и не понимаю так-то). В этом плане вам может быть интересна Practical ML Conf – конференция Яндекса о практическом применении машинного обучения в бизнесе и продуктах. Присоединиться к ней можно 27 сентября очно в Москве или через онлайн-трансляцию из любой точки мира.
Practical ML Conf 2025 отражает главные технологические тренды этого года: использование ИИ в e-commerce и финансах, оптимизация инференса, внедрение в продукты мультимодальных систем, а также создание генеративных моделей для рекомендательных систем!
Примеры докладов:
- От classifier-free guidance к диалогу: куда движется генерация изображений?
- Умный репетитор в каждом доме: как мы создали ИИ-помощника для обучения математике в Яндекс-учебнике
- Создание памяти для LLM на примере GigaChat
- Синтетические данные против дефицита реальных: как мы прокачиваем LLM в Т-банке
- Трансформеры для управления автомобилями
- Прогноз CTR поисковых объявлений с помощью нейросетей: опыт и эксперименты AvitoTech
И самое, как мне кажется, интересное:
- Keynote от гостя конференции Андрея Окунькова — российского и американского математика, лауреата Филдсовской медали
Более подробно про конференцию, темы и спикеров читайте на сайте. Для участия нужно зарегистрироваться, места ограничены.
Регистрация тут
#промо
Реклама ООО «ЯНДЕКС» ИНН 7736207543
Помните, писала, что дала студентам DLS в качестве проектов несколько своих идей для рисерча вокруг representaion engineering? Обещала потом написать про то, что из этого вышло. Недавно проверила все сданные проекты, и вот, пишу)
Проекты весеннего семестра DLS шли 6 недель с конца мая до начала июля. Это не то чтобы много времени, чтобы сделать рисерч проект, но должно было хватить, чтобы попробовать потыкаться в задачу и получить какие-то интересные результаты. Честно говоря, я давала эти проекты без каких-то надежд, что кто-то сделает что-то интересное или заинтересуется настолько, чтобы сделать хороший большой рисерч. Скорее, хотела вообще протестировать идею давать что-то подобное в качестве проектов DLS. Но в итоге я была удивлена: из двенадцати человек, сдавших проект, семь проделали очень большую и качественную работу, и даже получили интересные и местами неожиданные результаты \ (•◡•) / Солнышки, короче 🥰
А еще, трое из студентов теперь продолжают работать над выбранными темами дальше! Причем делают это заряженно, вдумчиво, ответственно и уже довольно успешно) Ну, посмотрим, что из этого в итоге выйдет, и сможем ли мы с ними в результате написать статьи или хотя бы блогпосты. Напишу сюда потом, что в итоге получится.
Ну и напомню, раз такое дело, что у нас скоро начнется новый набор в DLS, приходите и зовите друзей)
Еще в один из дней IOAI был keynote session, и я выступала там с презентацией под названием "Education and Olympiads in AI: current state, future and challenges". Это было очень ээ необычно: из выступающих там было много китайцев и я🙂 (ну ещё пара не-китайцев на круглом столе). Когда мне писали с предложением выступить, я думала, что там будет полно народу с разных стран, а оказалось вот так)
Передо мной ещё выступал автор LightGBM с хиршем 105, так что зачту это за небольшую ачивку. А ещё я, как всегда, сильно не уложилась во время, но от меня другого ожидать было бы странно)
Как понятно из названия, презентация состояла из двух частей: первая — про challenges в современном AI образовании, вторая — про то, что из себя сейчас представляют контесты/олимпиады по AI, и какие проблемы тут, на мой взгляд, есть. Пересказывать полностью не буду, лучше просто посмотрите презентацию
Но вот что весело: вторая часть презы была про AI олимпиады. Там главная моя мысль была как в одном из постов выше тут — что сейчас большинство AI-контестов решаются условным дообучением моделек, и понимать что-то умное про эти модели там не надо. И из-за этого школьники и вообще любые участники соревнований переобучаются на такие типы решений.
Так воот, в качестве примера я привела задачу Cuties Segmentation с NeoAI. Рассказала, какая была идея этой задачи и идея решения, и как я пыталась сделать так, чтобы задача дообученем не решалась. И сказала, что в итоге практически все наши участники умудрились таки надообучать)
А прикол в том, что keynote session проходил в день второго индивидуального раунда, когда как раз была та третья задача с той же идеей, что Cuties Segmentation 😂
Но узнала я о том, что там дали такую задачу, только после своего выступления, было смешно)
И спасибо Саше Гущину, который помогал мне эту презу делать и осматривать 🥰
Сегодня я в Стамбуле, потому что меня позвали гостем на Yandex Cup. Не уверена, зачем именно я тут нужна, но слетать бесплатно в Стамбул я явно не против) Как дали бейдж, выяснилось, что я медиа (фото 5), и все коллеги по тг-каналам, которые тут, уже про ивент написали, поэтому решила вот тоже написать.
Отчёт, что произошло к этому часу: встретила тут нескольких знакомых (например, Лаиду), впервые увиделась с другими людьми, с которыми давно была знакома онлайн (Борис и Артем), встретила двух участников нашей команды с августовского межнара, и ещё несколько школьников, которые были весной не отборе (они пишут Yandex Cup по ML). Несколько раз вкусно поела (после Лондона — это прямо кайф), и успела пожалеть, что не взяла купальник, потому что тут есть бассейн с подогревом под открытым небом прямо у Босфора 😍
Выше писала про то, что участвую в составлении ВсОШ по AI (а точнее, со стороны ML составлением задач занимается почти вся команда, которая тренировала школьников на межнар). Олимпиада новая, состоит аж из трех частей: математика, прога и ML, но стандартных протоколов подготовки к ней пока нет (а в некоторых школах/регионах и вообще никакой подготовки может не быть). И мы с другими тренерами подумали, что было бы неплохо организовать такую подготовку, которая была бы онлайн и открыта для всех желающих. Поэтому мы сделали онлайн-курс подготовки к ВсОШ по AI.
Как и олимпиада, курс состоит из трех частей: математика, прога и ML. Части по математике и проге были сделаны специально под ВсОШ (Саша Гущин очень постарался и нашел людей, которые помогли сделать хороший материал), а ML частично взят с нашего курса для подготовки к межнару + частично дозаписан, чтобы закрыть недостающие темы.
Курс уже начинается, так что приходите!
Пост Саши про курс
И еще раз ссылка на сам курс.
Ванильный RAG не работает. Как исправить?
RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Его выбирают, когда нужно давать точные, верифицируемые ответы на основе собственной базы знаний. Но на практике такие решения почти никогда не работают «из коробки»: вместо полезных ответов — галлюцинации, поверхностные обобщения или просто тишина.
Причин много: эмбеддер не улавливает смысл запроса, поиск не находит нужные документы, генератор не может извлечь то, чего нет в извлеченном контексте. А когда всё ломается — непонятно, с чего начать: тюнить эмбеддер? дообучать генератор? улучшать данные?
В этот четверг команда Deepschool проведёт открытую лекцию, на которой разберёт, как в этой системе навести порядок: что действительно влияет на качество ответов, как выстроить пайплайн правильно и превратить RAG из хаотичного набора компонентов в надёжный рабочий инструмент.
На лекции расскажут:
- почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества
- с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
- какие задачи приходится решать, чтобы RAG действительно работал
- как из разрозненных компонент собрать надежный RAG-продукт
Также на лекции мы представят курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире!
А участникам лекции подарят скидки на обучение 🎁
📅 Лекция пройдёт 6 ноября в 19:00 МСК
Регистрируйтесь по ссылке и до встречи на лекции в четверг!
#промо
И еще пр AI в математике — у Nebius Academy на эту тему недавно вышел целый курс!
Курс был очно в США и Израиле, уже закончился, но, возможно, будет еще в Лондоне. Если будет, то обязательно напишу (и, если вдруг будет время, схожу на него сама, хотя в эт верить довольно наивно). Но материалы курса доступны на GitHub: там есть презентации к лекциям, семинарские ноутбуки с пояснениями и домашние задания. Стас еще обещал выложить туда же lecture notes, так что по такому набору вполне уже можно будет учиться.
Nebius вообще планируют предлагать материалы этого курса преподавателям ВУЗов, чтобы они у себя в университетах вели подобные курсы на основе этих материалов. Если вы хотели бы стать таким преподавателем — пишите Стасу)
Выложили лекцию про AI в математике от Yang-Hui He: Mathematics: The rise of the machines (название-то какое, а)
В качестве затравки к просмотру:
- Yang начинает с краткой истории AI, и рассказывает, как и когда вообще появился термин "Artificial Intelligence". Спойлер: термин "computational intelligence" просто не звучал достаточно круто 🙃
- Еще Янг рассказывает, как в мае 2025 года ездил в Berkeley, где собрали несколько ведущих математиков мира и предложили им собрать четвертую итерацию бенчмарка FrontierMath для LLM. Бенчмарк состоит из ~50 математических задач, которые составители "предложили бы решить коллеге, сильному PhD студенту или постдоку". Говорит, результаты LLMок оказались выше ожидаемых — GPT5 (которая сейчас лидирует в рейтинге) корректно решает уже 4 из них. 4/50 звучит, может, мало, но задачи действительно сложные и из самых разных разделов математики. Примеры задач из бенчмарка можно найти тут
Напомню, что полторы недели назад у нас был вебинар по IOAI, где мы обсудили то, как была устроена олимпиада и какие были задачи. Мы, наконец, выложили запись вебинара на YouTube (в VK тоже осталась запись)
Мы еще сделали отдельный тг-канал IOAI Russia, где будем публиковать все новости/анонсы, связанные с IOAI и некоторыми другими AI-олимпиадами. Там же будет анонс второй части вебинара по IOAI (сюда тоже напишу, но все равно подписывайтесь, там все же будет больше информации, связанной с олимпиадами)
Лекция: Как оптимизировать инференс на ноунейм-плате
Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса моделей. Команда DeepSchool на онлайн-лекции разберёт как раз такой случай из практики с кучей нюансов и их решениями!
Приходите, если вы:
— никогда не ускоряли модели
— ускоряли, но не для эдж-девайсов
— ускоряли для эджей и у вас есть вопросы
🗓 25 сентября, четверг, 18:00 МСК
На лекции узнаете:
① как снизить стоимость инференса на примере автономного автомобиля
② как запустить Vision transformer на плате Texas Instruments
③ о проблемах запуска трансформеров на кастомных платах с NPU
④ про применение прунинга к таким платам
На лекции авторы также представят программу курса "Ускорение нейросетей" и подарят скидки на обучение!
🙋♂️Спикеры лекции:
— Александр Гончаренко — CTO ENOT.аi, хэдлайнер курса Ускорение нейросетей
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay
Регистрируйтесь на лекцию по ссылке!
🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.
Приходите 25 сентября в 18:00 МСК!⚡
#промо
Помните, рассказывала про летнюю школу LogML, и про проект "Representational Alignment for Universal Spaces", который делала моя команда? После LogML я как-то очень много стала слышать про тему Representational Alignment, Platonic Representation Hypothesis и model merging. Говорят, на ICML в этом году на эту тему было очень много статей. Тема действительно интересная и может пролить свет на то, какие representations выучивают разные модели, и насколько они похожи/чем отличаются.
Прямо сейчас, к сожалению, я не могу написать подробный пост про эту тему, потому что через 5 дней дедлайн подачи на ICLR, а я подаю туда аж три статьи 🚬 Но сегодня в 20:00 Мск (через 20 минут) мой ментор с LogML Donato Cristosomi будет рассказывать об этой теме на митапе Cohere Labs. Donato давно занимается этой темой, и, думаю, выступление будет толковым.
P.S. Одна из трех статей, которые я подаю на ICLR — как раз статья про representational alignment, которая родилась с LogML. Обязательно напишу про эту тему, как только пройдет дедлайн ICLR и немного выдохну😱
NeurIPS реджектнул статьи, хотя бы один автор которых аффилиирован с Российской компанией/универом (вот, вот и вот). Вроде бы, реджект дают не прямо всем, а организациям из этого документа, но это не точно. Но, в любом случае, это точно пиздец, такие решения вообще не имеют ничего общего со словом "наука". Честно говоря, не думала, что до этого дойдет в мировой академической среде, но вот.
Очень обидно за классных людей и их статьи, которые вроде бы попали на NeurIPS, а вроде бы и нет(
Наконец выложили лекцию Хинтона "Two paths to Intelligence", которая была в Royal Institution в Лондоне 30 мая (я ходила на нее и писала об этом посты вот тут). Напомню, что лекция была про две основные темы: цифровой vs аналоговый интеллект и риски AI
Выложили еще месяц назад, но вспомнила я о ней и нашла запись только вчера, потому что вчера я тоже была в RI на другой лекции про AI в математике. Читал эту лекцию Yang-Hui He, математик-физик, который занимается наукой в London Institute for Mathematical Sciences (LIMS). Этот институт дает ученым возможность заниматься наукой, не отвлекаясь на преподавание и другую бюрократию, которая обычно присутствует в универах. Находится он там же, в Royal Institution, и работают там очень классные люди, включая Янга. В первый раз я оказалась там летом 2023 года, на воркшопе, посвященном AI в математике, познакомилась с теми, кто там работает, и с тех пор после воркшопов/лекций в RI захожу туда на drinks социализироваться. Янг, например, очень классный и живой человек, любит русский язык и очень классно играет на скрипке. А еще в LIMS сейчас работает Михаил Бурцев, с которым у нас когда-то был выпуск подкаста DLStories.
Как обычно, когда выложат запись вчерашней лекции, принесу ее вам сюда. А если вы в Лондоне, то приходите в RI на лекции, они бывают часто. Билеты продают через Eventbrite, там можно подписаться на организацию RI. Еще здание RI — то, в котором когда-то работал Майкл Фарадей, и теперь там есть его музей
Открыт набор на осенний семестр Deep Learning School! \ (•◡•) /
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. С этого семестра у курса уже три раздела:
- Часть 1: введение в ML, DL & computer vision. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и GAN.
- Часть 2: обработке естественного языка (NLP). Начинаем с эмбеддингов слов и заканчиваем GPT-2,3, RLHF, RAG и другими актуальными темами вокруг LLM.
- Audio & speech processing. Это отдельный семестровый курс, полностью посвященный обработке аудио и речи. Начинаем с основных способ представления аудиосигналов, переходим к задачам и моделям, Speech LLM и Multimodal LLM.
Регистироваться на курс тут. Форму регистрации обязательно нужно заполнить, если хотите получить диплом по окончании курсов.
Старт обучения — 20 сентября. В этот день откроется первое занятие.
Немного подробнее про DLS:
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра, которые будет не стыдно показывать на собеседованиях. Больше информации об организации курса и программы обучения можно найти тут.
Ну и, как обычно, этом семестре мы продолжаем улучшать многие занятия и домашки, записывать новые версии лекций и семинаров.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций в обеих частях курса.
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Для первой чати курса также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, дополнительные вебинары и возможность переноса дедлайнов по домашкам. Подробнее о нем читайте на нашем сайте.
Ссылки:
Наш сайт
Тг-канал с новостями DLS
Подробная программа и оргинформация обоих частей курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
🧡 Поддержать нашу школу на Boosty
Если остались вопросы, задавайте их нам на почту (dlphystech@gmail.com), в комментариях тг-канала DLS или в комментарии под этим постом.
Ждём вас в чатиках курса в новом семестре!
Наткнулась на посты в Substack про жизнь PhD студента под названием "The Life of an AI Researcher: A Series Diving into the Truth of How Everyone Feels". Это два блогпоста в виде ироничных рссказов про пять типов "misery", который вас ожидают на PhD: это написание статьи, определение списка авторов этой статьи, процесс подачи, ревью, ребаттла и принятия этой самой статьи. "Misery" эти вещи в том смысле, что если снаружи академии вам вдруг кажется, что тут все устроено честно, открыто, понятно, царит атмосфера открытой научной объективной дискуссии, все профессора — солнышки, ревьюеры — самые честные, беспристрастные, не подверженные эмоциям люди, и вообще все стремятся лишь к познанию объективной реальности и чистоте научного метода, то изнутри часто это больше ощущается как цирк, где PhD студент чувствует себя клоуном ¯\_(ツ)_/¯ Короче, Вот про то, как все это выглядит изнутри, и есть эти блогпосты.
Посты поделены на две части:
- процесс написания статьи и определния списка авторов
- подача, ревью, ребаттл и финальное решение
Первая часть очень короткая, читается минуты за 3. Вторая гораздо интереснее, и прям прекрасно отражает то, что происходило (и все еще происходит) у меня в голове в процессе ревью и ребалла статей😳
Update к посту про рисерчерские программы, связанные с AI Alignment/Safety:
- Недавно открылась подача на MATS. Напомню, что MATS — это, по ощущениям, "главная" програма по менторству в AI Alignment/Safety: часто, когда рассказывают про другие программы, пишут что-то вроде "MATS-like".
Ну и также напомню, что отбор на эту и многие подобные программы часто включает задания на чтение статей/мини-рисерч, поэтому не затягивайте подачу до самого дедлайна.
Сроки программы — 5.01 — 28.03 (research phase) или 9.10 (в случае продления)
Ссылки:
Сайт MATS
Подать заявку (дедлайн — 2 октября)
В рамках MATS также есть отдельный стрим от Neel Nanda — рисерчера в области mechanistic interpretability. Он обычно открывает подачу на свой MATS стрим в отдельные от основной программы даты. В этот раз подача на его стрим была раньше, чем на официальный MATS, но due to popular demand ее продлили до 12 сентября. Подробная информация про стрим Neel Nanda и ссылка на подачу — в этом гуглдоке
- Еще одна новая программа по AI Safety — Astra Fellowship (вроде бы новая, по крайне мере, я ее раньше не видела). Обещают различные стримы и менторов из хороших ест вроде DeepMind, Anthropic, METR и даже OpenAI! 3-6 месяцев менторства + хорошуая стипендия, и даже помощь с поиском работы/созданием организации в области AI Safety.
Сроки программы — 5.01 — 31.03 (или 31.06, в случае продления до 6 месяцев)
Ссылки:
- Подробный пост в X
- Сайт (там же подать заявку, дедлайн — 26 сентября)
Кроме индивидуальных туров на IOAI был еще team challenge. В нем каждой команде надо было программировать робота складывать разные предметы в корзинку, и потом отвезти эту корзинку на полку (не с нуля, стартовый код был дан). Чем точнее и быстрее робот все сделает, тем лучше. Результаты team challenge считались отдельно, в общий зачет не шли. У одной из двух наших команд — второе место, с разницей в 0.1 балла от первого))))
Team challenge шел три дня. В первый день все команды всех стран писали код для робота без реального робота. По результатам первого дня выбирались 10 команд, которые прошли в финал. Во второй день эти 10 команд отлаживали свой код на реальном роботе, а в третий день были контрольные забеги и замеры. Во второй и третий день ребята шли делать робота после индивидуальных туров (которые занимали 6-8 часов в зависимости от количества технических проблем), так что они вообще герои
Организаторы сказали, что этот team challenge задумывался как что-то зрелищное, что можно показать (а не эти ваши задачки в VS Code, где непонятно что и почему это вообще AI). По зрелищности вышло действительно неплохо. Единственное, реальный робот ездит оочень медленно🥴
Первое видео к посту — ускоренный run команды из Венгрии (не очень удачный, правда). Второе и третье — это я снимала нашу команду (на втором еще можно оценить всю площадку и атмосферу)