2562
Data Сообщество По всем вопросам обращаться @SberlogaHelperBot Чат - @sberlogadataclub
Я: пишу про необходимость изменения собеседований в эпоху AI
META: начинает шевелиться
Тот-самый-азиат:
Перевод:
Слышал об собеседующем из ByteDance, который проводил удаленное собеседование. Способ, которым он решил поймать кандидата на жульничестве с использованием ИИ, был настолько наивным, что это даже абсурдно.Читать полностью…
Интервьюер внезапно сказал: «Закройте глаза и ответьте на этот вопрос».
Тренировки по ML
➖➖➖➖➖➖
2️⃣0️⃣ ноября состоится следующая встреча тренировок по машинному обучению ❤️
📢 Спикер: Александр Дьяконов, первый top1 мирового рейтинга Kaggle, доктор физико-математических наук, член научного комитета ISC международной олимпиады по ИИ IOAI.
На встрече разберём:
⚪️как получать удовольствие от работы с данными и при этом побеждать
⚪️как решать сложные задачи простыми методами
⚪️как одна визуализация данных позволяет избежать сотни ошибок в решении
📆 Когда: 20 ноября с 18:00
🗺️ Где: Покровский бульвар д. 11, ауд. R204
Подробнее про челленджи 🐭
Для участия в тренировке необходимо заполнить форму не позднее 20 ноября, по организационным вопросам вы можете обращаться к Марии ↩️
#анонсы #студенты #ии
Захвати осень силой ИИ и Open Source! 🚀 Буткемп от ИТМО ждет тебя!
Приглашаем на Open Source BootCamp 2025 — 4 дня кода, нейросетей и единомышленников!
🗓️ Когда: 12–15 ноября
📍 Где: очная площадка в Санкт-Петербурге
🔗 Регистрация и программа: [ссылка]
❗️ Успей до 11 ноября! Места тают на глазах.
Что прокачаешь:
💻 Open Source — от лицензий до комьюнити и практические инструменты для применения
🧠 ИИ-агенты — архитектура мульти-агентных систем
🔹 Реальные кейсы интеграции в бизнес
🔹 Командная реализация проектов от идеи до прототипа
⚡ Познакомишься с технологиями Сбера, Центра практического ИИ Сбербанка (Sber AI Lab) — генерального спонсора, чьи Open Source проекты стали стандартом индустрии. Так же поделятся своим опытом и решениями технические партнеры Cloud.ru и GitVerse
Важно:
Мероприятие очное. Организаторы не покрывают дорогу и проживание, но помогут с документами для командировки от вуза/работы.
Готов бросить вызов осени?
Зарегистрироваться можно индивидуально или в составе готовой команды.
Жми на ссылку и занимай место среди будущих звезд AI! ✨
Хочешь узнать больше? Присоединяйся к каналу и чату мероприятия — там можно задать вопросы и первыми узнать дату вебинара, на котором мы поделимся информацией об Open Source BootCamp 2025.
#SberAILab #ИТМО #BootCamp #ИИАгенты #OpenSource #AI #СанктПетербург
🔥 Всем привет! 🔥
Полторы недели назад состоялся очередной выпускной цикла Школы Аналитиков Данных в МТС! 🎉 Ребята, прошли путь от начинающих до опытных аналитиков, презентовали свои финальные проекты — было невероятно интересно и вдохновляюще! 🌟
У меня была лекция по ML system design, где мы рассмотрели основные паттерны и кейсы. Также поделился лайфхаками прохождения собеседования. Благодарю всех за теплые отзывы! 💖
Если вам интересно такого плана обучение, немного информации:
10 месяцев обучения в онлайн-формате обучали Python, математике, основам машинного обучения, MLOps, Spark и многому другому, без чего сложно начать карьеру в Data Science.
Преподаватели — эксперты Центра Big Data
✅ Обучение бесплатное!
Чтобы стать частью нового цикла, нужно:
1️⃣ Подать заявку до 30 октября.
2️⃣ Выполнить вступительное задание.
🚀 Старт обучения — 10 ноября!
👉 Регистрируйся по ссылке и будем ждать тебя в нашей команде! 💪
Еще один доклад был - про модель дохода банка.
Он скорее был об ограничениях ЦБ и какие сложности возникали. Интересно было послушать как цб вообще к этому вопросу подходит. Но есть нюанс который на докладе не подымался
Мы со своей стороны для них строили такую модель как внешний поставщик данных
Внимание - модель должна предсказывать доход клиента.
Как заказчики решили собрать датасет:
Взяли доходы и разбили их по 5% перцентилям на 20 бинов. Получается, что если их так побить, то эти 20 бинов распределены равномерно 😦
Я если честно плохо представляю о чем думал ds на их стороне, когда видел эти данные, и пробовал ли он сам построить такую модель. Интересно было бы на их результаты посмотреть, ведь ниодна модель доход равномерно не предскажет. Пытались ребят убедить пересобрать датасет, чтобы бины хотя бы первоначальное распределение воссоздавали. Но нет, ответ был - "и так сойдет" 😮💨
В итоге пришлось свои прогнозы бинов брать (они очевидно равномерно распределены не были) и таким же образом били на бины по перцентилям 🧠
Получилось норм, но зачем все эти приседания было делать для меня до сих пор остается загадкой 🤔
Еще один "интересный" доклад вчера был
Контекст точно не помню, но условно есть задача построить очень быстро модель, типа бейслайн
Решение:
1️⃣ base
pca на всех фичах - выбрать 10 компонент
2️⃣ advanced
Разбить фичи на 10 кластеров, на каждом запустить pca и выбрать по 5 компонент, итог: 5х10 фичей
Применяем в работе? 🤣
VTORNIK.Вечер #2
30 сентября, с 19:00 до 21:00 мы приглашаем на второе мероприятие в серии. Оно всё так же пройдет офлайн и будет посвящено тому, как подходить к внедрению AI в корпорациях. Послушав вопросы и обсуждения в прошлый раз в конце августа, мы собрали следующую программу:
1. Автоматизация разработки средствами AI: цикл SDLC
Спикер: Роман Смирнов, Системный архитектор, VectorX Сколково и Системный архитектор решений, Лаборатория нейросетевых технологий и компьютерной лингвистики МФТИ. Занимается проектированием архитектуры и разработкой систем с использованием технологий ИИ.
2. Организационные нюансы и бег с препятствиями при запуске AI-инициативы
Спикер: Александр Шевкунов, Экс-CDO билайна. Обладает богатым опытом создания возможностей по монетизации данных, больше 15 лет занимается большими данными и ИИ. Работал в «Сбере», «Яндексе», Райффайзенбанке, Альфа-банке и др.
Место проведения: Офис наших партнеров — компании «Virtu Systems». м. Кропоткинская / м. Полянка, Берсеневская наб., 6, стр. 2, Москва, 3-й этаж.
Мероприятие бесплатное. Регистрация обязательна. Количество мест ограничено.
Будем рады всех видеть! В прошлый раз было душевно.
VTORNIK.Вечер
26 августа, с 19:00 до 21:00 мы приглашаем на наше первое мероприятие. Оно будет проходить офлайн в Москве и будет посвящено вопросам внедрения AI в процессы компании.
Программа мероприятия:
1. Lessons Learned. Уроки, которые мы можем извлечь из предыдущих трансформаций и внедрений на примере Big Data
Спикер: Денис Афанасьев, CPO в Crossover Markets Group. В прошлом директор дивизиона b2b-продуктов Салют SberDevices, CEO в CleverDATA.
2. Q&A-сессия о трудностях внедрения AI в корпорации
Спикер: Яна Чаруйская, Директор продвинутой аналитики корпоративных клиентов Альфа-банка. В прошлом Head of XR в SberDevices, Chief Data Scientist (ML/DL) в Сбере, CPO продуктов Big Data в МТС, руководитель DWH-аналитики.
Место проведения: м. Кропоткинская, пространство Perfect Pitch, Берсеневский переулок 5 стр 2.
Мероприятие бесплатное. Регистрация обязательна. Количество мест ограничено.
Будем рады видеть наших старых друзей и выпускников и познакомиться с новыми людьми!
Хорошего вторника!
Четвертым выступлением стал доклад Ильи Денисова из МТС, посвященный ускорению инференса на GPU. 🚀️
Илья подробно рассказал о эволюции решений инференса, начиная от FastAPI и заканчивая Triton Inference Server. Он поделился информацией о выборе бэкенда, о том, как удалось оптимизировать модель и как происходило ее масштабирование. 🏗️
Это был интересный технический доклад, который будет полезен тем, кто планирует не только обучать модели, но и внедрять их в продакшн. 🛠️
Второй доклад подготовил Даниил Пиманов из "Кион". Темой его выступления стали трансформеры. 📽️
Даниил подробно рассказал о проблемах, возникающих при рекомендациях фильмов. Он поделился, как выбирались метрики, как происходила работа с популярными фильмами и как происходило модифицирование loss функции под конкретные задачи. 🎯️
Доклад был интересным и содержательным, однако за отведенные 20 минут не удалось рассказать обо всем. Осталось ощущение, что хотелось бы уделить этой теме больше времени. ⏰️
Сейчас на Summer Data Science Night на площадке киона. Доклады обещают быть интересными ❤️ Потом поделюсь впечатлениями
Читать полностью…
Ребята, уже через полтора часа у нас начнется лекция Романа
GNN в рекомендациях OKKO
Начало в 18:00
Подключаться можно будет по ссылке:
https://mts.mts-link.ru/j/MTC/99464665
📣 Внимание! 17 июля (четверг) в 18:00 в Sberloga пройдет доклад на тему
GNN в рекомендациях OKKO
🎙️ Спикер - Никифоров Роман, Senior Data Scientist в отделе рекомендаций онлайн-кинотеатра Окко.
⭐ Роман поделится опытом использования графовой нейронной сети для создания персонализированных рекомендаций для пользователей. Узнайте об их экспериментах и достигнутых результатах.
🕕 Ждем вас в @Sberloga в 18:00!
(ссылку пришлю перед докладом в канал, подписывайтесь, чтобы не пропустить)
🚀 Новый курс по рекомендательным системам и RePlay — прокачай навыки персонализации данных!
В мире, где персонализация решает всё — от любимых фильмов до идеальных покупок — рекомендательные системы стали must-have инструментом. Хотите не просто понимать их, а создавать с нуля? Тогда этот курс для вас!
Sber AI Lab представляет курс по рекомендательным системам и open-source библиотеке RePlay!
🔘 Погружение в основы: от коллаборативной фильтрации до гибридных моделей
🔘 Практика на реальных кейсах, только работающие решения
🔘 Освоение RePlay — мощного инструмента для построения рекомендаций
🔘 Гибкий график — учитесь где угодно и когда удобно
🎁 Бонус: Сертификат от СберУниверситета для участников, кто успешно закроет все модули - для резюме и личной гордости
Зачем это вам?
Рынок рекомендательных систем растёт на 24,7% в год (Research Nester), и спрос на специалистов огромен. С этим курсом вы войдёте в топ востребованных профессионалов!
💻 Записаться на курс
#курс
❤ @sb_ai_lab
⚡️ Вышел Apache Spark 4.0. Что интересного в релизе:
1️⃣ Новая архитектура клиент-сервер Spark Connect. Теперь клиентское приложение отделено от кластера Spark. Это значит, что подключаться к Spark можно будет из любой среды и ЯП, включая Python, Scala, Go, Swift и Rust. Кстати, клиент для Python весит всего 1,5 МБ и устанавливается просто через pip install pyspark-connect.
2️⃣ Режим ANSI SQL по умолчанию. Раньше Spark прощал многие ошибки – например, если ты делил на ноль или числа не влезали в столбец, он просто возвращал NULL или тихо обрезал значение. Это было удобно, но могло скрывать баги. Теперь включён режим ANSI SQL по умолчанию – как в классических базах данных. Если в запросе ошибка, Spark сразу об этом скажет и выбросит ошибку. Получается более надежно и предсказуемо.
3️⃣ Materialized Views. Это сохранённый результат SQL-запроса, который может автоматически использоваться при выполнении будущих запросов, если Spark понимает, что часть запроса уже была вычислена и закеширована. То есть теперь повторяющиеся запросы не надо каждый раз пересчитывать, можно просто достать из кэша. Супер существенно для времени и нагрузки на кластер.
4️⃣ Python Data Source API. Это прямо очень приятно: теперь не надо учить Scala, чтобы подключиться к кастомному источнику данных, все можно сделать просто на питоне. Это сильно упрощает интеграцию Spark с веб-сервисами, файлами, базами данных и вообще чем угодно.
5️⃣ Новый тип данных VARIANT. Это специально для полуструктурированных данных. То есть теперь, если у вас где-то лежат вложенные поля или JSON, запросы к ним можно выполнять прямо из коробки, предварительно не описывая схему.
Официальный релиз
Пацаны на заметочку берите как проводить собезы
если есть подозрение на использование gpt 🧠
VTORNIK.Вечер #4
25 ноября, с 19:00 до 21:00 мы приглашаем вас на наш последний митап в 2025 году. Он пройдет офлайн и будет посвящен тому, как подходить к внедрению AI в корпорациях. В этот раз вас ждет следующая программа:
1. ИИ как партнер в бизнесе, основанном на данных
Спикер: Донат Фетисов, Директор по стратегии управления данными, офис CDO, Ростелеком.
В прошлом директор по информационной безопасности и директор по платформе Big Data, архитектуре и data engineering в билайне. CTO команды по внедрению ML на производстве в Северсталь Digital, а также Руководитель Лаборатории данных (2015-2018) и проекта по созданию промышленного кластера Big Data в Сбербанке.
2. Популярные сценарии применения AI в бизнесе и с чего начинать?
Спикер: Андрей Уваров, CDO c 10-летним опытом внедрения продвинутой аналитики, ML и AI. Занимался внедрением в различных индустриях (Яндекс.Такси, Яндекс.Лавка, ivi.ru, МегаФон), консультант Института искусственного интеллекта МФТИ, заставляет данные и алгоритмы приносить бизнесу пользу, заметную в PnL.
Место проведения: Офис наших партнеров — компании «Virtu Systems», адрес: м. Кропоткинская / м. Полянка, Берсеневская наб., 6, стр. 2, Москва, 3-й этаж.
Мероприятие бесплатное. Регистрация обязательна. Количество мест ограничено.
Будем рады всех видеть!
VTORNIK.Вечер #3
28 октября, с 19:00 до 21:00 мы приглашаем на третье мероприятие в серии. Оно пройдет офлайн и будет посвящено тому, как подходить к внедрению AI в корпорациях. В этот раз вас ждет следующая программа:
1. Дорожная карта ИИ: от быстрых побед к экосистеме и новым возможностям
Спикер: Иван Дашкевич, Владелец ИИ-интегратора Octobrain и Главный архитектор Finam Flow – мультиагентного корпоративного ИИ компании Finam. Совладелец, главный архитектор и ключевой разработчик Lia Chat — системного решения для автоматизации первой и второй линии поддержки.
2. AI-First Трансформация. Почему главный барьер — не технологии,
а мышление лидеров
Спикер: Денис Реймер, Основатель и CEO Reymer Digital. В прошлом:
- Вице-президент ГК ЛАНИТ (LANIT-BPM, CleverDATA, DTG)
- Директор по продуктам B2B и инновациям, ЭР-Телеком Холдинг
- Член совета директоров банков и технологических компаний
Executive MBA, IoD Certified Director.
Место проведения: Офис наших партнеров — компании «Virtu Systems». м. Кропоткинская / м. Полянка, Берсеневская наб., 6, стр. 2, Москва, 3-й этаж.
Мероприятие бесплатное. Регистрация обязательна. Количество мест ограничено.
Будем рады всех видеть!
В Авито feature selection занимается ллмка, по бизнес описанию задачи, сопоставляется описание фичей и выбираются подходящие по описанию.
Да, там есть еще этапы отбора, но предварительным отбором занимается ллм.
Короч как думаете - работает или кто-то ради премии вкрутил ллм в пайплайн? 🍿
Место встречи изменить нельзя: увидимся на Data.Meetup💡
Сбер и Т-Банк подготовили доклады и панельную дискуссию о графовых решениях. Будем говорить о реальных задачах, технологиях и кейсах, которые уже работают в бизнесе.
В программе:
⚫️ практические примеры применения графов в финтехе и телекоме
⚫️ обзор графовых платформ разных компаний
⚫️ панельная дискуссия: как графы решают задачи в реальном бизнесе
⚫️ нетворкинг с инженерами и лидерами BigData-направлений
Когда и где встречаемся:
👉 10 сентября, 17:00
👉 Кутузовский пр-т, 32к1
👉 Онлайн + офлайн
Программа и регистрация👀
Пятый доклад был от Александра Вавилкина из "Альфа-Банка". Он рассказывал о кейсах применения RAG в банковской сфере. 🏦️
Были рассмотрены сценарии использования LLM при обращениях клиентов. Однако, на мой взгляд, в этом не было много новизны - сегодня подобные решения уже не кажутся чем-то необычным. 🔄️
Однако, это не делает доклад менее ценным. 🧐️
Третий доклад был от Алексея Пустынникова из ВТБ. Темой его презентации стало использование геоэмбедингов для решения задачи оптимального расположения банкоматов. 🏧️
Вкратце, рассматривались геопатчи размером 500х500 метров, для которых строились геоэмбединги. Также строились эмбединги клиентов и модель, определяющая для каждого клиента оптимальные патчи для расположения банкоматов. 🌍️
Проект выглядит весьма интересным, но сложным. Остается неясным, дал ли он эффект выше, чем аналитический подход с анализом локаций, где клиенты снимают деньги, но нет собственных банкоматов. На этот вопрос, по всей видимости, был дан ответ о проведении А/В-теста... но, если честно, в это сложно поверить. 🙂️
Первый доклад был от Димы Берестнева из "Звука". На мой взгляд, это был лучший доклад дня, посвященный внутреннему устройству рекомендательной платформы в "Звуке". 🎧️
Дима рассказал о том, какие модели используются и как происходит взаимодействие продуктов. 🛠️
Честно говоря, количество различных моделей и решений было впечатляющим. Осталось неясным, как ребята пришли к такой архитектуре - кажется, схема довольно сложная и росла она исторически. Не факт, что каждый элемент вносит значительный вклад. 🤔️
Интересным моментом было то, что отбором кандидатов занимается RL. 📊️
📖️ Видеопост прошедшей лекции, как обещал!
Отдельный респект Роману за его крутой доклад! Очень подробно раскрыл специфику построения моделей, тонкости и разные подходы. 👍️ Рекомендую к просмотру!
Кстати, для удобства выкладываю видео и в VK, и в YouTube, чтобы не мучиться с VPN из России:
🎬 VK: https://vkvideo.ru/video-231661716_456239017
🎬 YouTube: https://youtu.be/7vfsl9HV5_c
Смотрите и наслаждайтесь! 🎥
МТС True Tech и ComDS приглашают на Summer Data Science Night — вечерний open-air митап для специалистов по DS и ML. Встречаемся 29 июля в 19:00 во дворе бара «Стрелка», который на одну ночь превратится в летний кинотеатр для data-фанатов.
Обсудим:
⭐️«Вызовы для DS 2025 в России».
Спикеры:
— Никита Зелинский, CDS & Head of ML Platforms МТС, автор канала Дата канальи – про „специалистов“ данных в ML/AI
— Евгений Смирнов, CDS & Head of ML Lab, Alfa-Bank, автор канала Нескучный Data Science
— Шамаев Юлий, начальник управления моделирования партнерств и ИТ-процессов, Банк ВТБ.
⭐️ «Наши RecSys-технологии: как мы завариваем вашу любимую музыку». — Дмитрий Берестнев, начальник управления машинного обучения, Hi-Fi стриминга Звук.
⭐️ «Трансформеры в кино. Как мы строим персональные рекомы в KION». — Даниил Пименов, Team Lead RecSys в KION, MWS Big Data.
⭐️ «Георекомендации: как мы подсказываем клиентам, где тратить деньги». — Алексей Пустынников, DS Team Lead команды GeoML Банка ВТБ.
⭐️«Serving по-взрослому: ускорение NLP inference в 50 раз в Антиспаме» — Илья Денисов, ML Team Lead команды Антифрод MWS Big Data.
⭐️«Практические кейсы внедрения Rag: помощник оператора и HelpDesk» — Александр Вавилкин, Middle Data Scientist, Альфа Банк.
Готовьте ваши вопросы спикерам, под попкорн будем выбирать лучшие!
🗓 29 июля
🕗 19:00–22:30
🔗 Офлайн. Количество мест ограничено. Регистрируйтесь по ссылке.
📌 США могут ускорить гонку ИИ, вложив в "Манхэттенский проект ИИ" ресурсы, сопоставимые с программой «Аполлон».
Идея «Манхэттенского проекта для ИИ», витавшая последние месяцы на самом высоком уровне в США, кажется, начинает обретать очертания. Но за громкими сравнениями обычно теряется суть: а что это значит на практике?
Аналитики из Epoch AI решили посчитать, какой вычислительный монстр может появиться, если американское правительство консолидирует ресурсы частного сектора и вложит в проект долю ВВП, сопоставимую с пиком лунной программы.
Epoch AI - некоммерческий исследовательский институт, который изучает траекторию развития искусственного интеллекта, анализирует тренды в вычислениях, данных и алгоритмах, чтобы прогнозировать влияние ИИ на экономику и общество.
🔥 Исследователи Яндекса выложили в опенсорс один из самых больших в мире датасетов для RecSys
Речь про YaMBDa — Yandex Music Billion-interactions Dataset. Он создан на основе обезличенных данных Яндекс Музыки, крупнейшего подписного музыкального сервиса в России, а также «Моей волны», главного рекомендательного продукта сервиса. Датасет содержит обезличенные взаимодействия 1 миллиона пользователей Яндекс Музыки с 9 миллионами треков в течение 10 месяцев. Всего это 5 миллиардов событий.
https://habr.com/ru/companies/yandex/articles/913294/