2562
Data Сообщество По всем вопросам обращаться @SberlogaHelperBot Чат - @sberlogadataclub
Доброе утро😊
Сегодня у нас по плану очень насыщенный день!
В 11:00 по мск стартует онлайн-программа от Natural Language Processing и DS/ML Open Source секций феста.
До 12 успеем показать два доклада, далее вернемся в эфир в 15:00. Подробное расписание докладов и нетворкинга по ссылке.
Подключайтесь в наш спейс Spatial.Chat (пароль festparroteverywhere23)
Далее, с 17:30 мы начнем показывать в эфире все что происходит на офлайн-площадке Яндекс, так что все, кто не попал на офлайн смогут посмотреть наш эфир.
👀А следующим постом будет анонс двух(!) дополнительных офлайн площадок в Москве 🥰
На Ютубе появился новый жанр: как разбогатеть благодаря искусственному интеллекту.
Вчерашние NFT-эксперты переобулись в AI-экспертов.
Секция Reliable ML на Data Fest Online 2023
Call for Papers
Друзья, рады сообщить вам, что крупнейшая русскоязычная конференция по Data Science - Data Fest от сообщества Open Data Science состоится и в 2023 г. (в конце мая).
И на ней снова будет секция от Reliable ML. Ждем ваших заявок на доклады: пишите напрямую мне или Диме.
Про секцию
Концепция Reliable ML – это о том, что делать, чтобы результат работы data команд был, во-первых, применим в бизнес-процессах компании-заказчика, а, во-вторых, приносил этой компании пользу.
Для этого нужно уметь:
- правильно собрать портфель проектов (#business)
- продумать дизайн системы каждого проекта (#ml_system_design)
- преодолеть разные трудности при разработке прототипа (#tech #causal_inference #metrics)
- объяснить бизнесу, что ваш MVP заслуживает пилота (#interpretable_ml)
- провести пилот (#causal_inference #ab_testing)
- внедрить ваше решение в бизнес-процессы (#tech #mlops #business)
- настроить мониторинг решения в проде (#tech #mlops)
Если вам есть, что сказать по темам выше, пишите! Если сомневаетесь, все-равно пишите. Много крутейших докладов предыдущих треков Reliable ML появились в результате дискуссии и совместной работы над темой.
Если вы не готовы делать доклад, но послушать интересного хочется, то вы всё ещё можете помочь! Сделать репост в релевантное сообщество/переслать другу = поучаствовать в создании хорошего контента.
Регистрация и полная инфо про Data Fest 2023 тут.
Ваш @Reliable ML
Еженедельный обзор мероприятий в IT на 3 – 9 апреля от @dmitrii_ireshev_Agile_PMP
4 АПРЕЛЯ
📍 Прогресс-собрание по OKR на 100 баллов. В 11.00, онлайн, бесплатно.
📍 Вебинар OKR Basic Certification. В 19.00, онлайн, бесплатно.
📍 Единый реестр российского ПО. В 19.00, онлайн, бесплатно.
5 АПРЕЛЯ
📍Митап Tech Talks по тестированию. В 17.00, онлайн, бесплатно.
📍Вебинар Документация в продуктовой разработке. В 18.00, онлайн, бесплатно.
📍Вебинар Рекомендательная система для интернет-магазина. В 20.00, онлайн, бесплатно.
6 АПРЕЛЯ
📍 Purrweb startup meetup. В 19.00, онлайн, бесплатно.
#events #JohnWickChapter4 #ДжонУик4
Репосты приветствуются 😇
Нет времени ждать пора регистрироваться на спортивный кемп в Турцию!!
На майские праздники будут спортивные сборы в Турции.
Проводит их наш знакомый
@Swimserafim
Расписание насыщенное! Будем плавать в бассейне и на открытой воде. Прокатимся на яхте по проливу Дарданнеллы. ⛵️ На велосипеде устроим туристическую прогулку по городу 🚴♀️
Скорее переходим по ссылке 👇
https://swimserafim.org/turkey
Даже если плавать не умеете, Серафим всего за пару занятий сможет вас научить 👍
А пообщаться за спорт и задать вопросы всегда можно в @sberlogasportsclub 💪
💥ОТКРЫТА РЕГИСТРАЦИЯ НА КУРС💥
20 марта 2023г перезапуск БЕСПЛАТНОГО курса MLOps и production подход к ML исследованиям при поддержке Open Data Science .
🔥РЕГИСТРАЦИЯ🔥
уже идет полным ходом, переходите по ссылке и жмите кнопку «Участвовать».
Следите за обновлениями в нашем Telegram чате для участников курса, там же вы можете задать любые вопросы связанные с курсом.
Кому будет полезен курс?
✨ML-инженеры
✨Аналитики и инженеры данных
✨Менеджеры AI-продуктов и руководители (тимлиды) ML-команд
Необходимые навыки:
🤓Python
🤓Основы машинного обучения
Что Вас ждет?
На курсе вас ждут 12 онлайн занятий, продолжительностью 1 - 2 часа. (В основном по понедельникам 18:30). Все занятия будут доступны в записи. Для дополнительной мотивации будет вестись публичный рейтинг, лучшие участники получат уникальный мерч от ODS.
🔥Участников ждут практические домашние задания, тесты, индивидуальный финальный проект, а так же дополнительные активности и митапы, которые будут предлагаться участникам по ходу курса.
💪🏼Вперед за прокачиванием Ваших нard skills! Ждем всех желающих!
❓По любым вопросам, связанных с курсом @Irinka_Bekker
Open Data Science (ODS.ai)
MLOps и production подход к ML исследованиям 2.0 — Open Data Science
https://neptyne.com/neptyne/tutorial
Наконец кто-то догадался объеденить python и Эксель. Я уже наверное 5 лет эксель и googlesheets не запускал даже, но возможно эта фича может вдохнуть новую жизнь в таблички. Использование функций Python в таблицах позволит быстро анализировать данные, создавать сложные формулы, автоматизировать задачи и многое другое. Ну и разве не прекрасно, что больше нет вот этих вот =ВПР() СУММПРОИЗВ() и остальных нечитабельных функций
Только вопрос, где это раньше появится - в GoogleSheets или у MS Excel?
@sberloga
Вы когда-нибудь хотели поделиться своими результатами с Jupyter Notebook с нетехническим специалистом?
Вам нужно переписать свой анализ в какой-нибудь веб-фреймворк или скопировать-вставить графики в презентацию PowePoint?
Mercury предлагает набор интерактивных виджетов, которые можно использовать в блокноте Python.
Блокноты можно использовать в качестве веб-приложений, презентаций, отчетов, информационных панелей, статических веб-сайтов или REST API.
Сайт проекта RunMercury.com
Репозиторий Mercury GitHub https://github.com/mljar/mercury
MTC ML Cup
+ небольшая затравка в виде 10 минутной статьи 👍
https://habr.com/ru/company/ru_mts/blog/709602/
Это доклад на тему мотивации и о факторах влияющих на нее и нашу продуктивность. Если у вас есть какие-то цели на этот год - советую посмотреть, чтобы довести свой план до конца 💪
Материалы:
https://mosyag.in/talks/2019dec18-BestDoctor-Igor-Mosyagin-Motivation-Equation.pdf
Дзен-митап: исследования в рекомендательных системах
- 19 мая (четверг)
- Кузнецкий Мост 6/3
- бесплатно
- Сначала рассмотрим алгоритмы матричной факторизации с адаптивным размером векторов, которые позволяют повысить качество ранжирования при меньшем числе параметров, после этого поговорим про то, как принимают решения о выкатке новой фичи с рекомендательными системами в А/Б тесты и в итоге подискутируем о сходствах и различиях исследований в рекомендательных системах в академии и бизнесе.
Стенфорд выложил все видосы cs224n Winter 2021 Natural Language Processing. 🔥🔥
Это один из лучших курсов по nlp в мире, и теперь доступна его более свежая версия. Есть нормальная лекция по трансформерам, T5, low resource MT.
Всем смотреть.
https://youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
Ребята, немного отвлечь хотел бы от текущих мрачных событий
LinkedIn & Github Circlejerk
https://docs.google.com/spreadsheets/d/1mzDwl1HIv3djyyOg0d9C4rD62CxwAlE7tSk-b27aa0k/edit#gid=0
Это страничка с контактами в linkedin и проектами на Github
Правила простые:
Расширяйте свою сеть контактов
Ставьте плюсики на скилы
Ставьте звездочки на GitHub
Всем Мир ✌️
❤️ @sberloga ❤️
Source: Classification of 74 facial emoji’s emotional states on the valence-arousal axes
https://www.nature.com/articles/s41598-021-04357-7 (Scientific Reports, 2022)
One way psychologists classify emotions is by valence and arousal. Valence is spectrum of good/bad. Anger is bad. Sadness is bad. Happiness is good. Love is good. Arousal is the strength of the emotion (it has nothing to do with sexual arousal). Being irritated is lower arousal than being in a fit of rage.
Ok so we have these two spectrums: valence and arousal. We can now plot emotions on a graph. Rage would be high arousal and low valence (or negative valence if neutral is 0). Boredom would be low arousal and slightly negative valence. And so on.
Now what if we took emojis and, tying them to emotions, placed them on the graph of valence/arousal? That could be interesting. But how do we decide if heart eyes is high valence and high arousal like lust is, or maybe less arousal like admiration? We can't just take one person's opinion. We have to crowd source it! So we ask 100s of people where they would place an emoji on the scale.
After asking all those people we have an average (mean) score for each emoji and we can place the emojis on the chart. But some emojis have a very wide range of responses, so we should indicate the range (high and low) of each rating. We do this with the line extending from each emoji.
❤️ @sberloga ❤️
Soft skills
📢 Решил поделиться о различных направлениях развития DS, одно из которых - мастерство презентаций. Довольно часто приходится сталкиваться с ситуациями когда нужно объяснить свою работу людям которые мягко говоря в DS не разбираются. Это бывает довольно сложно, но это вдвойне сложнее если результаты не уметь представлять. Не то чтобы я не умел презентации делать, ну вроде слайды есть, картинки есть, какой-то текст, цифры, выводы, выглядит даже хорошо, кому не покажи, все подтверждают - "все супер!"👍 Но мне предложили прислать свою презу девушке у которой хобби - делать крутые презентации. И я был в шоке. Слайды по существу не изменились, но визуально сделаны правильные акценты, стиль изменился, порядок немного изменился и стало лучше раз в 50. Хотя на тот момент казалось, что улучшать было уже нечего. Мне даже казалось, что произошла какая-то магия 🪄
📈 Год назад представилась возможность за счет компании пройти внешний курс и мне порекомендовали курс по презентациям от Bonnie and Slide - "Графики, таблицы, много всего на слайде" и не пожалел. Курс состоял из 4х недель, в рамках которых были 4 домашки и одна финальная выпуская работа. Самое интересное что там рассказывают - прям на примерах как подчеркнуть основные элементы, откуда брать все шрифты и иконки, как управлять стилем, как отрисовывать красивые графики из экселя, все очень кратко и по делу. По итогам курса реально меняется немного представление о powerpoint и уже смотришь на них немного подругому 🤯
📊 На картинках несколько примеров один и тех же слайдов в стиле ДО и ПОСЛЕ (прям в курса). Понятное дело, что картинка ДО это скорее самый неудачный вариант, но могу сказать следующее - на прошлой неделе происходило демо команды для руководства компании и ... было представлено 3 слайда приблизительно вот такого уровня ДО, а возможно и хуже 👎. Если на них посмотреть - появлялось только больше вопросов чем ответов. Результат был соответствующим - руководство не увидело ни результатов, ни планов, ни ответов на вопросы повестки. Я к сожалению тут выложить слайды не могу, но уж поверьте - каждую секунду что вы на них смотрите, где-то плачет дизайнер 😭
Поэтому обратите внимание на картинки ПОСЛЕ и подумайте делали ли вы такого плана слайды. Если нет - вам есть куда расти 💪
❤️ @sberloga ❤️
#nlp #про_nlp #ai_alignment
🌸Курсы и летние школы ML & AI Alignment🌸
Если блуждающий разум жаждет пищи на майские а не только шашлыка, то я собрала небольшую подборку школ, где разбирают тему AI Alignment, безопасности и этики LLM.
Подборка может быть полезна всем, кто хочет стать более подкованным в теме, специалистам NLP, CV и не только.
SERI ML Alignment Theory Scholars Program
🟣https://www.serimats.org/ Подача заявок до 7 мая!
Подаюсь сюда сейчас сама: цикл семинаров и менторство для специалистов в области ML — LLM Alignment, AI hacking, RL, Agents, Deceptive AI.
Организаторы: Stanford Existential Risks Initiative, Berkeley Existential Risk Initiative, Conjecture, Anthropic, MIRI
LxMLS - The 13th Lisbon Machine Learning School
🟣http://lxmls.it.pt/2023/ 14-20 July 2023
Летняя школа по машинному обучению с лекторами из DeepMind, Google, Carnegie Mellon
Подача заявок еще открыта: https://lisbonmls.wufoo.com/forms/application-form-lxmls-2023/
Ожидается цикл лекций по causality + много очень качественных вводных лекций по transformers, LLMs, CV. Приглашенные лекции еще не назначены — но они обычно очень качественные. Мне повезло быть в 2018 на лекции, где рассказывалось про необходимость перехода к авторегрессионным моделям в машинном переводе, и рассказывал аспирант Бенжио, применивший attention к распознаванию речь в 2015 году!
Циклы лекций педыдущих лет доступны, вот плейлист 2018: https://www.youtube.com/playlist?list=PLToLj8M4ao-cVzDgike8A5_FSvoqYSqik
NYI - The NYI Global Institute of Cultural, Cognitive, and Linguistic Studies
🟣https://nyispb.org/ 29 June - 14 July 2023
Ездила сюда 2 года подряд, когда еще все было в оффлайне. Каждый раз, когда запускается школа, есть курс по "этике алгоримтов" (раньше этика ИИ так называлась), проблемам дата-колониалзма и корпоративного буллшита. Плюс целый трек по теоретической лингвистике, в том числе начальный уровень. Очень рекомендую.
Пример: лекция Colonized by Data, Nick Couldry & Ulises Mejias
Натолкнулся на такого плана ролики на YT
https://www.youtube.com/watch?v=iE39q-IKOzA
https://www.youtube.com/watch?v=ZUVMKuY6QvU
https://www.youtube.com/watch?v=QuY7ztfBdKE
https://www.youtube.com/watch?v=Zzqtd_-68KA
https://www.youtube.com/watch?v=e3dNTFAHy0o
https://www.youtube.com/watch?v=MSaqbT1hsso
Оказывается есть пошаговая инструкция как сделать такого плана ролики
https://www.youtube.com/watch?v=TGD8zKvRxc4
Мне показалось довольно интересным сочетание различных сервисов и нейронок для того чтобы получить такой эффект, так что первоапрельская вакансия Нейросетеолога уже и не так смешно выглядит
🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.
Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting
Всё это позволило добиться впечатляющего качества на различных доменах генераций.
FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).
Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace
Спасибо всей команде за слаженную и качественную работу - испытываю несказанную признательность каждому🔥
@complete_ai
IT Конференция от МТС 31 марта 2023
https://truetechday.ru/
💃Уже скоро будет релиз модели Kandinsky 2.1!
Мы в Sber AI скоро представим новую диффузионную модель, которая генерирует картинки.
Что она может:
1) Генерировать картинки по тексту🤔
2) Смешивать картинки⌛️
3) Смешивать картинки и тексты🃏
Ждите релиз на следующей неделе, будет полный опенсурс всех весов и кода обучения)
Делимся расписанием ИИшницы "AI Señoritas", которая пройдет в этот четверг на YouTube-канале AIRI 🍳
▪️15:30 – Вступление, ведущая мероприятия – Татьяна Шаврина, AIRI
▪️15:35 – «Что такое объяснимый искусственный интеллект (XAI)?» Алена Суворова, ВШЭ
▪️16:00 – «Топологический анализ данных» Ирина Пионтковская, Huawei
▪️16:25 – «Развитие мультимодальных моделей. RUDOLPH: мультизадачная модель для работы с текстами и изображениями» Елизавета Гончарова, ВШЭ
▪️16:50 – «Глубокое обучение для клеточно-специфичной интерпретации мутаций в не кодирующих белки регионах генома» Мария Синдеева, AIRI
Начинаем весну красиво 2 марта на канале AIRI!💃
Прошлую ИИшницу про статьи на конференции NeurIPS 2022 можно посмотреть по ссылке 🍿
«Probability and Statistics for Data Science» (2017)
Книга охватывает такие темы, как: распределения вероятностей и их свойства, статистические выводы, стохастические процессы, линейная регрессия и многое другое. Она призвана помочь читателям понять концепции, лежащие в основе науки о данных, и расширить свои знания в этой области. Книга находится в свободном доступе. Эта книга — отличный ресурс для всех, кто хочет больше узнать о вероятности и статистике.
@sberloga
Sketch - помощник по написанию кода на основе ИИ для пользователей pandas.
Теперь даже код писать не нужно чтобы графики строить и выяснять инсайты в данных. Достаточно спросить sketch.
Лица аналитиков представили?
https://github.com/approximatelabs/sketch
Наткнулся на довольно подробный гайд с трюками для эффективной тренировки трансформеров. От Layer Norm, до ReZero и рецептов для обучения на маленьких датасетах.
Наслаждайтесь:)
@ai_newz
Помоему уже не один раз скидывал
https://youtu.be/1NMvI_ZqYgk
Как минимизировать ручной труд в ML-разработке? Что сделать перед обучением ML-модели, чтобы упростить себе задачу?
19 мая в 11:00 эксперты платформы ML Space расскажут о новом модуле для автоматизации хода обработки данных и ML-моделирования Pipelines. Вы увидите полный цикл работы с данными и ML-артефактами на платформе через UI и API. Регистрируйтесь на вебинар и готовьтесь к заоблачным AI-перспективам!
Sberdevices выпустили многоязычную GPT-3 ! https://habr.com/ru/post/662195/
Читать полностью…
Новости от разработчиков Sber
В сервисе Jazz by Sber появилась новая функция — MVP транскрибации (текстовая расшифровка разговора в режиме реального времени).
Пожалуйста, помогите нам стать лучше) Просим вас пользоваться этой функцией и репортить об ошибках.
Чтобы воспользоваться транскрибацией в Jazz нужно:
1. Скачать приложение Jazz by Sber Desktop или зайти в web-версию сервиса и авторизоваться по Sber ID на сайте jazz.sber.ru (для получения Sber ID не обязательно быть клиентом СберБанка).
2. Создать конференцию и пригласить туда минимум одного собеседника.
3. Включить или выключить расшифровку в разделе «Прочее» в настройках сервиса, опция “Включить расшифровку“. Вы должны быть администратором встречи.
4. Посмотреть и скачать расшифровку диалогов сможет любой участник встречи в окне «Общение.
Также во вкладке “Общение“:
- Вы можете выбрать – «показывать только чат» или «показывать чат и расшифровку».
- Вы можете скачать чат и расшифровку встречи.
- Появился поиск по чату и расшифрованному диалогу.
❤ @sberloga ❤
🚀 Open source решения Sber AI Lab
LAMA: LightAutoML - самый быстрый и точный фреймфорк AutoML на табличных данных
RePlay - фреймоврк для создания RecSys на PySpark
На HighLoad++ ребята планируют презентовать 2 новых пайплайна для LightAutoML: для GPU и для Spark - LAMA станет еще быстрее и эффективнее. Если вдруг вам интересно протестить их раньше остальных, то пишите @RyzhkovAlex
Так же их решения вышли в этап открытого голосования за звание лучшего open source решения, где очень нужна ваша поддержка (голосование продлится до 26 февраля). Важно — проголосовать можно только один раз.
📣 Проголосуйте за лучшее open source решение тут:
https://opensource.highload.ru/vote
Вы знаете что делать 👍
❤️ @sberloga ❤️
