Federated Learning using Hugging Face and Flower
В этом уроке рассматривается, как использовать Hugging Face для Federated Learning (так называется совокупность методов обучения ML моделей на распределённых данных) языковых моделей на нескольких клиентах с помощью фреймворка Flower
This tutorial will show how to leverage Hugging Face to federate the training of language models over multiple clients.pip install datasets evaluate flwr torch transformers
🤗 Hugging face: https://huggingface.co/blog/fl-with-flower
🌷 Flower: https://flower.dev/
🖥 Colab: https://colab.research.google.com/github/huggingface/blog/blob/main/notebooks/fl-with-flower.ipynb
🖥 Github: https://github.com/adap/flower/tree/main/examples/quickstart_huggingface
ai_machinelearning_big_data
Conditional Image-to-Video Generation with Latent Flow Diffusion Models
New approach for cI2V using novel latent flow diffusion models (LFDM) that synthesize an optical flow sequence in the latent space based on the given condition to warp the given image.
Генерация видео из изображений с использованием моделей диффузии.
🖥 Github: https://github.com/nihaomiao/cvpr23_lfdm
⏩ Paper: https://arxiv.org/abs/2303.13744v1
💨 Dataset: https://drive.google.com/file/d/1dRn1wl5TUaZJiiDpIQADt1JJ0_q36MVG/view?usp=share_link
ai_machinelearning_big_data
🔥 Fix the Noise: Disentangling Source Feature for Controllable Domain Translation
A new approach for high-quality domain translation with better controllability.
Новый подход, который позволяет плавно контролировать степень сохранения исходных характеристик при генерации изображений.
🖥 Github: https://github.com/LeeDongYeun/FixNoise
⏩ Paper: https://arxiv.org/abs/2303.11545v1
💨 Dataset: https://paperswithcode.com/dataset/metfaces
ai_machinelearning_big_data
Train your ControlNet with diffusers 🧨
ControlNet is a neural network structure that allows fine-grained control of diffusion models by adding extra conditions.
В этой статье подробно рассматривается каждый шаг, обучения модельи Uncanny Faces - модель поз лиц, основанную на синтетических 3D лицах.
🤗 Hugging face: https://huggingface.co/blog/train-your-controlnet#
🖥 Github: https://github.com/huggingface/blog/blob/main/train-your-controlnet.md
⏩ ControlNet training example: https://github.com/huggingface/diffusers/tree/main/examples/controlnet
ai_machinelearning_big_data
ReVersion : Diffusion-Based Relation Inversion from Images
ReVersion for the Relation Inversion task, which aims to learn a specific relation (represented as "relation prompt") from exemplar images.
Фреймворк для поиска общих сущностей в изображениях для генерации промптов для синтеза новых изображений.
🖥 Github: https://github.com/ziqihuangg/reversion
⏩ Paper: https://arxiv.org/abs/2303.13495v1
💨 Project: https://ziqihuangg.github.io/projects/reversion.html
⏩ Video: https://www.youtube.com/watch?v=pkal3yjyyKQ
ai_machinelearning_big_data
NeAT: Learning Neural Implicit Surfaces with Arbitrary Topologies from Multi-view Images
Novel neural volume rendering method, which uses SDF and validity to calculate the volume opacity and avoids rendering points with low validity.
Новая нейронная система рендеринга, которая может опрелелять различные поверхности на фото с произвольной топологией на основе многоракурсных изображений.
🖥 Github: https://github.com/xmeng525/NeAT
⏩ Paper: https://arxiv.org/abs/2303.12012v1
⏩ Dataset: https://www.dropbox.com/sh/utn5rnohmr0y2c8/AACdets4PQrP5CB1KwGkpOFUa?dl=0
💨 Project: https://xmeng525.github.io/xiaoxumeng.github.io/projects/cvpr23_neat
ai_machinelearning_big_data
🎥 Zero-1-to-3: Zero-shot One Image to 3D Object
Zero-1-to-3, a framework for changing the camera viewpoint of an object given just a single RGB image.
Новая система изменения ракурса камеры на объект по одному RGB-изображению.
🖥 Github: https://github.com/cvlab-columbia/zero123
🤗 Hugging face: https://huggingface.co/spaces/cvlab/zero123-live
⏩ Paper: https://arxiv.org/abs/2303.11328v1
⏩ Dataset: https://zero123.cs.columbia.edu/
💨 Project: https://paperswithcode.com/dataset/beat
⭐️ Demo: https://huggingface.co/spaces/cvlab/zero123
ai_machinelearning_big_data
⚜️ ViperGPT: Visual Inference via Python Execution for Reasoning
ViperGPT, a framework that leverages code-generation models to compose vision-and-language models into subroutines to produce a result for any query.
Новый фреймворк ViperGPT для генерации Python кода из изображений.
🖥 Github: https://github.com/cvlab-columbia/viper
⏩ Paper: https://arxiv.org/pdf/2303.08128.pdf
💨 Project: https://paperswithcode.com/dataset/beat
ai_machinelearning_big_data
Gen-2: The Next Step Forward for Generative AI
A multi-modal AI system that can generate novel videos with text, images, or video clips.
Мультимодальная AI модель Gen-2, которая преобразует текст или картинки в видео.
⏩ Project: https://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
↪️ Paper: https://arxiv.org/abs/2302.03011
💨 Discord: https://discord.com/invite/tUp5Gbd7rk
ai_machinelearning_big_data
🤗 ModelScope Text to Video Synthesis
For faster inference without waiting in queue, you may duplicate the space and upgrade to GPU in settings.
Новая диффузионная модель для генерации видео из текста.
⏩ Demo: https://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
💨 Paper: https://arxiv.org/pdf/2303.08320v2.pdf
💡 Huggingface: https://huggingface.co/damo-vilab/modelscope-damo-text-to-video-synthesis/tree/main
ai_machinelearning_big_data
Taming Diffusion Models for Audio-Driven Co-Speech Gesture Generation (CVPR 2023)
Novel Diffusion Audio-Gesture Transformer is devised to better attend to the information from multiple modalities and model the long-term temporal dependency. M
Новая система на основе диффузии для эффективного захвата кросс-модальных ассоциаций между аудио и жестами для высокоточной генерации жестов на основе аудио.
🖥 Github: https://github.com/advocate99/diffgesture
⏩ Paper: https://arxiv.org/abs/2303.09119v1
💨 Dataset: https://paperswithcode.com/dataset/beat
ai_machinelearning_big_data
FateZero: Fusing Attentions for Zero-shot Text-based Video Editing
Video Style Editing Using Stable Diffusion.
Новый метод редактирования видео из текстовых промтов без предварительного обучения модели и без использования маски, специфичной для конкретного видео.
🖥 Github: https://github.com/chenyangqiqi/fatezero
⏩ Paper: https://arxiv.org/abs/2303.09535
💨 Project: https://fate-zero-edit.github.io/
ai_machinelearning_big_data
Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖
Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ, вы с легкостью напишете свой первый искусственный интеллект👨💻
Какие нейронные сети вы создадите?
▫️Классификация людей на входящих и выходящих из автобуса
▫️Обнаружение возгораний
▫️Оценка стоимости квартир
▫️Оценка резюме соискателей
▫️Прогнозирование стоимости полиметаллов
▫️Сегментация изображений самолетов
▫️Распознавание команд умного дома⠀
Лучше освоить навыки создания нейронных сетей вам помогут домашние задания с проверкой от кураторов.⠀
Приходите на бесплатное обучение и напишите искусственный интеллект за 3 вечера💪
Регистрация по ссылке
⚠️Пройдите тест на углубленные знания в сфере Machine Learning. Professional —https://otus.pw/ncBh/
🔓 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Professional» от OTUS и его партнера — Сбера
⏰ Время прохождения теста ограничено 30 минут
📌 РЕЗУЛЬТАТ ПРОХОЖДЕНИЯ КУРСА:
Серьезное портфолио с проектами и возможность претендовать на Junior+ и Middle позиции Data Scientist
Протестируйте обучение на открытом уроке:
✅ Один в поле не воин: методы ансамблирования в машинном обучении — https://otus.pw/ncBh/
👉 ПРОЙТИ ТЕСТ: https://otus.pw/Hvdp/
Erasing Concepts from Diffusion Models
A fine-tuning method that can erase a visual concept from a pre-trained diffusion model, given only the name of the style and using negative guidance as a teacher.
Метод тонкой настройки, который может убрать имитацию стиля конкретного художника или даже стереть целый класс объектов из вывода модели, сохранив при этом поведение и возможности модели по другим настройкам.
🖥 Github: https://github.com/rohitgandikota/erasing
⏩ Paper: https://arxiv.org/abs/2303.07345v1
⭐️ Dataset: https://paperswithcode.com/dataset/imagenet
ai_machinelearning_big_data
🔥Какие знания точно нужны программисту? Ответ — все ключевые понятия в Computer Science.
Начните изучать эту область 30 марта в 20:00 на вебинаре, приуроченном к старту онлайн-курса «Computer Science» в OTUS. Тема открытого урока: «Ввод-вывод в компьютерных системах».
📚Что интересного будет на занятии?
— Рассмотрим основы архитектуры ввода-вывода (I/O) в компьютерных системах.
— Изучим роль I/O систем в компьютерной архитектуре, рассмотрим различные типы устройств и их использование в компьютерных системах.
— Обсудим необходимые аппаратные компоненты, такие как память
— Научимся использовать программно устройства ввода-вывода.
Результат занятия 👉 вы разберетесь в роли, типах I/O систем в компьютерной архитектуре и способов взаимодействия с ними.
🎁 Продолжить изучение Computer Science вы сможете на курсе, доступном в рассрочку.
Для участия зарегистрируйтесь: https://otus.pw/ebgF/
Альфа-Банк открывает набор на второй поток магистратуры по Data science в МФТИ🔥
Если у вас есть диплом бакалавра или специалиста, вы умеете программировать, знаете основы для подготовки данных для машинного обучения и хотите научиться:
📌 Управлять циклом создания модели: от сбора данных до оценки эффективности
📌 Работать с большими объёмами данных, используя современный стек технологий
📌 Анализировать и моделировать данные с помощью алгоритмов Python
📌 Решать прикладные задачи Machine Learning и Deep Learning
📌 Защищать идеи, эффективно работать в команде
Обучение проходит очно, всем студентам во время обучения выплачивается стипендия и по окончании магистратуры выпускники получат диплом государственного образца от МФТИ, а лучшие - оффер в Альфа-Банк🅰️
Как поступить?
Подайте онлайн-заявку до 31 марта, решите одну из двух задач
по машинному обучению и пройдите интервью.
Больше информации — на сайте магистратуры и в ТG @alfabankmipt
Почему мы всё время начинаем и бросаем учить английский?
Одна из причин — мы не знаем свой уровень языка. В итоге берёмся за контент, который нам не по силам. Например, сериал «Друзья» часто советуют смотреть тем, кто начинает учить язык, но в нём полно юмора, который начинающие пока понять не могут.
В итоге разрыв знаний удручает и мотивация снова падает.
Если вы готовы дать английскому ещё один шанс, мы поможем поверить в свои силы и довести дело до конца.
Приходите на бесплатную консультацию в Яндекс Практикум:
- Проведём устный тест на уровень языка,
- Покажем, чего реально добиться за полгода изучения,
- Расскажем, как наши курсы помогут достичь цели.
Записаться
👾Хватит играться! Давай изучать ИИ
Data Science | Machinelearning - место, где рассказывают простым языком об изнанке нейросетей, анализе данных и алгоритмах.
То что нужно в эпоху нейронок: @devsp
🧬 Примите участие в международной конференции Data Fusion 2023 от ВТБ, которая пройдёт 13-14 апреля.
Конференция будет полезна разработчикам и специалистам в области Data Science, CDO, бизнес-заказчикам DS-продуктов и сервисов, представителям государства и науки.
Первый день конференции будет посвящен аспектам управления данными, практикам перехода на доверенные технологии, доступности дата-сетов для ИИ и другим темам, актуальным для CDO и руководителей бизнес-подразделений.
Программа 14 апреля адресована data science специалистам и исследователям. Темы докладов и сессий распределены по трем стримам: «ML+», «AI Classic», «ML Environment».
На конференции представят новейшие технологии и инструменты, а также будут проведены практические сессии и выступления ведущих предприятий. Не пропустите возможность улучшить свои навыки и расширить свои знания в области Data Science.
Участие в конференции бесплатное. Успейте зарегистрироваться по ссылке: https://cnrlink.com/datafusion69
→ 4 навыка для роста в аналитике
У Яндекс Практикума есть четыре курса для начинающих аналитиков. Они помогут освоить навыки уровня мидл, чтобы продвинуться в карьере и быстрее решать рутинные задачи.
1) SQL — получать и структурировать информацию из массивов данных, не перебирая их вручную.
2) Продуктовая аналитика — понимать запросы бизнеса и усилить резюме исследованиями для разных сфер.
3) Математика для аналитиков — укрепить знания и справляться с математическими секциями на собеседованиях.
4) Визуализация данных — освоить BI-инструменты, эффектно и понятно презентовать результаты исследований.
Выбирайте курс, учитесь и растите в карьере.
Всем, привет👋
Проводим небольшое исследование по просьбе одной уважаемой компании: хотим выяснить, кого вы считаете мировым лидером среди технологических компаний.
Поделитесь своим мнением — а мы потом поделимся результатами.
Пройти короткий (всего 2 вопроса, займет меньше минуты) опрос можно вот тут
Рекомендательные системы на основе коллаборативной фильтрации — https://otus.pw/TcVw/
📌 Приглашаем на бесплатный урок по рекомендательным системам от OTUS для самых продвинутых.
На нём разберем приемы и кейсы для практикующих Data Scientist-ов, желающих повысить свой профессиональный уровень до Middle/Senior
Вебинар пройдет 29 марта в 18:00 в преддверии старта онлайн-курса «Machine Learning. Advanced» от OTUS.
👉РЕГИСТРАЦИЯ:
https://otus.pw/TcVw/
🦖 Яндекс выложил в опенсорс исходный код YTsaurus — платформы для работы с большими данными
«Вайтизавр» развивали почти 10 лет — историю можно почитать на Хабре. Сегодня платформу использует большинство сервисов Яндекса. YTsaurus может многое: от аналитики до обучения сложных моделей с миллиардами параметров. В Яндексе рассказывают, что один из самых популярных сценариев — построение DWH.
Например, заказы Еды, Такси и Лавки поступают в key-value хранилище YTsaurus в сыром виде — это сотни терабайт в месяц. Дальше они обрабатываются разными инструментами внутри платформы, и на выходе получаются аналитические витрины, поверх которых производится аналитика и строятся различные визуализации в DataLens.
Помимо MapReduce, пользователям предлагается прокаченный SQL-язык, который может запускать огромные операции для обработки петабайтов данных, богатый набор встроенных функций и гибкие возможности параметризации.
🖥 Github: https://github.com/YTsaurus/YTsaurus
вакансии в YTsaurus
ai_machinelearning_big_data
“Что делать, чтобы оставаться востребованным CV-инженером?”
Команда школы DeepSchool: DL-инженеры, тимлиды, руководители ML-подразделений, рекрутеры — подготовила открытую онлайн-лекцию. На ней мы расскажем, как оставаться востребованным CV-инженером
Мы выпустили 50+ студентов и провели более 100 интервью со специалистами из ML-индустрии.
Этот опыт мы использовали, чтобы составить для вас актуальную картину.
На открытой лекции мы обсудим:
🔹что требуют от CV-инженеров на рынке в 2023 году;
🔹какие навыки из разработки важно развивать DL-инженеру и почему;
🔹как встроить развитие этих навыков в работу уже сейчас.
Вам будет полезно, если вы:
🔸 работаете или планируете работать в продуктовых командах (не research);
🔸 переживаете, что есть пробелы в знаниях, не уверены, что сможете легко сменить работу при надобности;
🔸 вам не хватает code review, вы не пишете тесты, не знакомы с CI/CD;
🔸 не знаете куда развиваться.
Регистрируйтесь на открытую лекцию по ссылке
🗓 Встречаемся во вторник 21 марта в 18:00 Мск
🎁 При регистрации вы получите список библиотек, фреймворков и сервисов для CV-инженера, которые ускорят вашу работу
Регистрируйтесь в боте и забирайте список себе
До встречи на лекции!
Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки.
Если хочешь познать дзен и понимать как работают алгоритмы, а не просто импортировать их, подписывайся. Здесь реально учат.
@ds_math
Tuned Lens 🔎
Simple interface training and evaluating tuned lenses. A tuned lens allows us to peak at the iterative computations a transformer uses to compute the next token.
Инструменты для понимания того, как послойно работают прогнозы трансформаторов.pip install tuned-lens
🖥 Github: https://github.com/alignmentresearch/tuned-lens
⏩ Paper: https://arxiv.org/abs/2303.08112v1
⭐️ Dataset: https://paperswithcode.com/dataset/the-pile
🖥 Colab: https://colab.research.google.com/github/AlignmentResearch/tuned-lens/blob/main/notebooks/interactive.ipynb
ai_machinelearning_big_data
GraphGym
Platform for designing and evaluating Graph Neural Networks (GNN).
GraphGym - это платформа для проектирования и оценки графовых нейронных сетей .
🖥 Github: https://github.com/snap-stanford/graphgym
⏩ Paper: https://arxiv.org/abs/2303.07666v1
⭐️ Dataset: https://paperswithcode.com/dataset/tieredimagenet
ai_machinelearning_big_data
Alfa Cloud Day Meetup: облачные технологии в финтехе
На митапе вы узнаете, как в Альфа-Банке внедряли новый облачный подход, что важно учесть при общении с бизнесом, как за счёт «облака» ускориться и извлечь выгоду
Когда: 22 марта в 18:30
Где: офлайн в Москве, Андропова пр-т, 18, к. 3, Альфа-Банк, Конгресс-холл или онлайн
Что вас ждет:
🌦 Максим Чернухин, Senior Software Architect, расскажет о положительных и отрицательных сторонах использования облака, а также о нюансах, которые стоит учесть
🌦 Дмитрий Кузнецов, Head of Application Security, расскажет о безопасной миграции в облако
🌦 Дмитрий Гадеев, Site Reliability Engineer, и Максим Малыгин, Head of IT Infrastructure Support Department, поделятся своим опытом внедрения «облачного» подхода в Альфе
🌦 Светлана Вагнер, Cloud Product Owner, расскажет, как бизнесу показать преимущества cloud-технологий, как использовать их для ускорения бизнес-процессов
Все, кому интересен «облачный» подход, ждем вас на митапе, пообщаемся, хорошо проведем время и обсудим доклады спикеров
Зарегистрироваться на Alfa Cloud Day Meetup