✔️ Natural Language YouTube Searcher
Нейросеть, которая по заданной ссылку (на любом язык) не только покахывает кадр, который вы ищите, но и указывает на какой он секунде.
🖥 Colab
🖥 Github
❕ Open Ai Clip
@ai_machinelearning_big_data
👻 GhostNetV2: Enhance Cheap Operation with Long-Range Attention
Новая архитектура GhostNetV2 для мобильных приложений.
🖥 Github: https://github.com/leondgarse/keras_cv_attention_models
🖥 GhostNetV2: https://github.com/likyoo/GhostNetV2-PyTorch
⏩ Paprer: https://arxiv.org/abs/2211.12905v1
⭐️ Dataset: https://paperswithcode.com/dataset/ade20k
@ai_machinelearning_big_data
🖥 TorchScale - A Library for Transformers at (Any) Scale
TorchScale - набор инструментов с открытым исходным кодом, который позволяети разработчикам эффективно и действенно масштабировать Transformers. pip install torchscale
🖥 Github: https://github.com/microsoft/torchscale
⏩ Paprer: https://arxiv.org/abs/2211.13184v1
⭐️ Pypi: https://pypi.org/project/torchscale/
@ai_machinelearning_big_data
💨 SinDiffusion: Learning a Diffusion Model from a Single Natural Image
SinDiffusion значительно улучшает качество и разнообразие сгенерированных изображений по сравнению с существующими подходами на основе GAN.
🖥 Github: https://github.com/weilunwang/sindiffusion
➡️ Paper: https://arxiv.org/abs/2211.12445v1
📌 Project: https://github.com/WeilunWang/SinDiffusion/blob/main
➡️ Dataset: https://paperswithcode.com/dataset/places
@ai_machinelearning_big_data
🟥 StableDiffusion 2.0
- Новая модель, которая позволяет легко и быстро менять местами части изображения.
- Новые модели преобразования текста в изображение.
- Диффузионные модели со сверхвысоким разрешением.Повышает разрешение изображений в 4 раза.
- Обновленная модель отрисовки
🖥 GitHub
🚀 Demo
➡️ Read
▶️ Paint by Example
@ai_machinelearning_big_data
В AIRI создали модель на основе ДНК человека для решения задач по биоинформатике
Об этом рассказал директор по поисковым исследованиям AIRI Михаил Бурцев на международной конференции AI Journey. Он отметил, что сейчас наиболее важными прорывами будут те, которые связаны с языковыми моделями. В институте AIRI также начали исследования в этом направлении — модель GENA позволяет разбивать последовательности на кусочки, что увеличивает размер текста, который может попадать на вход. Для этого использовалась последняя сборка референсного генома человека.
Также институт AIRI разработал алгоритм MemUp, который позволяет решить задачу предсказания длинных последовательностей. Это память на основе предсказаний элементов с высокой неопределенностью.
На текущий момент модель основана на ДНК человека, но если добавить туда ДНК других видов, то модель не только сможет выучить, как устроено описание организма человека, но и описание других организмов. Например, обезьян, птиц, змей и так далее. В конечном итоге это позволит решить больше задач по биоинформатике.
🎶 ComMU: Dataset for Combinatorial Music Generation
Набор данных для генерации музыки различных жанров.
Набор данных содержит 11 144 MIDI-сэмплов, написанных и созданных профессиональными композиторами.
🖥 Github: https://github.com/POZAlabs/ComMU-code
⏩ Paper: https://arxiv.org/abs/2211.09385v1
🖥 Dataset: https://github.com/POZAlabs/ComMU-code/tree/master/dataset
🎧 Demo: https://pozalabs.github.io/ComMU/
🎼 MuseGAN: https://github.com/salu133445/musegan
@ai_machinelearning_big_data
⭐️ Graph Network Simulator (GNS)
Cимулятор графовой сети (GNS) на основе PyTorch, который на осннове физики и прогнозирует поведение потока дисперсных и жидких систем.
🖥 Github: https://github.com/geoelements/gns
⏩ Paper: https://arxiv.org/abs/2211.10228v1
🖥 Dataset: https://doi.org/10.17603/ds2-0phb-dg64
@ai_machinelearning_big_data
☄️ Bayesian Light Source Separator (BLISS)
Байесовский подход для определения параметров источника света с добавлением астрономических изображений.git clone https://github.com/prob-ml/bliss.git
🖥 Github: https://github.com/prob-ml/bliss
➡️ Paper: https://arxiv.org/abs/2211.09300v1
🖥 Poetry: https://python-poetry.org/docs/
@ai_machinelearning_big_data
🎧 Подкаст на выходные
В новом выпуске подкаста «Техток» ведущий Виктор Кантор (директор центра Big Data МТС) собрал IT-специалистов из различных сфер, чтобы честно обсудить — как дорасти до CDO, запустить стартап на основе ML и не свихнуться.
Среди участников — сооснователь data-стартапа Rubbles Александр Фонарев, CTO Ozon Антон Степаненко, R&D Project Manager в Skyeng Владислав Корнышев и многие другие.
🖥 Все платформы для прослушивания: https://podcast.ru/1635293813
@ai_machinelearning_big_data
✅ InvokeAI: A Stable Diffusion Toolkit
InvokeAI — набор надежных инструментов для создания и редактирования изображений с помощью нейросети.
🖥 Github: https://github.com/invoke-ai/InvokeAI
⭐️ Как запустить: https://telegra.ph/Kak-zapustit-II-generator-Stable-Diffusion-11-18
📃 Docs: https://invoke-ai.github.io/InvokeAI/
@ai_machinelearning_big_data
🔥 eDiff-I: Text-to-Image Diffusion Models with Ensemble of Expert Denoisers
Новый генеративный ИИ отт NVIDIA для слияния текста и изображения и передачей стилей. Технология в прямом смыле позволяет рисовать текстом.
⭐️ Project
➡️ Paper
🖥️ Video
@ai_machinelearning_big_data
Easy Start
On Analyzing the Role of Image for Visual-enhanced Relation Extractiongit clone https://github.com/zjunlp/DeepKE.git
cd DeepKE/example/re/multimodal
🖥 Github: https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal
🗒 Paper: https://arxiv.org/abs/2211.07504v1
➡️ Dataset: https://github.com/thecharm/Mega
💨 Pretrained model: https://huggingface.co/openai/clip-vit-base-patch32
@ai_machinelearning_big_data
✅ Paella
Минималистичная модель генерации изображений из текста, модель позволяет лееегко выполнять различные манипуляции с изображениями.
🖥 Github: https://github.com/dome272/paella
🖥 Colab: https://colab.research.google.com/drive/1HH5Fey_mTiz29l9dGmHGqZqdzwLpLrxj?usp=sharing
Paper: https://arxiv.org/abs/2211.07292v1
@ai_machinelearning_big_data
🎞 DOVER: the Disentangled Objective Video Quality Evaluator
git clone https://github.com/teowu/DOVER.git
cd DOVER
pip install .
🖥 Github: https://github.com/teowu/dover
🗒 Paper: https://arxiv.org/abs/2211.04894v1
➡️ Dataset: https://paperswithcode.com/dataset/youtube-ugc
@ai_machinelearning_big_data
🎨 Inversion-Based Creativity Transfer with Diffusion Models
Генеративная модель для создания выразительного арта. git clone https://github.com/zyxElsa/creativity-transfer.git
🖥 Github: https://github.com/zyxelsa/creativity-transfer
⏩ Paprer: https://arxiv.org/abs/2211.13203v1
⭐️ Pretrained model: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
@ai_machinelearning_big_data
Яндекс назвал лауреатов своей ежегодной научной премии
Ученые, которые занимаются исследованиями в области компьютерных наук, получат по миллиону рублей на развитие своих проектов. В 2022 году лауреатами стали шесть молодых ученых:
•Максим Великанов — занимается теорией deep learning, изучает бесконечно широкие нейронные сети и статистическую физику;
•Петр Мокров — исследует градиентные потоки Вассерштейна, нелинейную фильтрацию и байесовскую логистическую регрессию;
•Максим Кодрян — занимается deep learning, а также оптимизацией и генерализацией нейросетевых моделей;
•Руслан Рахимов — работает с нейронной визуализацией, CV и deep learning;
•Сергей Самсонов — изучает алгоритмы Монте-Карло с марковскими цепями, стохастическую аппроксимацию и другие темы;
•Тарас Хахулин — работает в области компьютерного зрения.
Круто, что отдельно выделяют и научных руководителей. В этом году гранты получили двое — Дмитрий Ветров, заведующий Центром глубинного обучения и байесовских методов ВШЭ, и Алексей Наумов, доцент факультета компьютерных наук ВШЭ, заведующий Международной лаборатории стохастических алгоритмов и анализа многомерных данных.
Подробнее о премии и лауреатах 2022 года — на сайте.
Какие изменения произошли с библиотекой PyTorch-LifeStream за год?
Об этом рассказал Иван Киреев, исполнительный директор по исследованию данных в лаборатории по искусственному интеллекту Сбера во время международной конференции AI Journey.
Библиотека PyTorch-LifeStream нужна для построения нейронных сетей на событийных данных. В основном, изменилась структура библиотеки. Она была разбита на несколько модулей, благодаря чему в ней стало проще ориентироваться. Также изменилась система конфигурирования, появилось больше примеров использования библиотеки.
Всего в структуре библиотеки на текущий момент четыре блока:
1. Перепроцессинг данных
2. Загрузка
3. Набор слоёв
4. Набор фреймворков обучения
Что касается конфигурации, то была подключена Hydra. Все конфигурации хранятся в yaml-файлах, которые удобно редактировать.
Крупнейшие игроки российского технологического рынка присоединяются к Кодексу этики в сфере искусственного интеллекта. Свод правил разработал Альянс в сфере ИИ и обнародовал в рамках международной конференции по искусственному интеллекту AI Journey.
На конференции к Кодексу присоединились Datanа, Factory 5, ГК «GlobalTruck», ГеомирАгро, Цифровая платформа КАМАЗ, ГК Медси, Самолет, Сибур, Северсталь Менеджмент, РЖД, Русагро Технологии, Уралхим. Всего Кодекс поддержали 113 российских компаний и организаций.
«В нашем понимании развитие технологий ИИ в России должно ориентироваться исключительно на интересы человека, качество его жизни и благополучие. Именно на основе доверия граждан мы вместе с участниками Альянса и Кодекса этики продолжим создавать новую цифровую экосистему для технологического развития нашей страны», — так прокомментировал Кодекс зампред Правительства РФ Дмитрий Чернышенко.
🎨 Kandinsky 2.0
Kandinsky 2.0 — первая мультиязычная диффузия для генерации изображений по тексту
- два мультилингвальных текстовых энкодера, эмбеддинги которых конкатенируются
- больше UNet (1.2 млрд параметров)
- динамический трешхолдинг в процессе сэмплирования
🖥 Github
➡️ Habr статья
🖥 Demo
🤗 Model
@ai_machinelearning_big_data
🚀 Stable Diffusion web UI
UI на основе библиотеки Gradio для Stable Diffusion. Большое количество фич для генерации контента с удобным интерфейсом.
🖥 Github: https://github.com/AUTOMATIC1111/stable-diffusion-webui
⏩ Scripts: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Custom-Scripts
⭐️ Features: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features
@ai_machinelearning_big_data
🤖 Ключевая Международная конференция по искусственному интеллекту и машинному обучению AI Journey снова в эфире 23-24 ноября! Подключайтесь к трансляции онлайн и узнавайте о мире, в котором искусственный интеллект станет частью нашей повседневной жизни.
На конференции будут представлены пять тематических треков: AIJ Science, AIJ Junior, AI4ESG, Science & Industries, Science & Business. Основные их темы:
• Мультимодальные, мультиязыковые, генеративные модели, трансформеры и новые архитектуры
• Исследования российских и международных технологических центров
• Применение AI в области ESG и устойчивого развития
• Лучшие практики и кейсы использования AI в бизнесе
• Внедрение разработок AI/ML в разных отраслях
• Этические аспекты применения AI
• Воркшопы, демо, мастер-классы и интерактивы для молодежи
Смотрите выступления топовых российских и международных экспертов по искусственному интеллекту.
👉Следить за конференцией можно бесплатно на сайте. Регистрация не требуется.
💨 InfiniteNature-Zero
InfiniteNature-Zero Генеративный ИИ с открытым исходным кодом для создания невероятных природных сцен из отдельных изображений.conda env create -f enviornment_infinite_nature_zero.yml
🖥 Github: https://github.com/google-research/google-research/tree/master/infinite_nature_zero
➡️ Paper: https://arxiv.org/abs/2207.11148
🖥 Project: https://infinite-nature-zero.github.io/
📌 Video: https://infinite-nature-zero.github.io/#overview_video
@ai_machinelearning_big_data
✅ MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors
MOTRv2, простой, но эффективный конвейер для запуска отслеживания нескольких объектов.
🖥 Github: https://github.com/megvii-research/MOTRv2
➡️ Paper: https://arxiv.org/abs/2211.09791v1
🖥 Dataset: https://paperswithcode.com/dataset/mot17
@ai_machinelearning_big_data
🚀 DiffusionDet: Diffusion Model for Object Detection
DiffusionDet — первая диффузионная модель для обнаружения объектов.
🖥 Github: https://github.com/shoufachen/diffusiondet
➡️ Paper: https://arxiv.org/abs/2211.09788v1
🗒 Getting Started: https://github.com/ShoufaChen/DiffusionDet/blob/main/GETTING_STARTED.md
🖥 Dataset: https://paperswithcode.com/dataset/imagenet
@ai_machinelearning_big_data
🖥 ActionFormer: Localizing Moments of Actions with Transformers
🖥 Github: https://github.com/happyharrycn/actionformer_release
➡️ Features and Annotations: https://drive.google.com/file/d/1JKh3w14ngAjgzuuP22BnjhkhIcBSqteJ/view?usp=sharing
🗒 Pre-trained Model: https://arxiv.org/abs/2211.09074v1
🖥 Dataset: https://paperswithcode.com/dataset/kinetics
@ai_machinelearning_big_data
🤗 Versatile Diffusion: Text, Images and Variations All in One Diffusion Model
VD поддерживает преобразование изображения в текст, изменение изображения, преобразование текста в изображение и генерацию текста Будущие версии будут поддерживать речь, музыку, видео и 3D. Универсальная диффузия: текст, изображения и вариации — все в одной модели.
🖥 Github: https://github.com/shi-labs/versatile-diffusion
🗒 Paper: https://arxiv.org/abs/2211.08332v1
💨 Demo: https://huggingface.co/spaces/shi-labs/Versatile-Diffusion
🖥 Dataset: https://github.com/rom1504/img2dataset
@ai_machinelearning_big_data
🌐 SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation
Датасет наблюдение за Землей и преобученнная модель из 251 079 мест по всему миру.
🖥 Github: https://github.com/zhu-xlab/ssl4eo-s12
📝 Paper: https://arxiv.org/abs/2211.07044v1
🖥 Dataset: https://mediatum.ub.tum.de/1660427
@ai_machinelearning_big_data
🖼 Peacasso
Peacasso — это инструмент UI, помогающий создавать изображения из текста с помощью моделей ИИ.pip install peacasso
🖥 Github: https://github.com/victordibia/peacasso
🖥 Colab: https://arxiv.org/abs/2211.04894v1
@ai_machinelearning_big_data
⭐️ Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version)git clone https://github.com/fukexue/RGM.git
conda create -n RGM
conda activate RGM
pip install -r requirements.txt
🖥 Github: https://github.com/fukexue/RGM
🗒 Paper: https://arxiv.org/abs/2211.04696v1
➡️ Dataset: https://paperswithcode.com/dataset/modelnet
@ai_machinelearning_big_data