🟥 StableDiffusion 2.0
- Новая модель, которая позволяет легко и быстро менять местами части изображения.
- Новые модели преобразования текста в изображение.
- Диффузионные модели со сверхвысоким разрешением.Повышает разрешение изображений в 4 раза.
- Обновленная модель отрисовки
🖥 GitHub
🚀 Demo
➡️ Read
▶️ Paint by Example
@ai_machinelearning_big_data
В AIRI создали модель на основе ДНК человека для решения задач по биоинформатике
Об этом рассказал директор по поисковым исследованиям AIRI Михаил Бурцев на международной конференции AI Journey. Он отметил, что сейчас наиболее важными прорывами будут те, которые связаны с языковыми моделями. В институте AIRI также начали исследования в этом направлении — модель GENA позволяет разбивать последовательности на кусочки, что увеличивает размер текста, который может попадать на вход. Для этого использовалась последняя сборка референсного генома человека.
Также институт AIRI разработал алгоритм MemUp, который позволяет решить задачу предсказания длинных последовательностей. Это память на основе предсказаний элементов с высокой неопределенностью.
На текущий момент модель основана на ДНК человека, но если добавить туда ДНК других видов, то модель не только сможет выучить, как устроено описание организма человека, но и описание других организмов. Например, обезьян, птиц, змей и так далее. В конечном итоге это позволит решить больше задач по биоинформатике.
🎶 ComMU: Dataset for Combinatorial Music Generation
Набор данных для генерации музыки различных жанров.
Набор данных содержит 11 144 MIDI-сэмплов, написанных и созданных профессиональными композиторами.
🖥 Github: https://github.com/POZAlabs/ComMU-code
⏩ Paper: https://arxiv.org/abs/2211.09385v1
🖥 Dataset: https://github.com/POZAlabs/ComMU-code/tree/master/dataset
🎧 Demo: https://pozalabs.github.io/ComMU/
🎼 MuseGAN: https://github.com/salu133445/musegan
@ai_machinelearning_big_data
⭐️ Graph Network Simulator (GNS)
Cимулятор графовой сети (GNS) на основе PyTorch, который на осннове физики и прогнозирует поведение потока дисперсных и жидких систем.
🖥 Github: https://github.com/geoelements/gns
⏩ Paper: https://arxiv.org/abs/2211.10228v1
🖥 Dataset: https://doi.org/10.17603/ds2-0phb-dg64
@ai_machinelearning_big_data
☄️ Bayesian Light Source Separator (BLISS)
Байесовский подход для определения параметров источника света с добавлением астрономических изображений.git clone https://github.com/prob-ml/bliss.git
🖥 Github: https://github.com/prob-ml/bliss
➡️ Paper: https://arxiv.org/abs/2211.09300v1
🖥 Poetry: https://python-poetry.org/docs/
@ai_machinelearning_big_data
🎧 Подкаст на выходные
В новом выпуске подкаста «Техток» ведущий Виктор Кантор (директор центра Big Data МТС) собрал IT-специалистов из различных сфер, чтобы честно обсудить — как дорасти до CDO, запустить стартап на основе ML и не свихнуться.
Среди участников — сооснователь data-стартапа Rubbles Александр Фонарев, CTO Ozon Антон Степаненко, R&D Project Manager в Skyeng Владислав Корнышев и многие другие.
🖥 Все платформы для прослушивания: https://podcast.ru/1635293813
@ai_machinelearning_big_data
✅ InvokeAI: A Stable Diffusion Toolkit
InvokeAI — набор надежных инструментов для создания и редактирования изображений с помощью нейросети.
🖥 Github: https://github.com/invoke-ai/InvokeAI
⭐️ Как запустить: https://telegra.ph/Kak-zapustit-II-generator-Stable-Diffusion-11-18
📃 Docs: https://invoke-ai.github.io/InvokeAI/
@ai_machinelearning_big_data
🔥 eDiff-I: Text-to-Image Diffusion Models with Ensemble of Expert Denoisers
Новый генеративный ИИ отт NVIDIA для слияния текста и изображения и передачей стилей. Технология в прямом смыле позволяет рисовать текстом.
⭐️ Project
➡️ Paper
🖥️ Video
@ai_machinelearning_big_data
Easy Start
On Analyzing the Role of Image for Visual-enhanced Relation Extractiongit clone https://github.com/zjunlp/DeepKE.git
cd DeepKE/example/re/multimodal
🖥 Github: https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal
🗒 Paper: https://arxiv.org/abs/2211.07504v1
➡️ Dataset: https://github.com/thecharm/Mega
💨 Pretrained model: https://huggingface.co/openai/clip-vit-base-patch32
@ai_machinelearning_big_data
✅ Paella
Минималистичная модель генерации изображений из текста, модель позволяет лееегко выполнять различные манипуляции с изображениями.
🖥 Github: https://github.com/dome272/paella
🖥 Colab: https://colab.research.google.com/drive/1HH5Fey_mTiz29l9dGmHGqZqdzwLpLrxj?usp=sharing
Paper: https://arxiv.org/abs/2211.07292v1
@ai_machinelearning_big_data
🎞 DOVER: the Disentangled Objective Video Quality Evaluator
git clone https://github.com/teowu/DOVER.git
cd DOVER
pip install .
🖥 Github: https://github.com/teowu/dover
🗒 Paper: https://arxiv.org/abs/2211.04894v1
➡️ Dataset: https://paperswithcode.com/dataset/youtube-ugc
@ai_machinelearning_big_data
Друзья, появилась минутка — хотел снова поделиться с вами информацией о проходящем онлайн-соревновании по искусственному интеллекту AI Journey Contest.
Проводит его Сбер совместно с Институтом искусственного интеллекта AIRI. И оно стоит того, чтобы попробовать свои силы. Получите уникальный опыт, а главная мотивация - это солидное вознаграждение в случае решения одной из четырех задач — общий призовой фонд составляет более 5 млн рублей.
Немного подробнее о задачах:
— AI4Biology — создание алгоритма быстрой идентификации бактерий по масс-спектрам.
— AI4Sea — разработка алгоритма для восстановления данных по вылову рыбы гна Дальнем Востоке.
Соревнование уже идет и осталось мало времени, чтобы прислать решения - до 13 ноября. Но конкретно эти две задачи можно запросто решить за выходные. Главное — иметь сильное желание вырвать победу устоявшихся фаворитов 😈 Поучаствовать можно всем желающим возрастом от 18 лет тут.
⭐️ TAP-Vid: A Benchmark for Tracking Any Point in a Video
🖥 Github: https://github.com/deepmind/tapnet
▶️ Examples: https://github.com/google-research/kubric/tree/main/challenges/point_tracking
🗒 Paper: https://arxiv.org/abs/2211.03726v1
➡️ Dataset: https://paperswithcode.com/dataset/tap-vid
@ai_machinelearning_big_data
➡️ AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time
🖥 Github: https://github.com/MVIG-SJTU/AlphaPose
📝 Colab: https://colab.research.google.com/drive/1c7xb_7U61HmeJp55xjXs24hf1GUtHmPs?usp=sharing
🗒 Paper: https://arxiv.org/abs/2211.03375v1
➡️ Dataset: https://paperswithcode.com/dataset/hico-det
@ai_machinelearning_big_data
🖥 The Neural Testbed
The neural_testbed provides tools for the systematic evaluation of agents that generate such predictions.git clone https://github.com/deepmind/neural_testbed.git
cd neural_testbed
pip install .
🖥 Github: https://github.com/deepmind/neural_testbed
🗒 Paper: https://arxiv.org/abs/2211.01568v1
➡️ Dataset: https://paperswithcode.com/dataset/glue
@ai_machinelearning_big_data
🎨 Kandinsky 2.0
Kandinsky 2.0 — первая мультиязычная диффузия для генерации изображений по тексту
- два мультилингвальных текстовых энкодера, эмбеддинги которых конкатенируются
- больше UNet (1.2 млрд параметров)
- динамический трешхолдинг в процессе сэмплирования
🖥 Github
➡️ Habr статья
🖥 Demo
🤗 Model
@ai_machinelearning_big_data
🚀 Stable Diffusion web UI
UI на основе библиотеки Gradio для Stable Diffusion. Большое количество фич для генерации контента с удобным интерфейсом.
🖥 Github: https://github.com/AUTOMATIC1111/stable-diffusion-webui
⏩ Scripts: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Custom-Scripts
⭐️ Features: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features
@ai_machinelearning_big_data
🤖 Ключевая Международная конференция по искусственному интеллекту и машинному обучению AI Journey снова в эфире 23-24 ноября! Подключайтесь к трансляции онлайн и узнавайте о мире, в котором искусственный интеллект станет частью нашей повседневной жизни.
На конференции будут представлены пять тематических треков: AIJ Science, AIJ Junior, AI4ESG, Science & Industries, Science & Business. Основные их темы:
• Мультимодальные, мультиязыковые, генеративные модели, трансформеры и новые архитектуры
• Исследования российских и международных технологических центров
• Применение AI в области ESG и устойчивого развития
• Лучшие практики и кейсы использования AI в бизнесе
• Внедрение разработок AI/ML в разных отраслях
• Этические аспекты применения AI
• Воркшопы, демо, мастер-классы и интерактивы для молодежи
Смотрите выступления топовых российских и международных экспертов по искусственному интеллекту.
👉Следить за конференцией можно бесплатно на сайте. Регистрация не требуется.
💨 InfiniteNature-Zero
InfiniteNature-Zero Генеративный ИИ с открытым исходным кодом для создания невероятных природных сцен из отдельных изображений.conda env create -f enviornment_infinite_nature_zero.yml
🖥 Github: https://github.com/google-research/google-research/tree/master/infinite_nature_zero
➡️ Paper: https://arxiv.org/abs/2207.11148
🖥 Project: https://infinite-nature-zero.github.io/
📌 Video: https://infinite-nature-zero.github.io/#overview_video
@ai_machinelearning_big_data
✅ MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors
MOTRv2, простой, но эффективный конвейер для запуска отслеживания нескольких объектов.
🖥 Github: https://github.com/megvii-research/MOTRv2
➡️ Paper: https://arxiv.org/abs/2211.09791v1
🖥 Dataset: https://paperswithcode.com/dataset/mot17
@ai_machinelearning_big_data
🚀 DiffusionDet: Diffusion Model for Object Detection
DiffusionDet — первая диффузионная модель для обнаружения объектов.
🖥 Github: https://github.com/shoufachen/diffusiondet
➡️ Paper: https://arxiv.org/abs/2211.09788v1
🗒 Getting Started: https://github.com/ShoufaChen/DiffusionDet/blob/main/GETTING_STARTED.md
🖥 Dataset: https://paperswithcode.com/dataset/imagenet
@ai_machinelearning_big_data
🖥 ActionFormer: Localizing Moments of Actions with Transformers
🖥 Github: https://github.com/happyharrycn/actionformer_release
➡️ Features and Annotations: https://drive.google.com/file/d/1JKh3w14ngAjgzuuP22BnjhkhIcBSqteJ/view?usp=sharing
🗒 Pre-trained Model: https://arxiv.org/abs/2211.09074v1
🖥 Dataset: https://paperswithcode.com/dataset/kinetics
@ai_machinelearning_big_data
🤗 Versatile Diffusion: Text, Images and Variations All in One Diffusion Model
VD поддерживает преобразование изображения в текст, изменение изображения, преобразование текста в изображение и генерацию текста Будущие версии будут поддерживать речь, музыку, видео и 3D. Универсальная диффузия: текст, изображения и вариации — все в одной модели.
🖥 Github: https://github.com/shi-labs/versatile-diffusion
🗒 Paper: https://arxiv.org/abs/2211.08332v1
💨 Demo: https://huggingface.co/spaces/shi-labs/Versatile-Diffusion
🖥 Dataset: https://github.com/rom1504/img2dataset
@ai_machinelearning_big_data
🌐 SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation
Датасет наблюдение за Землей и преобученнная модель из 251 079 мест по всему миру.
🖥 Github: https://github.com/zhu-xlab/ssl4eo-s12
📝 Paper: https://arxiv.org/abs/2211.07044v1
🖥 Dataset: https://mediatum.ub.tum.de/1660427
@ai_machinelearning_big_data
🖼 Peacasso
Peacasso — это инструмент UI, помогающий создавать изображения из текста с помощью моделей ИИ.pip install peacasso
🖥 Github: https://github.com/victordibia/peacasso
🖥 Colab: https://arxiv.org/abs/2211.04894v1
@ai_machinelearning_big_data
⭐️ Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version)git clone https://github.com/fukexue/RGM.git
conda create -n RGM
conda activate RGM
pip install -r requirements.txt
🖥 Github: https://github.com/fukexue/RGM
🗒 Paper: https://arxiv.org/abs/2211.04696v1
➡️ Dataset: https://paperswithcode.com/dataset/modelnet
@ai_machinelearning_big_data
🔩 Unifying Flow, Stereo and Depth Estimation
Model for three motion and 3D perception tasksconda env create -f conda_environment.yml
conda activate unimatch
🖥 Github: https://github.com/autonomousvision/unimatch
✏️ Project: https://haofeixu.github.io/unimatch/
🔑 Colab: https://colab.research.google.com/drive/1r5m-xVy3Kw60U-m5VB-aQ98oqqg_6cab?usp=sharing
🗒 Paper: https://arxiv.org/abs/2211.05783v1
➡️ Dataset: https://paperswithcode.com/dataset/scannet
@ai_machinelearning_big_data
😂 SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenesconda create -n sc_depth_env python=3.8
conda activate sc_depth_env
conda install pytorch==1.12.0 torchvision==0.13.0 cudatoolkit=11.3 -c pytorch
pip install -r requirements.txt
🖥 Github: https://github.com/JiawangBian/sc_depth_pl
🗒 Paper: https://arxiv.org/abs/2211.03660v1
🌠 Pretrained models: https://1drv.ms/u/s!AiV6XqkxJHE2mULfSmi4yy-_JHSm?e=s97YRM
➡️ Dataset: https://1drv.ms/u/s!AiV6XqkxJHE2mUFwH6FrHGCuh_y6?e=RxOheF
➡️ Video: https://www.youtube.com/watch?v=OkfK3wmMnpo&ab_channel=JiawangBian
@ai_machinelearning_big_data
⭐️ New Midjourney’s algorithm V4 is out now for testing!
This is a game-changer!
Midjourney выпустила новый релиз - 4 версию. Её анонсировали как совершенно новую нейросеть, обученную на большем массиве данных и с новым алгоритмом обработки.
"V4 — это совершенно новая кодовая база и совершенно новая архитектура искусственного интеллекта. Это наша первая модель, обученная на новом сверхкластере искусственного интеллекта Midjourney, и она находится в разработке уже более 9 месяцев.
✔️ Midjourney
➡️ Video
💻 DFT
📝 Read
@ai_machinelearning_big_data
⭐️ DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models
🖥 Github: https://github.com/luchengthu/dpm-solver
🗒 Paper: https://arxiv.org/abs/2211.01095v1
➡️ Stable-Diffusion: https://github.com/LuChengTHU/dpm-solver/tree/main/example_v2/stable-diffusion
@ai_machinelearning_big_data