Machinelearning

04 февраля 2023 11:02

🌃 STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation

The first method that jointly learns a nighttime image enhancer and a depth estimator, without using ground truth for either task.

Новый метод распознавания объектов и ночных фотографиях и крупный, размеченный датасет.

🖥 Github: https://github.com/ucaszyp/steps

✅️ Paper: https://arxiv.org/abs/2302.01334v1

⭐️ Dataset: https://drive.google.com/drive/folders/1n2WsaGtB-tRiPyee-vAYF6Cd7EZr4RGe

ai_machinelearning_big_data

Machinelearning

03 февраля 2023 19:02

🚀 Conditional Flow Matching

Conditional Flow Matching is a fast way to train Continuous Normalizing Flow models.

🖥 Github: https://github.com/atong01/conditional-flow-matching

✅️ Paper: https://arxiv.org/abs/2302.00482v1

⭐️ Dataset: https://paperswithcode.com/dataset/celeba

ai_machinelearning_big_data

Machinelearning

02 февраля 2023 09:01

🔊 Audio AI Timeline

Here we will keep track of the latest AI models for audio generation, starting in 2023!

Список последних моделей ИИ для генерации звука 2023 года.

▪SingSong: Generating musical accompaniments from singing.
- Paper

▪AudioLDM: Text-to-Audio Generation with Latent Diffusion Models
- Paper

▪Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion
- Paper
- Code

▪Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models
- Paper

▪Noise2Music

▪RAVE2
- Paper
- Code

▪MusicLM: Generating Music From Text
- Paper

▪Msanii: High Fidelity Music Synthesis on a Shoestring Budget
- Paper
- Code
- HH

▪ArchiSound: Audio Generation with Diffusion
- Paper
- Code

▪VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers
- Paper

Full list

ai_machinelearning_big_data

Machinelearning

31 января 2023 10:13

⭐️ The State of Computer Vision at Hugging Face 🤗

Over 3000 models, and over 100 datasets on the Hugging Face Hub.

Более 3000 моделей компьютерного зрения и более 100 датасетов на Hugging Face Hub.

💨 Topics:
Supported vision tasks and Pipelines
Training your own vision models
Integration with timm
Diffusers
Support for third-party libraries
Datasets

⏩ Code:
HugsVision
Model documentation
Hugging Face notebooks
Hugging Face example scripts
Task pages
Timm

➡️ Computer Vision applications:
Generate 3D voxels from a predicted depth map of an input image
Open vocabulary semantic segmentation
Narrate videos by generating captions
Classify videos from YouTube
Zero-shot video classification
Visual question-answering
Use zero-shot image classification to find best captions for an image to generate similar images

🤗 AutoTrain
AutoTrain
Image classification
Automatic model evaluation

🦾 Zero-shot models
CLIP
OWL-ViT
CLIPSeg
GroupViT
X-CLIP

🚀 Deployment
Deploying TensorFlow Vision Models in Hugging Face with TF Serving
Deploying ViT on Kubernetes with TF Serving
Deploying ViT on Vertex AI
Deploying ViT with TFX and Vertex AI

✅️ Full list

@ai_machinelearning_big_data

Machinelearning

28 января 2023 07:24

Cut and Learn for Unsupervised Object Detection and Instance Segmentation

Simple anf effective method to train an object detection and instance segmentation model without using any supervision.

Cut-and-LEaRn (CutLER) — это новый подход к обучению моделей от Meta, для обнаружения и сегментации без участия человека. Cut-and-LEaRn превосходит предыдущую SOTA в 2,7 раза для AP50 и в 2,6 раза для AR в 11 тестах.

🖥 Github: https://github.com/facebookresearch/cutler

⭐️Project: http://people.eecs.berkeley.edu/~xdwang/projects/CutLER/

🖥 Colab: https://colab.research.google.com/drive/1NgEyFHvOfuA2MZZnfNPWg1w5gSr3HOBb?usp=sharing

✅️ Paper: https://arxiv.org/abs/2301.11320

✔️ Installation instructions: https://github.com/facebookresearch/CutLER/blob/main/INSTALL.md

@ai_machinelearning_big_data

Machinelearning

26 января 2023 13:07

⭐️ Using LoRA for Efficient Stable Diffusion Fine-Tuning

LoRA: Low-Rank Adaptation of Large Language Models is a novel technique introduced by Microsoft researchers to deal with the problem of fine-tuning large-language models.

Новый метод, представленный исследователями Microsoft для тонкой настройки больших языковых моделей.

LoRA значительно сокращает количество параметров для обучения модели и сокращает использование памяти GPU, поскольку для большинства весов моделей не требуется вычислять градиенты.

По сравнению с GPT-3 175B, настроенным с помощью Adam, c LoRA можно уменьшить количество обучаемых параметров в 10 000 раз и затраты GPU в 3 раза.

🤗 Hugging face blog: https://huggingface.co/blog/lora

✅️ Paper: https://arxiv.org/abs/2106.09685

⭐️ Code: https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth_lora.py

@ai_machinelearning_big_data

Machinelearning

24 января 2023 12:10

✅️ StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

StyleGAN-T, addresses the specific requirements of large-scale text-to-image synthesis, such as large capacity, stable training on diverse datasets, strong text alignment, and controllable fidelity vs. text alignment tradeoff.

StyleGAN-T новый ган для синтеза текста и изображений.

StyleGAN-T значительно превосходит предыдущие GANы и модели дистиллированной диффузии в скорости и качестве генерации текста в изображение.

🖥 Github: github.com/autonomousvision/stylegan-t

✅️ Paper: arxiv.org/pdf/2301.09515.pdf

⭐️ Project: sites.google.com/view/stylegan-t

✔️ Video: https://www.youtube.com/watch?v=MMj8OTOUIok&embeds_euri=https%3A%2F%2Fsites.google.com%2F&feature=emb_logo

🖥 Projected GAN: https://github.com/autonomousvision/projected-gan

@ai_machinelearning_big_data

Machinelearning

24 января 2023 08:19

⏺Пришло время астропрогнозов на 2023! В новом видео ⬆️

Наши аналитики сформулировали предсказания будущих угроз для корпораций на основе сложившихся трендов и действий злоумышленников, которые мы наблюдали в уходящем году.

▶️Каких атак ждать корпорациям в начавшемся году?
▶️Что изменится в поведении взломщиков?
▶️Как противостоять шантажу и утечкам ПД?
▶️Почему злоумышленники публикуют данные о взломах в общем доступе?

У нас есть ответы на эти и другие вопросы в 1,5-минутном видео⬆️
Для тех, кто любит поподробнее — презентация с массой полезных данных.

Смотреть презентацию⟶

Machinelearning

23 января 2023 10:19

✏️ Improving Sketch Colorization using Adversarial Segmentation Consistency

New method for producing color images from sketches

Новый метод генерации реалистичных, цветных изображений из эскизов. эффективность модели была проверена на 4 различных, крупных датасетов изображений.

git clone https://github.com/giddyyupp/AdvSegLoss.git
cd AdvSegLoss

🖥 Github: https://github.com/giddyyupp/AdvSegLoss

✅️ Paper: https://arxiv.org/abs/2301.08590v1

⭐️ Dataset: https://paperswithcode.com/dataset/cityscapes

@ai_machinelearning_big_data

Machinelearning

21 января 2023 08:06

✅ Multiview Compressive Coding for 3D Reconstruction

Multiview Compressive Coding (MCC), learns to compress the input appearance and geometry to predict the 3D structure by querying a 3D-aware decoder

MCC — это новый подход к 3D-реконструкции по одному изображению RGB-D от Meta .

pip install h5py omegaconf submitit

🖥 Github: https://github.com/facebookresearch/mcc

⭐️ Project: https://mcc3d.github.io/

✅️ Paper: https://arxiv.org/abs/2301.08247

⭐️ Dataset: https://github.com/facebookresearch/MCC/blob/main/DATASET.md

@ai_machinelearning_big_data

Machinelearning

19 января 2023 10:02

💬 GLIGEN: Open-Set Grounded Text-to-Image Generation

GLIGEN’s zero-shot performance on COCO and LVIS outperforms that of existing supervised layout-to-image baselines by a large margin. Code comming soon.

GLIGEN новый подход, который основывается на существующих предварительно обученных моделях генерации текста из изображения и расширяет их функциональность. GLIGEN значительно превосходит все существующие модели.

⭐️ Project: https://gligen.github.io/

⭐️ Demo: https://aka.ms/gligen

✅️ Paper: https://arxiv.org/abs/2301.07093

🖥 Github: https://github.com/gligen/GLIGEN

@ai_machinelearning_big_data

Machinelearning

17 января 2023 11:20

AutoAvatar: Autoregressive Neural Fields for Dynamic Avatar Modeling

Autoregressive approach for modeling dynamically deforming human bodies by Meta.

AutoAvatar — проект от Meta для моделирования динамически деформирующихся человеческих тел непосредственно из необработанных сканов.

🖥 Github: github.com/facebookresearch/AutoAvatar

⭐️ Project: zqbai-jeremy.github.io/autoavatar

✅️ Paprer: arxiv.org/pdf/2203.13817.pdf

⏩ Dataset: https://amass.is.tue.mpg.de/index.html

⭐️ Video: https://zqbai-jeremy.github.io/autoavatar/static/images/video_arxiv.mp4

ai_machinelearning_big_data

Machinelearning

15 января 2023 10:24

📚 Free Book Multimodal Deep Learning 2023

This book is the result of a student seminar for Master Statistics and Master Data Science at the LMU in the summer semester 2022

Полезная книга , которая поможет разобраться с мультимодальными моделями общего назначения, изучить их архитектуру, работу и применение, в том числе в генеративном искусстве.

📘 Book
🖥 Github
⏩ Reading list

@ai_machinelearning_big_data

Machinelearning

12 января 2023 09:52

😫 Memories are One-to-Many Mapping Alleviators in Talking Face Generation

Новый проект от Microsoft, реалистичная генерация говорящего аватара ​по входным аудиодорожкам. MemFace обеспечивает наилучшее качество с большим отрывом.

🖥 Project
📃 Paper
📊Video

ai_machinelearning_big_data

Machinelearning

09 января 2023 11:14

🔥 MIT Introduction to Deep Learning

2023 Program has started!

Сегодня стартует бесплатный курс от MIT Intro to DL 2023 — один из самых лаконичных, открытых курсов по искусственному интеллекту, который охватывает основные методы глубокого обучения, архитектуры инс, статистику.

🚀 Course
✔️ Course 2022

@ai_machinelearning_big_data

Machinelearning

04 февраля 2023 09:01

❓Хотите стать специалистом по компьютерному зрению? Сделайте первые шаги на открытом уроке онлайн-курса «Компьютерное зрение».

🔥9 февраля в 20:00 мск пройдет открытый урок «Kornia — убийца OpenCV?». На занятии мы обсудим дифференцируемую библиотеку Computer Vision — Kornia.

Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV — нет
- За счет чего Kornia работает в разы быстрее, чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для моделей CV предоставляет Kornia
- Как написать алгоритм, которые автоматически сшивает несколько фотографий в панорамный снимок
- Почему Kornia — это лучший инструмент для задач, связанных с геометрией изображений

🧑‍💻 Для участия пройдите вступительный тест: https://otus.pw/VJV2/

Machinelearning

03 февраля 2023 10:00

🔥 Dreamix: Video Diffusion Models are General Video Editors

New Google's text-based motion model.

Given a small collection of images showing the same subject, Dreamix can generate new videos with the subject in motion.

Всего из нескольких картинок или видео новая модель от Google - Dreamix генерирует видео по текстовому описанию!

На видео Dreamix превращает обезьяну в танцующего медведя по промпту «Медведь танцует и прыгает под веселую музыку, двигая всем телом».

⭐️ Project: https://dreamix-video-editing.github.io/

✅️ Paper: https://arxiv.org/pdf/2302.01329.pdf

⭐️ Video: https://www.youtube.com/watch?v=xcvnHhfDSGM

ai_machinelearning_big_data

Machinelearning

31 января 2023 17:40

🔊 Audio-Visual Segmentation (AVS)

AVS to estimate pixel-wise segmentation masks for all the sounding objects, no matter the number of visible sounding objects

Большой датасет и модель сегментации объектов, издающих звук на видео.

🖥 Github: https://github.com/OpenNLPLab/AVSBench

✅️ Paper: https://arxiv.org/pdf/2301.13190.pdf

⭐️ Project: https://opennlplab.github.io/AVSBench/

✅️ Dataset: http://www.avlbench.opennlplab.cn/download

🔹 Benchmark: http://www.avlbench.opennlplab.cn/

ai_machinelearning_big_data

Machinelearning

30 января 2023 11:01

🎶 Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion

Audio generation using diffusion models, in PyTorch.

Полнофункциональная библиотека генерации звука на PyTorch.

pip install audio-diffusion-pytorch

🖥 Github: https://github.com/archinetai/audio-diffusion-pytorch

✅️ Paper: https://arxiv.org/abs/2301.11757v1

⭐️ A-unet: https://github.com/archinetai/a-unet

@ai_machinelearning_big_data

Machinelearning

27 января 2023 10:01

❔ PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development

PRIMEQA supports core QA functionalities like retrieval and reading comprehension as well as auxiliary capabilities such as question generation.

PrimeQA — это репозиторий с открытым исходным кодом, который позволяет исследователям и разработчикам легко обучать мультиязычные модели ответов на вопросы (QA).

🖥 Github: https://github.com/primeqa/primeqa

🖥 Notebooks: https://github.com/primeqa/primeqa/tree/main/notebooks

✅️ Paper: https://arxiv.org/abs/2301.09715v2

⭐️ Dataset: https://paperswithcode.com/dataset/wikitablequestions

✔️ Docs: https://primeqa.github.io/primeqa/installation.html

@ai_machinelearning_big_data

Machinelearning

25 января 2023 11:14

🚀 K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

Model uses d choose 2 planes to represent a d-dimensional scene.

Новая модель на PyTorch, которая обеспечивает плавный переход от статических (d=3) к динамическим (d=4) сценам, c высокой оптимизацией.

🖥 Github: https://github.com/sarafridov/K-Planes

✅️ Paper: https://arxiv.org/abs/2301.10241

⭐️ Project: https://sarafridov.github.io/K-Planes

@ai_machinelearning_big_data

Machinelearning

24 января 2023 10:19

🔬 Stanford.Game Theory Free Course

The course will provide the basics: representing games and strategies, the extensive form, Bayesian games, repeated and stochastic games, and more.

🎲 Еще несколько отличных курсов от Стенфорда.
Вы изучите: математический метод нахождения оптимальных стратегий в играх, байесовские игры, повторяющиеся и стохастические игры, теория социального выбора, аукционы и многое другое

▪Game Theory
▪Game Theory II: Advanced
▪Deep Multi-Task and Meta Learning
▪Game Theory for Machine Learning
▪ Algorithmic Game Theory

@ai_machinelearning_big_data

Machinelearning

23 января 2023 15:37

⭐️ OnePose++: One-Shot Pose

Keypoint-free one-shot object pose estimation method that handles low-textured objects without knowing CAD models.

Новый метод захвата объектов без ключевых точек, который значительно превосходит существующие методы и может работать с низкотекстурированными объектами.

🖥 Github: https://github.com/zju3dv/OnePose_Plus_Plus

✅️ Paper: https://openreview.net/pdf?id=BZ92dxDS3tO

⭐️ Project: https://zju3dv.github.io/onepose_plus_plus

⏩ Dataset: https://zjueducn-my.sharepoint.com/:f:/g/personal/12121064_zju_edu_cn/ElfJC7FiK75Hhh1CF0sPVSQBdzJpeWpOfj8TZzRuxo9PUg?e=Pbnbi8

@ai_machinelearning_big_data

Machinelearning

22 января 2023 12:27

🔥 Deep Learning Tuning Playbook

This document is for engineers and researchers (both individuals and teams) interested in maximizing the performance of deep learning models.

Этот репозиторий-книга от специалистов Google Research с практическими советами по максимальному повышению производительности моделей глубокого обучения.

🖥 Github
📌Reddit

@ai_machinelearning_big_data

Machinelearning

20 января 2023 10:02

🎧 Msanii: High Fidelity Music Synthesis on a Shoestring Budget

Model combines the expressiveness of mel spectrograms, the generative capabilities of diffusion models, and the vocoding capabilities of neural vocoders.

Новая модель на основе диффузии для эффективного синтеза длинной музыки высокого качества.

pip install -q git+https://github.com/Kinyugo/msanii.git

🖥 Github: https://github.com/kinyugo/msanii

⭐️ Demo: https://kinyugo.github.io/msanii-demo/

⭐️ Colab: https://colab.research.google.com/github/Kinyugo/msanii/blob/main/notebooks/msanii_demo.ipynb

✅️ Paper: https://arxiv.org/abs/2301.06468

🤗Hugging face: https://huggingface.co/spaces/kinyugo/msanii

@ai_machinelearning_big_data

Machinelearning

18 января 2023 10:35

👨‍🎓 CS224W: Machine Learning with Graphs Free Course from Stanford

Topics include: representation learning and Graph Neural Networks; algorithms for the World Wide Web; reasoning over Knowledge Graphs; influence maximization; disease outbreak detection, social network analysis.

Шикарный бесплатный курс от Стенфорда, с которым вы изучите структуру графов и их особенности и применения в мо, научитесь строить графовые нейронные сети. Новые лекции, колабы и слайды выходят по вторникам и четвергам.

🔥 Course 2023
📌 Video Lectures 2021
🤗Intro to Graph Machine Learning

ai_machinelearning_big_data

Machinelearning

16 января 2023 13:16

🖼 Image Similarity with Hugging Face Datasets and Transformers

In this post, you'll learn to build an image similarity system wich Transformers.

Полезная статья, с которой вы создадите систему поиска сходства изображений с помощью Transformers. Можно немного попрактиковаться и попробовать другие модели.

🤗 Huggingface
🖥 Github
🖥 Colab

@ai_machinelearning_big_data

Machinelearning

13 января 2023 11:59

🔥 Neural Deferred Shading

Новая быстрая многоракурсная 3D-реконструкция с произвольными объектами и настраиваемым освещением.

🖥 Github: github.com/fraunhoferhhi/neural-deferred-shading

⭐️ Project: fraunhoferhhi.github.io/neural-deferred-shading

✅️ Paprer: https://mworchel.github.io/assets/papers/neural_deferred_shading_with_supp.pdf

⏩ Pyremesh : https://github.com/sgsellan/botsch-kobbelt-remesher-libigl

❤️Video: https://www.youtube.com/watch?v=nIqmuylmpFY

ai_machinelearning_big_data

Machinelearning

11 января 2023 11:00

🔊 Audio-Visual Efficient Conformer for Robust Speech Recognition

Улучшенный метод чтения по губам, с помощью архитектуры Conformer Connectionist Temporal Classification (CTC) для обработки аудио и видео.

🖥 Github
✔️ Paper
🔥Notebook
🚀 Models

@ai_machinelearning_big_data

Machinelearning

07 января 2023 09:31

🔥 Yolo8 is coming!

На github вылложили веса.
Обновилась документация.

🖥 Github
✔️ Docs
🖥 Colab

@ai_machinelearning_big_data