Segment Any Anomaly without Training via Hybrid Prompt Regularization
This project addresses zero-shot anomaly detection by combining SAM and Grouding DINO.
Цель этого проекта - сегментировать любую аномалию без какого-либо обучения. Это интересное демо работает, объединяя Grounding DINO и Segment Anything!
🖥 Github: https://github.com/caoyunkang/segment-any-anomaly
🖥 Colab: https://colab.research.google.com/drive/1Rwio_KfziuLp79Qh_ugum64Hjnq4ZwsE?usp=sharing
⏩ Paper: https://arxiv.org/abs/2305.11013v1
📌 Dataset: https://paperswithcode.com/dataset/visa
ai_machinelearning_big_data
FunASR: A Fundamental End-to-End Speech Recognition Toolkit
FunASR, an open-source speech recognition toolkit designed to bridge the gap between academic research and industrial applications
Фундаментальный набор инструментов для распознавания речи.
🖥 Github: https://github.com/alibaba-damo-academy/FunASR
⭐️ Docs: https://alibaba-damo-academy.github.io/FunASR/en/index.html
⏩ Paper: https://arxiv.org/abs/2305.11013v1
📌 Dataset: https://paperswithcode.com/dataset/wenetspeech
ai_machinelearning_big_data
FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention
FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.
FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.
🖥 Github: https://github.com/mit-han-lab/fastcomposer
⏩ Paper: https://arxiv.org/abs/2305.10431v1
📌 Dataset: https://paperswithcode.com/dataset/ffhq
⭐️ Project: https://fastcomposer.mit.edu/
ai_machinelearning_big_data
ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding
You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!
ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.
🖥 Github: https://github.com/salesforce/ulip
⏩ Paper: https://arxiv.org/abs/2305.08275v1
📌 Dataset: https://paperswithcode.com/dataset/objaverse
ai_machinelearning_big_data
Если хотите получить качественное образование в области компьютерных наук и учиться в университете, который входит в ТОП-100 лучших молодых вузов мира по версии Nature Index, этот пост для вас!
Сейчас в Сколтехе открыт отбор на две сильные магистратуры:
Современные вычислительные методы — программа сочетает в себе обучение современным методам математического моделирования, включая методы искусственного интеллекта, и их применение на практике с учётом передовых возможностей высокопроизводительных и параллельных вычислений.
Науки о данных — программа готовит экспертов в сфере машинного и глубокого обучения, компьютерного зрения, обработки естественного языка и других направлений современной науки о данных.
Немного об учёбе в Сколтехе:
- собственный исследовательский проект на базе уникальных лабораторий;
- профессора с мировым именем;
- стипендия и ДМС.
Узнайте подробнее о программах Сколтеха и подайте заявку здесь.
Реклама. Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», ИНН 5032998454
⚡️Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»!
Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС).
На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС.
Призовой фонд Сателлита №1 составляет 5 млн руб.
Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса.
Призерами и победителями могут стать только налоговые резиденты РФ.
📲Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке.
Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб.
VideoChat: Chat-Centric Video Understanding
Currently, Ask-Anything is a simple yet interesting tool for chatting with video.
Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.
🖥 Github: https://github.com/OpenGVLab/Ask-Anything
⭐️ Demo: https://huggingface.co/spaces/ynhe/AskAnything
⏩ Paper: https://arxiv.org/pdf/2305.06355v1.pdf
📌 Dataset: https://paperswithcode.com/dataset/webvid
ai_machinelearning_big_data
🔥 ImageBind: One Embedding Space To Bind Them All
ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.
ImageBind, новый подход от Meta к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.
🖥 Github: https://github.com/facebookresearch/imagebind
Ⓜ️ Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
⏩ Paper: https://arxiv.org/pdf/2305.05665v1.pdf
⭐️ Demo: https://imagebind.metademolab.com/
📌 Dataset: https://paperswithcode.com/dataset/msr-vtt
ai_machinelearning_big_data
🔈Text-to-Video: The Task, Challenges and the Current State
In this post, we covered the constraints, unique challenges and the current state of text-to-video generation models
Текст в видео: Задачи, проблемы и текущее состояние. В этом посте мы обсудим прошлое, настоящее и будущее моделей "текст в видео".
🤗 Hugging face: https://huggingface.co/blog/text-to-video
🖥 Github: https://github.com/huggingface/blog/blob/main/text-to-video.md
⏩ Damo-vilab: https://huggingface.co/damo-vilab
📌 Dataset: https://m-bain.github.io/webvid-dataset/
ai_machinelearning_big_data
🔄 Caption Anything: Interactive Image Description with Diverse Multimodal Controls
Caption-Anything is a versatile tool combining image segmentation, visual captioning, and ChatGPT, generating tailored captions with diverse controls for user preferences.
Универсальный инструмент для работы с изображениями, сочетающий в себе возможности, Visual Captioning, SAM, ChatGPT. Модель генерирует описательные подписи для любого объекта на изображении.
🖥 Github: https://github.com/ttengwang/caption-anything
⏩ Paper: https://arxiv.org/abs/2305.02677v1
📌 Dataset: https://paperswithcode.com/dataset/cityscapes-3d
🖥 Colab: https://colab.research.google.com/github/ttengwang/Caption-Anything/blob/main/notebooks/tutorial.ipynb
ai_machinelearning_big_data
Имеете опыт в машинном обучении, но хотите двигаться ещё дальше?
Специально для вас Валерий Бабушкин, Vice President, Data Science в Blockchainꓸcom, вместе с командой опытных специалистов из Яндекса, AliExpress и X5 Retail Group подготовил продвинутый курс, на котором вам предстоит решать сложные и нестандартные задачи бизнеса.
Ранжирование и матчинг, динамическое ценообразование, uplift-моделирование, ускорение и повышение чувствительности A/B-тестов — выбирайте нужные блоки или проходите курс целиком.
Если вы уже сталкивались с чем-то из этого в своей работе, то познакомитесь с best practices индустрии. А если нет — дополните своё резюме новыми кейсами и станете более разносторонним ML-специалистом.
Ждём вас на курсе! Следующий поток стартует уже 10 мая, а по промокоду HARDMLAI26 будет скидка 5%
Записывайтесь по ссылке
Running IF with 🧨 diffusers on a Free Tier Google Colab
IF is better at generating images with high-frequency details (e.g., human faces and hands) and is the first open-source image generation model that can reliably generate images with text.
Инструкция, как запустить одну из самых мощных моделей преобразования текста в изображение с открытым исходным кодом IF на бесплатном Google Colab.
🤗 Hugging face: https://huggingface.co/blog/if
🖥 Github: https://github.com/deep-floyd/IF
⏩ Paper: https://arxiv.org/pdf/2205.11487.pdf
📌 Demo:https://huggingface.co/spaces/DeepFloyd/IF
ai_machinelearning_big_data
🔍 Unleashing Infinite-Length Input Capacity for Large-scale Language Models with Self-Controlled Memory System
Self-Controlled Memory (SCM) system to unleash infinite-length input capacity for large-scale language models.
SCM может быть интегрирована с любыми LLM для обработки сверхдлинных текстов без каких-либо изменений или тонкой настройки.
🖥 Github: https://github.com/toufunao/SCM4LLMs
⏩ Paper: https://arxiv.org/abs/2304.13343v1
📌 Tasks: https://paperswithcode.com/task/language-modelling
ai_machinelearning_big_data
🔊 AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head
Multi-modal AI system named AudioGPT, which complements LLMs (i.e., ChatGPT) with 1) foundation models to process complex audio information and solve numerous understanding and generation tasks
AudioGPT: Генерирование речи, музыки, звука и говорящих аватаров.
🖥 Github: https://github.com/aigc-audio/audiogpt
⏩ Paper: https://arxiv.org/abs/2304.12995v1
🤗 Hugging face: https://huggingface.co/spaces/AIGC-Audio/AudioGPT
📌 Dataset: https://paperswithcode.com/dataset/c4
ai_machinelearning_big_data
Track anything
Project developed upon Segment Anything, can specify anything to track and segment via user clicks only.
Track-Anything - это гибкий и интерактивный инструмент для отслеживания и сегментации видео.
🖥 Github: https://github.com/gaomingqi/track-anything
⏩ Paper: https://arxiv.org/abs/2304.11968v1
🤗 Hugging face: https://huggingface.co/spaces/watchtowerss/Track-Anything
📌 Dataset: https://paperswithcode.com/dataset/davis-2017
ai_machinelearning_big_data
Почему мы всё время начинаем и бросаем учить английский?
Одна из причин — мы не знаем свой уровень языка. В итоге берёмся за контент, который нам не по силам. Например, сериал «Друзья» часто советуют смотреть тем, кто начинает учить язык, но в нём полно юмора, который начинающие пока понять не могут.
В итоге разрыв знаний удручает и мотивация снова падает.
Если вы готовы дать английскому ещё один шанс, мы поможем поверить в свои силы и довести дело до конца.
Приходите на бесплатную консультацию в Яндекс Практикум:
- Проведём устный тест на уровень языка,
- Покажем, чего реально добиться за полгода изучения,
- Расскажем, как наши курсы помогут достичь цели.
Записаться
💪 Хотите выйти на новый уровень в Machine Learning? Научитесь рекомендовать визуально похожие товары!
Приглашаем вас 24 мая в 20:00 мск на открытый урок в OTUS. Для участия пройдите вступительный тест 👉 https://otus.pw/9S45/
Занятие приурочено к старту онлайн-курса «Рекомендательные системы» в OTUS. Вместе с Александром Брут-Бурляко, DS-инженером в СБЕР Neurolab, разберем, как использовать векторное представление изображений и нейросети компьютерного зрения для поиска объектов по фото.
В результате вы поймете, как:
- Работать с глубокими нейросетями компьютерного зрения
- Готовить изображения для обработки
- Сделать рекомендательную систему на основе похожих изображений.
💻 Урок подходит для DS/ML/DL-специалистов, аналитиков и руководителей контентных сервисов и интернет-магазинов, которые хотят создать свою рекомендательную систему на основе сравнения изображений.
После вебинара вы сможете продолжить обучение на курсе. Сейчас доступны разные способы оплаты. https://otus.pw/9S45/
Нативная интеграция. Информация о продукте на otus.ru
❗️Как пройти техническое собеседование на ML-специалиста?
⚠️ Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS!
На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию.
👉 Для удачного прохождения этого этапа не достаточно только знания алгоритмов машинного обучения. Также проверяются навыки проектирования ML систем, которые могут успешно работать в промышленной среде.
Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения.
👉 Готовьте вопросы и записывайтесь на вебинар!
https://otus.pw/mQFg/
Нативная интеграция. Информация о продукте www.otus.ru
⏩ An Inverse Scaling Law for CLIP Training
CLIP, the first foundation model that connects images and text, has enabled many recent breakthroughs in computer vision. As a result of this finding, we are able to successfully train CLIP even by using academic resources.
CLIP, первая фундаментальная модель, которая связывает изображения и текст, которая помогла совершить множество прорывов в компьютерном зрении. Проект показывает спопобы снижения вычислительных затрат на работу CLIP.
🖥 Github: https://github.com/UCSC-VLAA/CLIPA
⏩ Paper: https://arxiv.org/abs/2305.07017v1
📌 Dataset: https://paperswithcode.com/dataset/imagenet-sketch
ai_machinelearning_big_data
⭐️ Towards Building the Federated GPT: Federated Instruction Tuning
Shepherd: A lightweight, foundational framework enabling federated instruction tuning for large language models
Модель для фундаментальной основе для изучения федеративной тонкой настройки LLM.
🖥 Github: https://github.com/jayzhang42/federatedgpt-shepherd
⏩ Paper: https://arxiv.org/pdf/2305.05644.pdf
📌 Data Preparation: https://github.com/jayzhang42/federatedgpt-shepherd#Data_Preparation
ai_machinelearning_big_data
📖 DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation
A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.
Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.
🖥 Github: https://github.com/harlanhong/cvpr2022-dagan
⏩ Paper: https://arxiv.org/pdf/2305.06225v1.pdf
⭐️ Demo: https://huggingface.co/spaces/HarlanHong/DaGAN
📌 Dataset: https://paperswithcode.com/dataset/voxceleb1
ai_machinelearning_big_data
⁉️ Начните изучать инструменты MLOps с библиотеки DataFrame API!
⚠️ Приглашаем 15 мая в 20:00 мск на открытый урок «DataFrame API: от Dask к PySpark» в OTUS.
DataFrame API — это библиотека для обработки данных в Python, которая часто используется в задачах машинного обучения.
✅ На этом занятии мы рассмотрим ситуацию, когда данные уже не помещаются на дисковый массив, а для быстрой обработки требуется большое количество ядер.
⬆️ Покажем на практике как деплоить модели в production
Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения.
👉 Готовьте вопросы и записывайтесь на вебинар!
https://otus.pw/UImi/
Нативная интеграция. Информация о продукте www.otus.ru
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес
Каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку. Для многих это новое направление. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей.
⏰ Когда: 8 июня, 12:00
📍Где: Москва и онлайн
⚡️ Регистрация
На VK Cloud Conf эксперты VK и крупнейших российских компаний поделятся опытом организации процессов разработки, работы с данными и информационной безопасности в облаке.
Вы узнаете, какими инструментами и подходами можно сократить время вывода новых разработок на рынок. Спикеры обсудят архитектуру современных аналитических систем — от сбора и структурирования данных до визуализации и разработки моделей машинного обучения.
В программе:
🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов
🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов
🔹 Тренды и примеры миграции на российские базы данных
🔹 Лучшие практики облачной безопасности в условиях требований к конфиденциальности данных
Конференция будет полезна руководителям компаний и ИТ-специалистам разных направлений.
ZipIt! Merging Models from Different Tasks without Training
ZipIt allows to combine completely distinct models with different initializations, each solving a separate task, into one multi-task model without any additional training.
"ZipIt!", новый метод объединения двух произвольных моделей одной архитектуры.
🖥 Github: https://github.com/gstoica27/zipit
⏩ Paper: https://arxiv.org/abs/2305.03053v1
📌 Dataset: https://paperswithcode.com/dataset/nabirds
ai_machinelearning_big_data
🖥 Awesome Chatgpt
Awesome list for ChatGPT — an artificial intelligence chatbot
Awesome список для ChatGPT.
🖥 Github: https://github.com/sindresorhus/awesome-chatgpt
💨 Examples: https://github.com/xiaowuc2/ChatGPT-Python-Applications
✅️ QuickGPT: https://sindresorhus.gumroad.com/l/quickgpt
ai_machinelearning_big_data
TaskPrompter: Spatial-Channel Multi-Task Prompting for Dense Scene Understanding
Novel spatial-channel multi-task prompting transformer framework to achieve this target.
Две мощные модели многозадачных трансформеров для пониманияк контекста на видео.
🖥 Github: https://github.com/prismformore/multi-task-transformer
⏩ Paper: https://openreview.net/forum?id=-CwPopPJda
📌 Dataset: https://paperswithcode.com/dataset/cityscapes-3d
ai_machinelearning_big_data
🖌 Edit Everything: A Text-Guided Generative System for Images Editing
A text-guided generative system without any finetuning (zero-shot).
Edit Everything позволяет пользователям редактировать изображения с помощью простых текстовых инструкций.
🖥 Github: https://github.com/defengxie/edit_everything
⏩ Paper: https://arxiv.org/abs/2304.14006v1
🚀 Dataset: https://paperswithcode.com/dataset/wukong
ai_machinelearning_big_data
Как не забывать теорию Deep Learning и учить новое?
Можно подписаться на канал DeepSchool. В нем вы найдете
- короткие посты с теорией;
- разборы статей;
- советы по обучению сетей;
- вопросы с собеседований;
- и обзоры фреймворков.
1. Обзор ключевых идей MobileNet — что делает эту архитектуру столь эффективной
2. Инструкция: как ускорить разметку изображений при помощи CVAT и FiftyOne
3. Что такое attention
4. Об асинхронности вычислений на GPU
5. Вопрос с собеседования на дообучение сегментационной модели
Подписывайтесь, чтобы не забывать теорию Deep Learning и учить новое :)
Как можно использовать ChatGPT в IT-менеджменте
Можно ли менеджеру спрашивать совета у ChatGPT? Можно ли проводить или проходить собеседования с помощью искусственного интеллекта? Как использовать нейросеть в управлении бизнесом?
Ведущие подкаста «Для tech и этих» вместе с директором по анализу больших данных в СберМаркете рассказали, как и для чего можно использовать ChatGPT менеджерам и инженерам. Слушайте выпуск по ссылке: bit.ly/41VpORi
ChatGPT: создаем ИИ без единой строчки кода
Бесплатно покажем, как создать нейросеть полностью только запросами к ChatGPT! Без единой строчки кода написанной руками!
Получи запись прямо сейчас!
☝А еще у нас крутые интенсивы на которых ученики пишут собственные нейронки без опыта программирования - это тоже Бесплатно