🎮 RAP-SAM:Towards Real-Time All-Purpose Segment Anything
Модель для универсальной сегментации в реальном времени для распознавания и сегментации объектов на изображениях, видео и интерактивных материалах.
🖥 Code: https://github.com/xushilin1/rap-sam
📚 Paper: https://arxiv.org/abs/2401.10228v1
🌟 Dataset : https://paperswithcode.com/dataset/coco
@ai_machinelearning_big_data\
🎉 Stability AI выпустили Stable LM 2 1.6B
Первая языковая модель из новой серии Stable LM 2: базовую модель с 1,6 миллиардами параметров. Базовая модель обучена примерно на 2 триллионах лексем в течение двух эпох и включает в себя многоязычные данные.
Используя последние алгоритмические достижения в области языкового моделирования, удалось найти оптимальный баланс между скоростью и производительностью, что позволило быстро проводить эксперименты и итерации при умеренных затратах.
▪демо: https://huggingface.co/spaces/stabilityai/stablelm-2-1_6b-zephyr
▪база моделей: https://huggingface.co/stabilityai/stablelm-2-1_6b
▪инструкции: https://huggingface.co/stabilityai/stablelm-2-zephyr-1_6b
@ai_machinelearning_big_data
🚀 The newly released DeciCoder-6B model is one of the most capable and advanced multi-language code LLMs.
Недавно выпущенная модель DeciCoder-6B - одна из самых способных и продвинутых мультиязычных LLM
модели для работы с кодом в классе параметров 7B.
Модель DeciCoder-6B демонстрирует исключительное мастерство владения яп, га руовне или превосходя конкурирующие модели в своем классе 🔥
Модель обучена на коде Python, Java, Javascript, Rust, C++, C и C#
из Starcoder Training Dataset, DeciCoder-6B демонстрирует исключительное мастерство владения этими языками.
В бенчмарке HumanEval
он превосходит такие модели, как CodeGen 2.5 7B и StarCoder 7B, практически на всех поддерживаемых языках.
На языке Python DeciCoder лидирует с преимуществом в 3 балла над моделями вдвое большего размера, например StarCoderBase 15.5B!
🚀 HF: https://huggingface.co/Deci/DeciCoder-6B
📚 Blog: https://deci.ai/blog/decicoder-6b-the-best-multi-language-code-generation-llm-in-its-class/
🌟 Colab: https://colab.research.google.com/drive/1QRbuser0rfUiFmQbesQJLXVtBYZOlKpB
@ai_machinelearning_big_data
🖥 Introducing ASPIRE for selective prediction in LLMs
Google представили ASPIRE - фреймворк, который расширяет возможности предсказания больших языковых моделей, позволяя им выдавать ответ в паре с оценкой уверенности.
Узнайте, почему он превосходит современные методы на различных наборах данных QA.
https://blog.research.google/2024/01/introducing-aspire-for-selective.html
@ai_machinelearning_big_data
💃 (Moore) Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
Animate Anyone: новая модель синтеза изображения в видео для качественно анимации персонажей.
🖥 Code: https://github.com/MooreThreads/Moore-AnimateAnyone
🚀 Colab: github.com/camenduru/Moore-AnimateAnyone-colab
📚 Paper: arxiv.org/abs/2311.17117
🌟 Project: humanaigc.github.io/animate-anyone/
@ai_machinelearning_big_data
🔉 MAGNeT: Masked Audio Generation using a Single Non-Autoregressive Transformer
Мощная система преобразования текста в звук от FAIR.
И да, она с открытым исходным кодом.
🖥 Code: https://github.com/facebookresearch/audiocraft/blob/main/docs/MAGNET.md#api
🚀 HF: https://huggingface.co/collections/facebook/magnet-659ef0ceb62804e6f41d1466
📚 Paper: https://arxiv.org/abs/2401.04577
🌟 Project: https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT/
⚛️ Datasets: https://github.com/facebookresearch/audiocraft/blob/main/docs/DATASETS.md
@ai_machinelearning_big_data
🖼️ DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders 🔥
DDColor - инструмент для естественной колоризации изображений.
Обширные эксперименты показывают, что DDColor превосходит все существующие современные разработки на бенчмарках.
🖥 Code: github.com/piddnad/DDColor
📚 Paper: arxiv.org/abs/2212.11613
🌟 Colab: https://github.com/camenduru/DDColor-colab
@ai_machinelearning_big_data
Создать и обучить нейросеть — вопрос времени.
Получить необходимый для этого навык — вообще не вопрос.
Приходите на бесплатный интенсив «Погружение в Data Science: обучите свою первую нейросеть за два дня» от онлайн-школы Skillfactory.
С 16 по 17 января будете строить алгоритмы и обучать нейронную сеть.
А за лучшее решение домашнего задания сможете получить мини-курс по аналитическому мышлению в подарок.
Зарегистрироваться: https://go.skillfactory.ru/&erid=2VtzqusXUGV
Реклама, ООО «Скилфэктори», ИНН: 9702009530
🔥Physics-based Text-to-Motion🔥InsActor
- генеративный фреймворк, использующий последние достижения в области диффузионных моделей движения человека для создания управляемых промптами анимаций персонажей, основанных на физике.
🖥 Code: github.com/jiawei-ren/insactor
📚 Paper: arxiv.org/abs/2312.17135
⚡️ Project: https://jiawei-ren.github.io/projects/insactor/
@ai_machinelearning_big_data
🧠 BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
Рендеринг в реальном времени управляемых аватаров с 4D-головой на различных устройствах, включая мобильные.
BakedAvatar использует видеозаписи человека для создания качественных управляемых аватаров.git clone https://github.com/buaavrcg/BakedAvatar
cd BakedAvatar
🖥 Code: https://github.com/buaavrcg/BakedAvatar
📚 Paper: https://dl.acm.org/doi/10.1145/3618399
⚡️ Page: https://buaavrcg.github.io/BakedAvatar/
@ai_machinelearning_big_data
🦾 Free Course: The Hands-on Reinforcement Learning course 🚀
Обучение с подкреплением — один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой.
Это пошаговый практический курс, который поможет вам пройти изучить RL с сымых основ.
💻 Course
🖥 Github
@ai_machinelearning_big_data
🎙OpenVoice: Versatile Instant Voice Cloning
OpenVoice: Универсальное мгновенное клонирование голоса ✨
1. Точное клонирование тональности голоса. OpenVoice может точно клонировать тон голоса и генерировать речь на нескольких языках и акцентах.
2. Гибкое управление стилем голоса. OpenVoice позволяет контролировать стили голоса, такие как эмоции и акцент, а также другие параметры стиля, включая ритм, паузы и интонацию.
3. Кросс-языковое клонирование голоса.
🖥 Code: https://github.com/myshell-ai/OpenVoice
📚 Paper: https://arxiv.org/abs/2312.01479
⚡️ Page: https://research.myshell.ai/open-voice
🌟 Colab: https://github.com/camenduru/OpenVoice-colab
@ai_machinelearning_big_data
🌹4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency
Генерация 4D-контента с пространственно-временной согласованностью!
Пайплайн обеспечивает условное создание 4D, позволяя пользователям задавать геометрию генераци и движение (монокулярные видео), тем самым обеспечивая контроль над созданием контента. #GaussianSplatting #3DGS
🖥 Code: https://github.com/VITA-Group/4DGen
🔮 Project: https://vita-group.github.io/4DGen/
📚 ArXiv: https://arxiv.org/abs/2305.06456
@ai_machinelearning_big_data
⚡️ MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
Новая модель-контроллер движения для генерации видео, который способен самостоятельно управлять сложным движением камеры и движением объектов в генерируемых видео.
🖥 Code: https://github.com/TencentARC/MotionCtrl
🎓 Colab: https://github.com/camenduru/MotionCtrl-colab
🔮 Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl
📚 ArXiv: https://arxiv.org/abs/2312.03641
@ai_machinelearning_big_data
⚠️ Снижение размерности в ML – что это такое и как с этим работать?
Расскажет Мария Тихонова – Senior Data Scientist в «SberDevices» и преподаватель ВШЭ. Встречаемся на бесплатном практическом уроке «Метод главных компонент для снижения размерности» от OTUS.
• На занятии вы узнаете основные подходы к задаче снижения размерности в ML
• Изучите метод главных компонент для снижения размерности и научитесь применять алгоритм PCA на практике.
Встречаемся 22 января в 18:00 мск в рамках курса «Machine Learning. Professional».
Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить список вопросов и ответов для прохождения интервью
👉Регистрация
https://otus.pw/IFnP/?erid=LjN8K6S1b
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Знаешь, как организовать потоки загрузки и обрабатывать данные, но хочешь делать это ещё лучше? 👨💻
Пройди интенсив по направлению Data Engineer в Открытой школе Холдинга Т1 — лидера* российского ИТ-рынка🔝
Прокачаем скилы и пригласим в команду.
Для кого? Дата-инженеры с опытом работы от года.
Как всё устроено❓
1️⃣ подай заявку
2️⃣ пройди входное тестированиеДля интенсива достаточно выделить 8 часов в неделю: 4 на вебинары + 4 на практику.
Гибкий график, без отрыва от работы. Продолжительность — 1 месяц, а старт уже в январе.
Принимаем заявки до 24 января❗️
*По версии CNews Analytics 2022, TAdviser 2021 и RAEX 2023
Реклама. ООО "ГК "ИННОТЕХ". ИНН 9703073496.
🦾 Hard skills ML-разработчиков: Яндекс составил карту технических навыков для специалистов по Machine Learning
На ней можно найти, какие навыки тесно связаны между собой и к каким инструментам интерес особенно вырос за последний год.
Чем больше надпись на карте, тем чаще разработчики искали информацию по тегу. Чем ближе два навыка друг к другу, тем ближе контекст, в котором они применяются.
Можно побродить по карте, а ещё заполнить чек-лист на основе трендов 2023 года. Полезное.
@ai_machinelearning_big_data
🥈 Kandinsky от Сбера стала второй по популярности нейросетью среди разработчиков по версии Hugging Face
AI-ресурс с лучшими open-source решениями выпустил рейтинг, где нейросеть Kandinsky от Сбера стала лидером по темпам роста, но уступила первое место Stable Diffusion по популярности среди разработчиков.
Разработчики Kandinsky отметили, что по итогам 2023 года аудитория нейросети выросла до 12 млн человек, а число сгенерированных в прошлом году изображений превысило 200 млн.
📚 Paper
@ai_machinelearning_big_data
Три совета начинающим разработчикам, которые хотят заняться базами данных, от героев нового выпуска шоу «1х1». Это Андрей Бородин и Максим Кита. В Яндексе они занимаются опенсорсными базами данных и YDB ➕
1️⃣ «Контрибьютьте в опенсорс»
Выберите популярный проект на GitHub, например ClickHouse, и найдите в Issues задачи для новичков с пометкой вроде «Easy first issue».
2️⃣ «Начните с открытых курсов»
Посмотрите курс Энди Павло по базам данных — для начинающих и более продвинутых — или записи лекций Максима Киты, которые он читает во ВШЭ (все материалы по ним — на GitLab).
3️⃣ «Общайтесь с теми, кто делает сервисы»
У любого разработчика всегда есть длинный список задач, которые нужно сделать. Попросите такой и возьмитесь за какой-то простой вопрос.
Подписывайтесь 🔴 @yandex
📐 AlphaGeometry: An Olympiad-level AI system for geometry
Deepmind представили AlphaGeometry: систему искусственного интеллекта, которая решает олимпиадные задачи по геометрии на уровне, приближающемся к уровню золотого медалиста.
Система была обучена исключительно на синтетических данных и знаменует собой прорыв ИИ в области математики.
https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
🖥 Code: https://github.com/facebookresearch/audiocraft/blob/main/docs/MAGNET.md#api
🚀 Deepmind: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
📚 Paper: https://www.nature.com/articles/s41586-023-06747-5
@ai_machinelearning_big_data
Международная online конференция про AI от основателей Epic Growth
Лучшие практики для разработчиков, инженеров, ресерчеров, дата сайентистов, тим-лидов и продактов, от ведущих мировых компаний, которые создают AI-based продукты и инфраструктуру.
Выступят спикеры 📣
— Meta (команда Llama-2)
— Github (команда Copilot)
— Databricks
— Hugging Face
— Anyscale
— Zilliz
— Writer
— Speechify
— Twelve Labs
И других классных компаний, которые прямо сейчас создают AI-будущее.
Будут затронуты самые актуальные темы:
— AI Agents development
— Fine-tuning & RLHF
— AI devtools & infrastructure
— Retrieval-Augmented Generation
— LLMops
— Open Source AI
— Multimodal APIs
— AI & Data analytics
Конференция пройдет в Online формате 3️⃣0️⃣➖3️⃣1️⃣ января на английском языке 🇬🇧
Участники получат доклады, воркшопы и записи, а также доступ в нетворкинг-чат.
Скидка 1️⃣0️⃣ % по промо-коду — MBFIAA358
Регистрация через VPN
💊 AMIE: A research AI system for diagnostic medical reasoning and conversations
149 актеров, играющих пациентов, общались в прямом эфире с одним из 20 врачей, отобранных для теста и новым медицинским LLM от Google, AMIE.
После врачи-специалисты и пациенты оценивали качество обслуживания. AMIE обошел врачей.
💡 Blog: https://blog.research.google/2024/01/amie-research-ai-system-for-diagnostic_12.html
📚 Paper: https://arxiv.org/abs/2401.05654
@ai_machinelearning_big_data
⚡️ SigLIP: a better CLIP model
SigLIP от Google теперь доступен в 🤗 Transformers!
Он улучшает CLIP с помощью функции сигмоидальной потери.
SOTA для пары изображение в текст и наоборот.
🖥 Github: https://github.com/NielsRogge/Transformers-Tutorials/blob/master/SigLIP/Inference_with_(multilingual)_SigLIP%2C_a_better_CLIP_model.ipynb
📚 Paper: https://arxiv.org/abs/2303.15343
⚡️HF: https://huggingface.co/docs/transformers/main/en/model_doc/siglip
@ai_machinelearning_big_data
⚡️ The SwiftInfer project combines StearmingLLM with TesorR-LLM to make the inference efficiency and productivity much higher.
Сегодня состоялся новый большой релиз от команды Colossal-AI!
Они выложили в открытый доступ новый алгоритм SwiftInfer.
Алгоритм позволяет на 46% улучшить производительность LLM!
Этот проект объединяет инновации из двух недавних проектов, таких как StreamingLLM и TensoRT-LLM, чтобы обеспечить лучшую производильность и низкую задержку при выводе LLM.
Как StreamingLLM решает эту проблему
📌 StreamingLLM решает проблему 'attentional sink' (поглощения внимания) , когда начальные лексемы в тексте получают непропорционально большое внимание алгоритма. В традиционных методах, производительность модели значительно снижается, как только эти начальные лексемы исключаются из окна внимания.
StreamingLLM решает эту проблему, обеспечивая постоянное включение этих важных начальных лексем в окно внимания, тем самым стабилизируя генерацию и поддерживая высокое качество без необходимости дополнительной тонкой настройки.
Очень интересный проект!git clone https://github.com/hpcaitech/SwiftInfer.git
cd SwiftInfer
pip install.
🖥 Github
@ai_machinelearning_big_data
🖥 Transformers From Scratch
PYTHON
In this notebook we have built a transformer model based on the Attention Is All You Need paper following along with Andrej Karpathy’s fantastic YouTube video: Let’s build GPT.
В этом блоге показн процесс создания и обучения трансформеров с нуля.
Шаг за шагом рассмотрен каждый основополагающий элемент с объяснением, что происходит на каждом этапе.
Этот блог написан в блокноте Jupyter, который вы можете скачать и использовать для самостоятельного выполнения кода по ходу работы.
📌 Notebook
@ai_machinelearning_big_data
🦜 DreamTalk: When Expressive Talking Head Generation Meets Diffusion Probabilistic Models
DreamTalk - это фреймворк для создания выразительных говорящих голов, который может создавать высококачественные видеоролики говорящих голов в различных стилях речи.
DreamTalk демонстрирует высокую производительность при работе с разнообразными исходными данными, включая песни, речь на нескольких языках, зашумленное аудио.
🖥 Code: https://github.com/ali-vilab/dreamtalk
📚 Paper: https://arxiv.org/abs/2312.09767
⚡️ Page: https://dreamtalk-project.github.io
🌟 Colab: https://github.com/camenduru/dreamtalk-colab
@ai_machinelearning_big_data
✔️ AIJack: Security and Privacy Risk Simulator for Machine Learning
Security and Privacy Risk Simulator for Machine Learning.
AIJack - библиотека с открытым исходным кодом, предназначенная для оценки рисков безопасности и конфиденциальности, связанных с обучением и развертыванием моделей машинного обучения.
На фоне растущего интереса к большим данным и искусственному интеллекту ускоряется прогресс в исследованиях и применения в бизнесе инструментов машинного обучения. Однако недавние исследования выявили потенциальные угрозы, такие как кража обучающих данных и манипулирование моделями со стороны злоумышленников.
Поэтому полное понимание уязвимостей моделей машинного обучения в области безопасности и конфиденциальности имеет решающее значение для безопасной интеграции машинного обучения в реальные проекты.
AIJack призван решить эту задачу, предоставляя библиотеку с различными методами атак и защиты через единый API. pip install git+https://github.com/Koukyosyumei/AIJack
🖥 Code: https://github.com/microsoft/promptbench
🌟 Docs: https://promptbench.readthedocs.io/en/latest/
📚 Paper: https://arxiv.org/abs/2312.07910v1
⚡️ Dataset: https://paperswithcode.com/dataset/mmlu
@ai_machinelearning_big_data
🧍♂ Perpetual Humanoid Control for Real-time Simulated Avatars
Новая модель, которая позволяет добиться генерации текста в движение в режиме реального времени, используя симуляцию движения человека.
Контроллер, обеспечивает высокую точность имитации движений и восстановления положения при наличии помех и неожиданных падений.
🖥 Code: github.com/ZhengyiLuo/PerpetualHumanoidControl
🎓 Video: https://www.youtube.com/watch?v=zS6Y00EW37A
🔮 Project: https://zhengyiluo.github.io/PHC/
📚 ArXiv: https://arxiv.org/abs/2305.06456
@ai_machinelearning_big_data
🐱DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing
DiffMorpher - новый подход, обеспечивающий плавное преобрахование изображений с помощью диффузионных моделей.
🖥 Code: https://github.com/Kevin-thu/DiffMorpher
🧪OpenXLab: https://openxlab.org.cn/apps/detail/KaiwenZhang/DiffMorpher
🎓 Colab: https://github.com/camenduru/DiffMorpher-colab
🔮 Project Page: https://kevin-thu.github.io/DiffMorpher_page
📚 ArXiv: https://arxiv.org/abs/2312.07409
@ai_machinelearning_big_data