Machinelearning

23 ноября 2023 17:14

Где ML-специалисту попрактиковаться перед собеседованием или подглядеть лучшие практики решения своих задач?

На Симуляторе ML вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения — всё как на настоящей работе.

Вы научитесь:
- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его

После симулятора вы точно найдете применение знаниям в работе или сможете успешно пройти собеседование на позицию в сфере Machine Learning и приносить пользу бизнесу уже с первых дней.

До конца ноября в karpovꓸcourses действуют скидки до 27%, успейте купить подписку на Симулятор по самой выгодной цене!

[Начать учиться]

Machinelearning

23 ноября 2023 10:31

Хотите начать увлекательный путь в мир машинного обучения и искусственного интеллекта?

Газпромбанк.Тех совместно с Финтех Хабом Банка России запускает прием заявок на программу «Машинное обучение LITE: базовый уровень» — для тех, кто только начинает осваивать машинное обучение.

Что предстоит изучать?
Основы и методы ML, математику, Python и нейронные сети.

Программа состоит из двух модулей:
- Теоретический модуль пройдет с 21 января по 16 февраля 2024 года
- Практический модуль пройдет с 26 февраля по 10 марта 2024 года для тех, кто показал высокие результаты по итогу первого модуля

Чтобы стать участником, подайте заявку на сайте программы до 17 января 2024 года — https://vk.cc/csyWZU

Реклама Банк ГПБ (АО), ИНН: 7744001497

Machinelearning

22 ноября 2023 18:57

💸 На AI Journey авторы лучшей статьи про искусственный интеллект получили 1 млн рублей

Сбер наградил группу исследователей из Университета Иннополис и МФТИ в составе Михаила Рудакова, Александра Безносикова, Ярослава Холодова и Александра Гасникова — они получили 1 млн рублей за свою статью «Техники сжатия активаций слоёв и градиентов для распределённого обучения моделей искусственного интеллекта».

Её и еще 37 работ других претендентов опубликуют в научном сборнике международной конференции AI Journey — «Путешествие в мир искусственного интеллекта». Всего для участия в отборе прислали более 270 заявок.

«Лучшую статью члены экспертной комиссии отобрали в силу её высокой научной ценности, огромного фундаментального и прикладного значения. Я поздравляю победителей и надеюсь, что они продолжат свои исследования в этом важном направлении», — рассказал первый заместитель председателя правления Сбера Александр Ведяхин.

@ai_machinelearning_big_data

Machinelearning

22 ноября 2023 11:34

Trino: как перехать с Vertica, и как устроен его оптимизатор запросов?

Расскажут эксперты компаний Avito и CedrusData на онлайн-митапе при поддержке JUG Ru Group.

🗓 24 ноября в 18:00 (МСК, GMT+3)

В программе:
✔ Дмитрий Рейман — «Как пересесть на Trino после Vertica»
Реальный кейс Авито по переводу аналитической платформы с Vertica на Trino с сохранением UX конечных пользователей.

✔ Владимир Озеров — «Архитектура и проблемы оптимизатора Trino»
Посмотрим, какие особенности архитектуры позволяют Trino быть эффективным. Где он неэффективен и какие улучшения возможны.

➡️ Регистрация на Timepad.

Ссылку на трансляцию отправят вам за 1 час до начала митапа.

Реклама. ООО "КВЕРИФАЙ ЛАБС"

Machinelearning

22 ноября 2023 10:02

❗️ Какие инструменты нужны для эффективного машинного обучения?

👉 Узнайте на бесплатном открытом уроке «Bagging, Random Forest, стекинг - ансамбли моделей для решения ML-задач» от OTUS и Марии Тихоновой – Senior Data Scientist в «SberDevices» и преподавателя ВШЭ.

🔹 На вебинаре узнаете, как применять ансамбли моделей для решения задач ML и изучите основные подходы к ансамблированию моделей

🔹 Разберем методы ансамблирования Bagging, Random Forest и стекинг

Занятие пройдёт 23 ноября в 18:00 мск и будет приурочено к старту курса «Machine Learning. Professional»

📌 Результаты урока:
Вы освоите такие популярные методы как Bagging, Random Forest и Стекинг 

👉 РЕГИСТРАЦИЯ
https://otus.pw/k65H/

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Machinelearning

21 ноября 2023 17:04

🔥Открытая трансляция главного зала  HighLoad++ 2023!

Самая крутая новость ноября: 27 и 28 ноября пройдет открытая трансляция Главного зала HighLoad++ 2023. Это стало возможным благодаря поддержке нашего генерального партнёра, компании Яндекс.

👉Просто зарегистрируйтесь и смотрите: https://clck.ru/36eNfo

В программе доклады лучших спикеров:

✅Павел Капля (Яндекс) - Алиса 6 лет спустя.

✅Александр Кирсанов (VK, ВКонтакте) - Математический хайлоад: большие, очень большие и немыслимо большие числа.

✅Евгений Россинский (ИВИ) - Как из Python и палок собрать детектор аномалий для highload.

Вы сможете не только посмотреть интересные доклады ТОПовых разработчиков, но и задать им вопросы. Полная программа трека здесь. Регистрируйтесь и присоединяйтесь к просмотру! 

Реклама. ООО "КОНФЕРЕНЦИИ ОЛЕГА БУНИНА". ИНН 7733863233.

Machinelearning

21 ноября 2023 10:02

🔥 Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика!

📣 Всем привет! Хотим пригласить вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных!

Нам предстоит провести аналитику продаж и доставок с помощью Pandas в Python, а также проиллюстрировать это все графиками.

📅 Дата: 22 ноября
🕘 Время: 19:00 по Мск

Что будем делать на интенсиве:

◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д.
◾️ Научимся легко генерировать большой DataFrame с синтетическими данными
◾️ Посчитаем описательные статистики
◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др.
◾️ Построим интерактивные графики с помощью Plotly
◾️ Научимся строить и читать необычные графики - например, violinplot

Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python.

В прямом эфире мы также расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и удивить ревьюера крутыми фишками 🤩

А вы готовы бустануть свои знания и скиллы в аналитике?

👉🏻 Зарегистрироваться на интенсив


Реклама. ООО "Айти Резюме". ИНН 4025460134. Erid:LjN8KNDG7

Machinelearning

20 ноября 2023 10:00

5-6 декабря пройдет YaTalks 2023 - большая технологическая конференция Яндекса

Более 100 специалистов, управленцев и учёных по темам нейросетей, разработки продуктов, дизайну интерфейсов, новых технологий и управления в ИТ. Отдельно хочется отметить стек ML:

- Андрей Гусаков (технический директор Яндекс Поиска) выступит с докладом о том, какие технологии увеличили скорость целых городов и стран, что происходит сейчас
- Андрей Кузнецов (руководитель научной группы FusionBrain, AIRI) расскажет, что сейчас умеют LLM, расскажет об экспериментах,способы общения LLM, механизмы Chain-of-Thought и Tree-of-Thought и общую память

Помимо полезных выступлений, будут сессии лайвкодинга, воркшопы и карьерные консультации, и нетворкинг никто не отменял

Регистрируйтесь, подключайтесь к онлайн трансляции или приходите офлайн и не пропускайте полезные и актуальные кейсы из мира ИТ

Machinelearning

19 ноября 2023 10:01

⚡️ На AI Journey официально пригласили Маска, Альтмана и Брокмана

Оргкомитет конференции опубликовал официальное приглашение для миллиардера и основателя Tesla, SpaceX, владельца X Илона Маска, бывшего генерального директора OpenAI Сэма Альтмана и сооснователя OpenAI Грега Брокмана.

Организаторы AI Journey считают, что Маск мог бы рассказать какие-то инсайты о нейросети Grok, а Альтман и Брокман — о создании ChatGPT. При этом все они согли бы поделиться своим мнением о развитии искусственного интеллекта.

AI Journey 2023 пройдет в Москве 22-24 ноября, на ней выступят эксперты по ИИ со всей планеты.

🤗 Lenta: https://lenta.ru/news/2023/11/19/priglasil/

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 17:02

Хочешь попробовать себя разработчиком в команде «Самолёта»?

«Самолёт» обо всем позаботился и вместе с агентством Ар создал бот «Твой день». Это симулятор профессий, который позволит тебе окунуться в новую профессию, познакомиться с командой, рабочими задачами и корпоративной культурой.

Запустив бота, вы будто начнёте рабочий день в команде «Самолёта». Сможете попробовать разные направления: IT для PropTech или HR-платформа. Примерите на себе разные профессии: frontend- и backend-разработчик (Python)

Приступить к свои обязанностям очень просто:

1. Заходите в телеграм-бот → @arr_day_bot
2. Выбирайте «Самолёт» и профессию, которые кажутся интересными
3. Выполняйте реальные рабочие задачи и изучайте материалы от коллег
4. Откликайтесь на открытые вакансии, если хотите продолжить работать над проектами

Спецпроект продлится до 18 ноября: успевайте!

Реклама. Рекламодатель

Machinelearning

17 ноября 2023 14:01

✅Одно из базовых назначений ArchiMate — объединение разрозненных представлений об архитектуре предприятия благодаря еë послойному представлению, где каждый слой показывает устройство уровней предприятия: стратегический уровень, бизнес-уровень, уровень приложений, технологический уровень и другие.

👉Узнайте больше 23.11 в 19:00 мск на бесплатном вебинаре «Введение в язык Архимейт: кому он будет полезен в работе?»: регистрация

На вебинаре мы познакомимся:
— с назначением языка Архимейт, его концепцией
— основными элементами языка Архимейт
— примерами диаграмм

Урок будет полезен всем, кто хочет познакомиться с Архимейт:
— архитекторам,
— аналитикам,
— тимлидам,
— разработчикам.

🔥После урока вы сможете продолжить обучение на курсе со скидкой ЧП по промокоду BLACK23

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KbhGE

Machinelearning

17 ноября 2023 10:01

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.

В сообществе вы найдете:

▫️ Новости индустрии production ML;
▫️ Полезные статьи, инструменты и технологии;
▫️ Опыт коллег и лучшие практики.

Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: /channel/+Msr-vk2kI144NzJi

Реклама ООО «Селектел» erid 2Vtzqv5drfS

Machinelearning

16 ноября 2023 18:17

Нижний Новгород, готовьтесь узнать всё о рекомендательных системах!

Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки.

Когда: 30 ноября, 18:30
Формат: офлайн
Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35

Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки!

● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec?

● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов.

● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета.

Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber

Machinelearning

16 ноября 2023 13:54

Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса!

Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов.

Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте.

Реклама. ООО «ЯНДЕКС», ИНН 7736207543

Machinelearning

15 ноября 2023 10:01

🎮Одним из самых увлекательных направлений, в котором широко используется обучение с подкреплением, является киберспорт.

🔥В программе курса Reinforcement Learning в OTUS подробно разбираются одни из самых интересных кейсов применения RL в игровой индустрии.

21.11 в 20.00 мск. приглашаем на открытый урок “Игры c человеком и компьютером”

📌На занятии:

- узнаем историю противостояния человека и компьютера в настольных и компьютерных играх;

- познакомимся с основными идеями и подходами при создании игровых интеллектуальных агентов с помощью обучения с подкреплением;

- покажем как обучить модель эффективно управлять группой юнитов в одной из популярных игр.

После урока вы будете понимать как разрабатываются интеллектуальные агенты для различных игр и какие шаги необходимо пройти для реализации собственного игрового бота.

👉Регистрация https://otus.pw/tb0b/

При поступлении в группу возможны разные способы оплаты и рассрочка платежа.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K22Ec

Machinelearning

23 ноября 2023 12:31

Новый фреймворк файнтюнинга ЛЛМ

Higgsfield AI выпустил бета версию фулл-стек легковесного фреймворка для тренировки больших моделей. Пользователи загружают датасет через веб интерфейс и получают модель, которая тренируется на их серверах. Доступны любые модели llama/mistral. Метод оплаты не требуется. Лучше всего работает с десктопным Chrome.

Попробовать запустить новую видео диффузию: https://higgsfield.ai/stable-diffusion

Зафайнтюнить ЛЛМ: https://higgsfield.ai/profile/submit

Github фреймворк который позволяет оркестрировать несколько ГПУ нод без необходимости менеджить Slurm/Kubernetes: https://github.com/higgsfield-ai/higgsfield

ai_machinelearning_big_data

Machinelearning

22 ноября 2023 20:43

🐬 ShareGPT4V:Improving Large Multi-Modal Models with Better Captions

🔥 Масштабный набор данных,содержащий изображения и тексты.
🔥 1,2 млн высококачественных подписей к ихображениям для предварительного обучения.
🔥 Программа для создания описания изображений, приближающаяся по возможностям к GPT4-Vision.
🔥 Большая мультимодальная модель, ShareGPT4V-7B

🖥 Code: https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

🦾 Project: https://sharegpt4v.github.io/

⚡️ Demo: https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B

📚 Paper: https://arxiv.org/pdf/2311.12793.pdf

🔗 Dataset: https://huggingface.co/datasets/Lin-Chen/ShareGPT4V

@ai_machinelearning_big_data

Machinelearning

22 ноября 2023 13:44

🪄 InternLM-XComposer

Multi-Objective Reinforcement Learning algorithms implementations.

MORL-Baselines - это библиотека алгоритмов многоцелевого обучения с подкреплением (MORL).

Данный репозиторий содержит рабочие реализации алгоритмов MORL в PyTorch.

🖥 Code: https://github.com/lucasalegre/morl-baselines

🦾 Project: lucasalegre.github.io/morl-baselines

🖥 Colab: https://colab.research.google.com/drive/1ByjuUp8-CJeh1giPOACqPGiglPxDnlSq?usp=sharing

📚 Paper: https://arxiv.org/abs/2311.12495v1

🔗 Dataset: https://paperswithcode.com/dataset/mo-gymnasium

@ai_machinelearning_big_data

Machinelearning

22 ноября 2023 11:02

Stability AI is releasing Stable Video Diffusion! 🔥

Stability AI выпустили опенсорс модель image-to-video.

Это новая модель преобразования изображения в видео, которая позволяет получить 14-25 кадров с разрешением 576x1024 при наличии контекстного кадра такого же размера.

🖥 Code: https://github.com/Stability-AI/generative-models

🦾 Announcement: https://stability.ai/news/stable-video-diffusion-open-ai-video-model

📚 Paper: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

🔗 Weights: https://github.com/Stability-AI/generative-models

@ai_machinelearning_big_data

Machinelearning

21 ноября 2023 18:06

👱‍♂️ ChatAnything: Facetime Chat with LLM-Enhanced Personas

FACETIME CHAT WITH LLM-ENHANCED PERSONAS.

Новая модель ChatAnything, которая способна придать жизнь разнообразным объектам, будь то животное, фрукт, монстр или даже ваше собственное фото, создавая говорящего персонажа. При помощи нейронных сетей и алгоритмов текст в речь, программа автоматически выбирает наиболее подходящий тон и настроение для созданного персонажа.

Вам предоставляется возможность создать любогоаватара, из текстовом описании или загрузив свое собственное изображение. После этого вы можете общаться с ним, используя текстовые сообщения или ваш голос.

🖥 Github: https://github.com/zhoudaquan/ChatAnything

📕 Paper: https://arxiv.org/abs/2311.06772

⭐️ Model: https://github.com/zhoudaquan/ChatAnything/blob/main/python_scripts/prepare_models.py

ai_machinelearning_big_data

Machinelearning

21 ноября 2023 12:02

➕ SA-Med2D-20M Dataset: Segment Anything in 2D Medical Imaging with 20 Million masks

Модель Segment Anything Model (SAM) достигла впечатляющих результатов при сегментации изображений и успех модели во многом объясняется наличием большого количества обучающих данных с метками.

Однако применение SAM для сегментации медицинских изображений не может дать хороших результатов, поскольку SAM не обладает медицинскими знаниями - она не использует медицинские изображения для обучения.

SA-Med2D-20M - крупномасштабный датасет по сегментации двумерных медицинских изображений, созданный на основе многочисленных гснимков.

Он состоит из 4,6 млн. двумерных медицинских изображений и 19,7 млн. соответствующих масок, охватывающих практически все тело и содержащий значительное разнообразие.

В данной работе описаны все датасеты, собранные в SA-Med2D-20M, и подробно описаны способы обработки этих наборов данных. Кроме того, приведена полная статистика SA-Med2D-20M, которая поможет исследователям построить базовые модели медицинского зрения или применить свои модели в медицинских приложениях.

🏆 Самая большая на сегодняшний день база данных по сегментации медицинских изображений (4,6 млн. изображений и 19,7 млн. масок) для обучения моделей.
🏆 Инструмент файнтюнинга на основе модели Segment Anything Model (SAM).
🏆 Всесторонняя оценка SAM-Med2D на крупномасштабных датасетах.

🖥 Github: https://github.com/OpenGVLab/SAM-Med2D

🖥 Colab: https://colab.research.google.com/github/OpenGVLab/SAM-Med2D/blob/main/predictor_example.ipynb

📕 Paper: https://arxiv.org/abs/2311.11969v1

⭐️ Dataset: https://arxiv.org/abs/2311.11969

ai_machinelearning_big_data

Machinelearning

20 ноября 2023 12:02

💥 Video-LLaVA: Learning United Visual Representation by Alignment Before Projection

Простая, но надежная модель зрительного языка LVLM - Video-LLaVA, который обучается на смешанном наборе данных изображений и видео, взаимно усиливая друг друга. LLM выполнять визуальные рассуждения одновременно о изображениях и видео.

Video-LLaVA превосходит Video-ChatGPT, MSRVTT, MSVD, TGIF и ActivityNet на 5,8%, 9,9%, 18,6% и 10,1% на соответственно. Многочисленныйе эксперименты показывают, что Video-LLaVA превосходит модели, разработанные специально для изображений или видео.

🐱Github: https://github.com/PKU-YuanGroup/Video-LLaVA

🤗Demo: https://huggingface.co/spaces/LanguageBind/Video-LLaVA

📕Paper: https://arxiv.org/abs/2311.10122v1

⏩Dataset: https://paperswithcode.com/dataset/mmbench

@ai_machinelearning_big_data

Machinelearning

19 ноября 2023 12:01

🌦 Makani: Massively parallel training of machine-learning based weather and climate models

Прогнозирование погоды на основе машинного обучения стало перспективным дополнением к традиционным моделям численного прогнозирования погоды (NWP). Такие модели, как NVIDIA FourCastNet, продемонстрировали, что время вычислений для создания прогнозов погоды может быть сокращено с нескольких часов до нескольких секунд, что является значительным улучшением по сравнению с текущими моделями и на основе NWP.

Makani (гавайское слово, означающее "ветер" 🍃🌺) - это новая библиотека от NVIDIA, предназначенная для исследования и разработки моделей погоды и климата на основе машинного обучения на PyTorch.

В частности, Makani использовался для обучения сферических нейронных операторов Фурье (SFNO) и адаптивных нейронных операторов Фурье (AFNO) на датасете ERA5. Makani основан на PyTorch и поддерживает различные формы параллелизма моделей и данных, асинхронную загрузку данных, непредсказуемые каналы, авторегрессионное обучение и многое другое.

🐱Github: https://github.com/NVIDIA/makani

📕Blog: https://developer.nvidia.com/blog/modeling-earths-atmosphere-with-spherical-fourier-neural-operators/

⏩Dataset: https://github.com/NVIDIA/makani/tree/main/datasets

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 19:03

JaxMARL

Бенчмарки играют важную роль в разработке алгоритмов машинного обучения. Например, исследования в области обучения с подкреплением (RL) в значительной степени зависят от них. Однако модели RL традиционно запускаются на центральном процессоре, что ограничивает их масштабируемость.

Недавние достижения в области JAX позволили использовать аппаратное ускорение для преодоления проблемы нехватки вычислительных мощностей, обеспечивая создание массивно-параллельных обучающих конвейеров и сред RL.

Это особенно полезно для исследований в области многоагентного обучения с подкреплением (MARL).

В данной работе представлен JaxMARL - первый проект с открытым исходным кодом, сочетающую простоту использования с эффективностью работы на GPU.

Обучающий конвейер на основе JAX работает в 12500 раз быстрее, чем существующие подходы.

🐱 Github: https://github.com/flairox/jaxmarl

📕 Paper: https://arxiv.org/pdf/2311.10090v1.pdf

⏩ Dataset: https://paperswithcode.com/dataset/mujoco

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 15:02

🪐 ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

ARES - автоматизированная система оценки RAG, предназначенная для оценки LLM моделей по таким параметрам, как релевантность контекста, верность ответа и уместность ответа.

RAG - это техника, повышающая производительность языковых моделей путём предоставления модели контекста вместе с вопросом.

Используя синтетические обучающие данные, ARES настраивает легковесных судей LM для оценки качества отдельных компонентов RAG. Для смягчения возможных ошибок предсказания ARES использует небольшой набор аннотированных человеком данных.

🐱 Github: https://github.com/stanford-futuredata/ares

📕 Paper: https://arxiv.org/abs/2311.09476

⏩ Dataset: https://paperswithcode.com/dataset/kilt

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 12:01

🇺🇿 Introducing Emu Video and Emu Edit, our latest generative AI research milestones

Мета показали свои новые нейросети Emu Video и Emu Edit.

Первая — высококачественный генератор видео, а вот вторая интересней — это натоящий редактор ваших фото текстом, без выделения областей, сложных интерфейсов и прочего. Просто пишете, что хотите поменять и как, а нейросеть — выполняет. Демо выглядит потрясающе.

🚀 Blog: https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

⭐️Project page: https://emu-edit.metademolab.com

📌Paper: https://emu-edit.metademolab.com/assets/emu_edit.pdf

ai_machinelearning_big_data

Machinelearning

16 ноября 2023 20:17

Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video Understanding

Chat-UniVi - унифицированная зрительно-языковая модель, способная понимать и участвовать в разговоре с использованием изображений и видео с помощью визуального представления.

В модели используется набор динамических визуальных маркеров для единообразного представления изображений и видео. Такая схема представления позволяет модели эффективно использовать ограниченное количество визуальных лексем для одновременного отражения пространственных деталей.

Обширные экспиременты показывают, что Chat-UniVi как единая модель стабильно превосходит даже существующие методы, предназначенные исключительно для работы с изображениями или видео.

🐱 Github: https://github.com/pku-yuangroup/chat-univi

📕 Paper: https://arxiv.org/abs/2311.08046v1

⏩ Dataset: https://paperswithcode.com/dataset/activitynet-qa

@ai_machinelearning_big_data

Machinelearning

16 ноября 2023 15:54

🔥 NVIDIA сжала свои данные за 30 лет своей корпоративной памяти в 13Б параметров.

Все свои данные, которые включают проекты по разработке чипов, внутренние кодовые базы и инженерные журналы, такие как отчеты об ошибках, что составляет 24Б токенов.

Модель "ChipNeMo" развернута внутри компании и работает как джинн-помощник, который отвечает за :
- Генерацию сценариев EDA.
EDA расшифровывается как "Electronic Design Automation" - основной программный пакет для проектирования графических процессоров нового поколения. Эти сценарии - ключ к рыночной капитализации в $1T 🦾;
- Чатбот-ассистент для инженеров по GPU ASIC и архитектуре, понимающий внутренние спецификации аппаратного дизайна и способный объяснять сложные темы проектирования;
- Обобщение и анализ ошибок в рамках внутренней системы отслеживания ошибок и проблем;
- Генератор кода уже создает скрипты длиной около 10-20 строк на двух специализированных языках, используемых разработчиками микросхем.

📌 Процесс создания ChipNeMo
📌 Официальный блог

@ai_machinelearning_big_data

Machinelearning

15 ноября 2023 11:01

🔊 Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

Сhat & pretrained large audio language model proposed by Alibaba Cloud.

Qwen-Audio (Qwen Large Audio Language Model) - это мультимодальная версия серии больших моделей Qwen (аббревиатура Tongyi Qianwen), предложенная компанией Alibaba Cloud.

Qwen-Audio принимает на вход различные звуки (человеческую речь, естественные звуки, музыку и песни) и текст, а на выходе выдает текст. Функции Qwen-Audio включают в себя:

▪Фундаментальные аудиомодели: Qwen-Audio - это фундаментальная многозадачная аудио-языковая модель, поддерживающая различные задачи, языки и типы аудио, выступающая в качестве универсальной модели понимания аудио.
▪Qwen-Audio-Chat позволяет вести полноценные диалоги .
Многозадачная система обучения для всех типов аудиозаписей. Модель включает в себя более 30 задач, и обширные эксперименты показывают, что модель демонстрирует высокую производительность.
▪Результаты экспериментов показывают, что Qwen-Audio достигает впечатляющей производительности в различных эталонных задачах, не требуя тонкой настройки под конкретную задачу, и превосходит свои аналоги. В частности, Qwen-Audio достигает лучших результатов на тестовых наборах Aishell1, cochlscene, ClothoAQA и VocalSound.
▪Гибкий многозадачный чат из аудио- и текстового ввода: Qwen-Audio поддерживает анализ нескольких аудиофайлов, понимание и осмысление звука, восприятие музыки и использование инструментов для редактирования речи.

🐱 Github: https://github.com/qwenlm/qwen-audio

🚀 Demo: https://qwen-audio.github.io/Qwen-Audio/

📕 Paper: https://arxiv.org/abs/2311.07919v1

⏩ Dataset: https://paperswithcode.com/dataset/vocalsound

@ai_machinelearning_big_data

Machinelearning

14 ноября 2023 14:03

🏆 LLaMA2-Accessory: An Open-source Toolkit for LLM Development

LLaMA2-Accessory - это набор инструментов с открытым исходным кодом для предварительного обучения, тонкой настройки и развертывания больших языковых моделей (LLM) и муллимодальных LLM. Этот репозиторий в основном унаследован от LLaMA-Adapter с более расширенными возможностями.🧠

✨ В рамках этого инструментария представлена SPHINX, универсальная мультимодальная языковая модель (MLLM), которая показывает хорошие результаты генерации для широкого спектра задач.

🐱 Github: https://github.com/alpha-vllm/llama2-accessory

🚀 Demo: http://imagebind-llm.opengvlab.com/

📕 Paper: https://arxiv.org/abs/2311.07575v1

⏩ Project: llama2-accessory.readthedocs.io/

⭐ Dataset: https://paperswithcode.com/dataset/vsr

@ai_machinelearning_big_data