Machinelearning

19 ноября 2023 12:01

🌦 Makani: Massively parallel training of machine-learning based weather and climate models

Прогнозирование погоды на основе машинного обучения стало перспективным дополнением к традиционным моделям численного прогнозирования погоды (NWP). Такие модели, как NVIDIA FourCastNet, продемонстрировали, что время вычислений для создания прогнозов погоды может быть сокращено с нескольких часов до нескольких секунд, что является значительным улучшением по сравнению с текущими моделями и на основе NWP.

Makani (гавайское слово, означающее "ветер" 🍃🌺) - это новая библиотека от NVIDIA, предназначенная для исследования и разработки моделей погоды и климата на основе машинного обучения на PyTorch.

В частности, Makani использовался для обучения сферических нейронных операторов Фурье (SFNO) и адаптивных нейронных операторов Фурье (AFNO) на датасете ERA5. Makani основан на PyTorch и поддерживает различные формы параллелизма моделей и данных, асинхронную загрузку данных, непредсказуемые каналы, авторегрессионное обучение и многое другое.

🐱Github: https://github.com/NVIDIA/makani

📕Blog: https://developer.nvidia.com/blog/modeling-earths-atmosphere-with-spherical-fourier-neural-operators/

⏩Dataset: https://github.com/NVIDIA/makani/tree/main/datasets

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 19:03

JaxMARL

Бенчмарки играют важную роль в разработке алгоритмов машинного обучения. Например, исследования в области обучения с подкреплением (RL) в значительной степени зависят от них. Однако модели RL традиционно запускаются на центральном процессоре, что ограничивает их масштабируемость.

Недавние достижения в области JAX позволили использовать аппаратное ускорение для преодоления проблемы нехватки вычислительных мощностей, обеспечивая создание массивно-параллельных обучающих конвейеров и сред RL.

Это особенно полезно для исследований в области многоагентного обучения с подкреплением (MARL).

В данной работе представлен JaxMARL - первый проект с открытым исходным кодом, сочетающую простоту использования с эффективностью работы на GPU.

Обучающий конвейер на основе JAX работает в 12500 раз быстрее, чем существующие подходы.

🐱 Github: https://github.com/flairox/jaxmarl

📕 Paper: https://arxiv.org/pdf/2311.10090v1.pdf

⏩ Dataset: https://paperswithcode.com/dataset/mujoco

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 15:02

🪐 ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

ARES - автоматизированная система оценки RAG, предназначенная для оценки LLM моделей по таким параметрам, как релевантность контекста, верность ответа и уместность ответа.

RAG - это техника, повышающая производительность языковых моделей путём предоставления модели контекста вместе с вопросом.

Используя синтетические обучающие данные, ARES настраивает легковесных судей LM для оценки качества отдельных компонентов RAG. Для смягчения возможных ошибок предсказания ARES использует небольшой набор аннотированных человеком данных.

🐱 Github: https://github.com/stanford-futuredata/ares

📕 Paper: https://arxiv.org/abs/2311.09476

⏩ Dataset: https://paperswithcode.com/dataset/kilt

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 12:01

🇺🇿 Introducing Emu Video and Emu Edit, our latest generative AI research milestones

Мета показали свои новые нейросети Emu Video и Emu Edit.

Первая — высококачественный генератор видео, а вот вторая интересней — это натоящий редактор ваших фото текстом, без выделения областей, сложных интерфейсов и прочего. Просто пишете, что хотите поменять и как, а нейросеть — выполняет. Демо выглядит потрясающе.

🚀 Blog: https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

⭐️Project page: https://emu-edit.metademolab.com

📌Paper: https://emu-edit.metademolab.com/assets/emu_edit.pdf

ai_machinelearning_big_data

Machinelearning

16 ноября 2023 20:17

Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video Understanding

Chat-UniVi - унифицированная зрительно-языковая модель, способная понимать и участвовать в разговоре с использованием изображений и видео с помощью визуального представления.

В модели используется набор динамических визуальных маркеров для единообразного представления изображений и видео. Такая схема представления позволяет модели эффективно использовать ограниченное количество визуальных лексем для одновременного отражения пространственных деталей.

Обширные экспиременты показывают, что Chat-UniVi как единая модель стабильно превосходит даже существующие методы, предназначенные исключительно для работы с изображениями или видео.

🐱 Github: https://github.com/pku-yuangroup/chat-univi

📕 Paper: https://arxiv.org/abs/2311.08046v1

⏩ Dataset: https://paperswithcode.com/dataset/activitynet-qa

@ai_machinelearning_big_data

Machinelearning

16 ноября 2023 15:54

🔥 NVIDIA сжала свои данные за 30 лет своей корпоративной памяти в 13Б параметров.

Все свои данные, которые включают проекты по разработке чипов, внутренние кодовые базы и инженерные журналы, такие как отчеты об ошибках, что составляет 24Б токенов.

Модель "ChipNeMo" развернута внутри компании и работает как джинн-помощник, который отвечает за :
- Генерацию сценариев EDA.
EDA расшифровывается как "Electronic Design Automation" - основной программный пакет для проектирования графических процессоров нового поколения. Эти сценарии - ключ к рыночной капитализации в $1T 🦾;
- Чатбот-ассистент для инженеров по GPU ASIC и архитектуре, понимающий внутренние спецификации аппаратного дизайна и способный объяснять сложные темы проектирования;
- Обобщение и анализ ошибок в рамках внутренней системы отслеживания ошибок и проблем;
- Генератор кода уже создает скрипты длиной около 10-20 строк на двух специализированных языках, используемых разработчиками микросхем.

📌 Процесс создания ChipNeMo
📌 Официальный блог

@ai_machinelearning_big_data

Machinelearning

15 ноября 2023 11:01

🔊 Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

Сhat & pretrained large audio language model proposed by Alibaba Cloud.

Qwen-Audio (Qwen Large Audio Language Model) - это мультимодальная версия серии больших моделей Qwen (аббревиатура Tongyi Qianwen), предложенная компанией Alibaba Cloud.

Qwen-Audio принимает на вход различные звуки (человеческую речь, естественные звуки, музыку и песни) и текст, а на выходе выдает текст. Функции Qwen-Audio включают в себя:

▪Фундаментальные аудиомодели: Qwen-Audio - это фундаментальная многозадачная аудио-языковая модель, поддерживающая различные задачи, языки и типы аудио, выступающая в качестве универсальной модели понимания аудио.
▪Qwen-Audio-Chat позволяет вести полноценные диалоги .
Многозадачная система обучения для всех типов аудиозаписей. Модель включает в себя более 30 задач, и обширные эксперименты показывают, что модель демонстрирует высокую производительность.
▪Результаты экспериментов показывают, что Qwen-Audio достигает впечатляющей производительности в различных эталонных задачах, не требуя тонкой настройки под конкретную задачу, и превосходит свои аналоги. В частности, Qwen-Audio достигает лучших результатов на тестовых наборах Aishell1, cochlscene, ClothoAQA и VocalSound.
▪Гибкий многозадачный чат из аудио- и текстового ввода: Qwen-Audio поддерживает анализ нескольких аудиофайлов, понимание и осмысление звука, восприятие музыки и использование инструментов для редактирования речи.

🐱 Github: https://github.com/qwenlm/qwen-audio

🚀 Demo: https://qwen-audio.github.io/Qwen-Audio/

📕 Paper: https://arxiv.org/abs/2311.07919v1

⏩ Dataset: https://paperswithcode.com/dataset/vocalsound

@ai_machinelearning_big_data

Machinelearning

14 ноября 2023 14:03

🏆 LLaMA2-Accessory: An Open-source Toolkit for LLM Development

LLaMA2-Accessory - это набор инструментов с открытым исходным кодом для предварительного обучения, тонкой настройки и развертывания больших языковых моделей (LLM) и муллимодальных LLM. Этот репозиторий в основном унаследован от LLaMA-Adapter с более расширенными возможностями.🧠

✨ В рамках этого инструментария представлена SPHINX, универсальная мультимодальная языковая модель (MLLM), которая показывает хорошие результаты генерации для широкого спектра задач.

🐱 Github: https://github.com/alpha-vllm/llama2-accessory

🚀 Demo: http://imagebind-llm.opengvlab.com/

📕 Paper: https://arxiv.org/abs/2311.07575v1

⏩ Project: llama2-accessory.readthedocs.io/

⭐ Dataset: https://paperswithcode.com/dataset/vsr

@ai_machinelearning_big_data

Machinelearning

13 ноября 2023 18:03

🤖Для обучения моделированию архитектуры на разных уровнях важно использовать инструмент, поддерживающий все основные элементы и связи языка, и контролирующий правила их применения. В качестве такого инструмента мы используем Archi. Узнайте больше на бесплатном уроке онлайн-курса «Archimate».

👉Приглашаем на бесплатный вебинар: «Описание технологического и физического слоя на языке Архимейт»: регистрация

На вебинаре мы:
— изучим элементы и правила построения технического и физических слоев;
— познакомимся с элементами слоёв;
— рассмотрим, как элементы технологического и физического слоя связываются с другими слоями.

Занятие проведет Максим Рогоза — руководитель курса и главный архитектор в крупнейшем IT-интеграторе.

🔥После вебинара вы сможете продолжить обучение на курсе по спеццене, в том числе, в рассрочку.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8JxR36

Machinelearning

13 ноября 2023 10:01

❗️Как эффективно развертывать модели в облаках? 

▶️ Узнайте на практике на бесплатном открытом уроке «Deploy моделей в облаках (MLOps в облаках)» от OTUS и Павла Филонова – Ex-Data Science Manager в Kaspersky.

На открытом уроке: 
🔹Рассмотрим вариант развертывания моделей в облачном kubernetes
🔹Куда складывать образы и как создавать и управлять кластером
🔹Как безопасно подключить развертывание к CI/CD

✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.

👉 РЕГИСТРАЦИЯ
https://otus.pw/Lhrg/

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8JtxD7

Machinelearning

10 ноября 2023 15:40

🖥ChatGPT Advanced Data Analysis

Бесплатный курс углубленного анализа данных c ChatGPT

Этот курс входит в специализацию Специализация Prompt Engineering

https://www.coursera.org/learn/chatgpt-advanced-data-analysis

ai_machinelearning_big_data

Machinelearning

08 ноября 2023 12:01

🚀 Introducing YOLO-NAS Pose : A Game-Changer in Pose Estimation 🚀

This Model is a redefinition of pose estimation's potential.

Компьютерное зрение достигло значительных успехов, и последний скачок произошел благодаря модели YOLO-NAS Pose.

Эта модель открывает новые возможности обнаружения и оценки позы людей на выдео.

- Ошеломляющее снижение задержки на 38,85% на мощных процессорах Intel Xeon.

-Модель поднимает YOLOv8 на новую высоту по качеству обнаружения.

-Ориентирована на работу в режиме реального времени, уникальное сочетание точности и скорости.

- Невероятное улучшение на 0,27 балла на AP@0.5-0.9

Для решения различных задач модель выпускается в четырех вариантах, каждый из которых имеет свой размер и время задержки.

🖥 Github: https://github.com/Deci-AI/super-gradients

📕 Notebook: https://colab.research.google.com/drive/1O4N5Vbzv0rfkT81LQidPktX8RtoS5A40

🚀 Demo: https://huggingface.co/spaces/Deci/YOLO-NAS-Pose-Demo

🌐 Colab: https://colab.research.google.com/drive/1agLj0aGx48C_rZPrTkeA18kuncack6lF

@ai_machinelearning_big_data

Machinelearning

07 ноября 2023 11:09

⚡️ EntitySeg Toolbox: Towards open-world and high-quality image segmentation

EntitySeg - это инструментарий с открытым исходным кодом, предназначенный для сегментации изображений с открытым миром и высоким качеством.

На сегодняшний день в EntitySeg реализованы следующие алгортмы:

▪Open-World Entity Segmentation (TPAMI2022)
▪High Quality Segmentation for Ultra High-resolution Images (CVPR2022)
▪CA-SSL: Class-Agnostic Semi-Supervised Learning for Detection and Segmentation (ECCV2022)
▪High-Quality Entity Segmentation (ICCV2023 Oral)
▪Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion --- released

🖥 Github: https://github.com/qqlu/entity

📕 Paper: https://arxiv.org/abs/2311.03352v1

🌐 Dataset: https://paperswithcode.com/dataset/coco

@ai_machinelearning_big_data

Machinelearning

06 ноября 2023 19:15

⚡️ OpenAI DevDay, Opening Keynote

OpenAI DevDay сейчас идет онлайн конференции для разработчиков от OpenAI.

OpenAI выпустит GPT-5 GPT-4-Turbo, новая модель превосходит старую во всем:

— Можно писать промты длинной в 128 тысяч токенов — это 365 страниц примерно обычной книги!

— Поддерживает возможность загружать собственные документы (PDF и прочие дипломы);
— Можно может писать ответы в JSON-формате;
— Обновили базу данных до апреля 2023 года;
— Цена будет дешевле, работа по API для разработчиков — в 3 раза меньше цена для промта и в 2 раза для генераций.
— Голоса ChatGPT теперь не отличить от человеческих.
— GPT-4 turbo стала намного умнее.
— В 3 раза меньше цена для промта и в 2 раза для генераций.

Выпущен: https://github.com/openai/whisper

https://www.youtube.com/watch?v=U9mJuUkhUzk

@ai_machinelearning_big_data

Machinelearning

05 ноября 2023 13:02

🎧 Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model

Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model.

Многочисленные исследования в области генерации музыки продемонстрировали впечатляющую производительность, однако практически ни одна модель не способна напрямую генерировать музыку для сопровождения видео.

В данной работе представлен генеративный музыкальный ИИ-фреймворк Video2Music, который может генерировать музыку под предоставленное видео.

Сначала была собрана уникальная коллекцию музыкальных клипов. Затем проанализированы музыкальные видеоролики, чтобы получить семантические характеристики, характеристики смещения сцены, движения и эмоций.

Эти отличительные признаки используются в качестве исходных данных для модели генерации музыки.

Затем транскрибируются аудиофайлы в MIDI и аккорды, а также извлекаются такие характеристики, как плотность нот и громкость.

В результате был собран набор мультимодальных данных под названием MuVi-Sync, на котором обучена модель для генерации музыки на основе видео. Эта модель включает в себя новый механизм, обеспечивающий сходство между видео и музыкой. Наконец, выполняется постобработка на основе регрессионной модели на базе biGRU для оценки плотности и громкости нот на основе характеристик видео.

Это обеспечивает динамическую визуализацию генерируемых аккордов с изменяющимся ритмом и громкостью.

В ходе экспериментов показано, что фреймворк позволяет генерировать музыку, соответствующую видеоконтенту с точки зрения эмоций. Музыкальное качество, а также качество согласования музыки и видео подтверждается в ходе исследования.

Модель AMT, а также новый датасет MuVi-Sync представляют собой перспективный шаг для задачи генерации музыки для видео.

🖥 Github: https://github.com/amaai-lab/video2music

📕 Paper: https://arxiv.org/abs/2311.00968v1

⏩ Demo: https://llmrec.github.io/

🌐 Dataset: https://zenodo.org/records/10057093

@ai_machinelearning_big_data

Machinelearning

19 ноября 2023 10:01

⚡️ На AI Journey официально пригласили Маска, Альтмана и Брокмана

Оргкомитет конференции опубликовал официальное приглашение для миллиардера и основателя Tesla, SpaceX, владельца X Илона Маска, бывшего генерального директора OpenAI Сэма Альтмана и сооснователя OpenAI Грега Брокмана.

Организаторы AI Journey считают, что Маск мог бы рассказать какие-то инсайты о нейросети Grok, а Альтман и Брокман — о создании ChatGPT. При этом все они согли бы поделиться своим мнением о развитии искусственного интеллекта.

AI Journey 2023 пройдет в Москве 22-24 ноября, на ней выступят эксперты по ИИ со всей планеты.

🤗 Lenta: https://lenta.ru/news/2023/11/19/priglasil/

@ai_machinelearning_big_data

Machinelearning

17 ноября 2023 17:02

Хочешь попробовать себя разработчиком в команде «Самолёта»?

«Самолёт» обо всем позаботился и вместе с агентством Ар создал бот «Твой день». Это симулятор профессий, который позволит тебе окунуться в новую профессию, познакомиться с командой, рабочими задачами и корпоративной культурой.

Запустив бота, вы будто начнёте рабочий день в команде «Самолёта». Сможете попробовать разные направления: IT для PropTech или HR-платформа. Примерите на себе разные профессии: frontend- и backend-разработчик (Python)

Приступить к свои обязанностям очень просто:

1. Заходите в телеграм-бот → @arr_day_bot
2. Выбирайте «Самолёт» и профессию, которые кажутся интересными
3. Выполняйте реальные рабочие задачи и изучайте материалы от коллег
4. Откликайтесь на открытые вакансии, если хотите продолжить работать над проектами

Спецпроект продлится до 18 ноября: успевайте!

Реклама. Рекламодатель

Machinelearning

17 ноября 2023 14:01

✅Одно из базовых назначений ArchiMate — объединение разрозненных представлений об архитектуре предприятия благодаря еë послойному представлению, где каждый слой показывает устройство уровней предприятия: стратегический уровень, бизнес-уровень, уровень приложений, технологический уровень и другие.

👉Узнайте больше 23.11 в 19:00 мск на бесплатном вебинаре «Введение в язык Архимейт: кому он будет полезен в работе?»: регистрация

На вебинаре мы познакомимся:
— с назначением языка Архимейт, его концепцией
— основными элементами языка Архимейт
— примерами диаграмм

Урок будет полезен всем, кто хочет познакомиться с Архимейт:
— архитекторам,
— аналитикам,
— тимлидам,
— разработчикам.

🔥После урока вы сможете продолжить обучение на курсе со скидкой ЧП по промокоду BLACK23

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KbhGE

Machinelearning

17 ноября 2023 10:01

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.

В сообществе вы найдете:

▫️ Новости индустрии production ML;
▫️ Полезные статьи, инструменты и технологии;
▫️ Опыт коллег и лучшие практики.

Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: /channel/+Msr-vk2kI144NzJi

Реклама ООО «Селектел» erid 2Vtzqv5drfS

Machinelearning

16 ноября 2023 18:17

Нижний Новгород, готовьтесь узнать всё о рекомендательных системах!

Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки.

Когда: 30 ноября, 18:30
Формат: офлайн
Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35

Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки!

● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec?

● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов.

● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета.

Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber

Machinelearning

16 ноября 2023 13:54

Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса!

Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов.

Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте.

Реклама. ООО «ЯНДЕКС», ИНН 7736207543

Machinelearning

15 ноября 2023 10:01

🎮Одним из самых увлекательных направлений, в котором широко используется обучение с подкреплением, является киберспорт.

🔥В программе курса Reinforcement Learning в OTUS подробно разбираются одни из самых интересных кейсов применения RL в игровой индустрии.

21.11 в 20.00 мск. приглашаем на открытый урок “Игры c человеком и компьютером”

📌На занятии:

- узнаем историю противостояния человека и компьютера в настольных и компьютерных играх;

- познакомимся с основными идеями и подходами при создании игровых интеллектуальных агентов с помощью обучения с подкреплением;

- покажем как обучить модель эффективно управлять группой юнитов в одной из популярных игр.

После урока вы будете понимать как разрабатываются интеллектуальные агенты для различных игр и какие шаги необходимо пройти для реализации собственного игрового бота.

👉Регистрация https://otus.pw/tb0b/

При поступлении в группу возможны разные способы оплаты и рассрочка платежа.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K22Ec

Machinelearning

13 ноября 2023 19:04

✨ Feature Selection for Deep Tabular Models

Аналог LASSO для нейронных сетей, названный Deep Lasso, который превосходит классические методы отбора признаков в сложных задачах.

🐱 Github: https://github.com/vcherepanova/tabular-feature-selection

📕 Paper: https://arxiv.org/pdf/2311.05877v1.pdf

⭐ Tasks: https://paperswithcode.com/task/feature-selection

@ai_machinelearning_big_data

Machinelearning

13 ноября 2023 12:01

⚡️ LCM-LoRA: A Universal Stable-Diffusion Acceleration Module

Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference.

Новый подход, который значительно уменьшает нагрузку на диффузионные модели для генерации изображений. Подход позволяет перевести любую существующую обученную LDM на быструю генерацию.

LoRA представляя собой универсальный ускоритель для различных задач генераций изображений.

pip install diffusers transformers accelerate gradio==3.48.0

🖥 Github: https://github.com/luosiallen/latent-consistency-model

📕 Paper: https://arxiv.org/abs/2311.05556v1

🌐 Project: https://latent-consistency-models.github.io

🤗 Demo: https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model

@ai_machinelearning_big_data

Machinelearning

11 ноября 2023 11:30

🪞 Mirror: A Universal Framework for Various Information Extraction Tasks

Мощный инструмент для решения практически всех задач извлечения и унификации информации.

🖥 Github: https://github.com/Spico197/Mirror

📕 Paper: https://arxiv.org/abs/2311.05419v1

🌐 Dataset: https://paperswithcode.com/dataset/glue

@ai_machinelearning_big_data

Machinelearning

09 ноября 2023 14:02

🚀 Whisper-V3 / Consistency Decoder

Improved decoding for stable diffusion vaes.

Многие упустили из виду, что на Dev Day компания OpenAI выложила в открытый доступ сразу две модели, и на них стоит обратить внимание.

Первая из них - Whisper-V3, лучшая из существующих OSS-моделей распознавания речи. Она демонстрирует значительные улучшения по сравнению с Whisper-V2 на десятках языков.

Whisper остается одной из лучших фундаментальных моделей всех времен. В отличие от предыдущих работ, в которых создавались сложные конвейеры, Whisper представляет собой большой трансформер, который преобразует звук непосредственно в текст, со специальными "метаязыковыми" лексемами, позволяющими выполнять элегантную многозадачность: определение языка, перевод, распознавание голоса и т.д. Его первый автор - легендарный Алек Рэдфорд - человек, ответственный почти за все революционные статьи OAI.

Скорее всего Whisper позволил получить не менее триллиона высококачественных разговорных лексем из интернет-видео/аудиозаписей для GPT-4 и последующих проектов.

Второй открытый проект - это декодер согласованности (Consistency Decoder) из работы "Consistency Models" (Модели согласованности) под руководством Доктор Янге Сонг.

Янг был одним из первопроходцев в области диффузионных моделей. Вы можете заменить декодер Stable Diffusion на Consistency Decoder, и это улучшит рендеринг текстов, лиц и геометрических фигур.

- Whisper paper: https://arxiv.org/abs/2212.04356
- Whisper-V3 checkpoint: https://github.com/openai/whisper/discussions/1762
- Consistency Models: https://arxiv.org/abs/2303.01469
- Consistency Decoder release: https://github.com/openai/consistencydecoder

@ai_machinelearning_big_data

Machinelearning

08 ноября 2023 10:01

Команда «Море данных» открывает вакансии.

Основные направления работы: цифровое образование, анализ качества речи с помощью ии, цифровые двойники способные к рассуждению, digital hr. (Пример)

Middle/Senior Data Scientist (NLP) на постоянную основу.

Оклад: 200 000 − 400 000 ₽
Возможно временное оформление: договор ГПХ, самозанятые, ИП
Возможен гибкий график
Требования:
— знание NLP стека
— понимание принципов устройства и обучения LLM и генеративных трансформеров
— опыт разработки NLP-моделей
— желателен опыт дообучения LLM
— интерес к сфере образования

Резюме присылать в тг @ana_vitvit с пометкой ‘Data Scientist’

Prompt engineer
Оклад: 90 000-160 000 руб.
Обязанности: написание промптов и промпт-сценариев для больших языковых моделей
Требования:
— Понимание принципов работы LLM, тюнинга поведения LLM с помощью промптов; обучаемость.
— Подтвержденный опыт проектов с прмт инженерией для языковых моделей
— интерес к сфере образования

Резюме присылать в тг @ana_vitvit с пометкой ‘промт инженер’

Проджект менеджер дата-интенсивных проектов
Оклад: по результатам собеседования

Требуется опыт ПМ на дата интенсивных и технических проектах не менее 3х лет. Agile. Работа с front , back, devops, data science и machine learning специалистами.

Резюме присылать в тг @ana_vitvit с пометкой ‘проджект менеджер’

Machinelearning

07 ноября 2023 10:01

🤖Обучение с подкреплением - метод машинного обучения, который сегодня находит широкое применение в разных областях: автоматизация на производстве, здравоохранение, робототехника и других. Особое место в этом списке занимает сфера трейдинга и финансов.

🔥В OTUS стартует курс “Reinforcement Learning”, на котором специалисты смогут освоить RL-алгоритмы на практике и использовать их, в том числе, с целью управления финансовым портфелем.

8.11 в 20.00 приглашаем на урок «Применение обучения с подкреплением на финансовых рынках».

Вы узнаете:

- как применить обучение с подкреплением для анализа рынка
- как создать модель рынка для обучения торгового агента
- что нужно для построения полноценного торгового робота
- какие алгоритмы помогают в прогнозировании поведения финансового рынка

👉 Регистрация https://otus.pw/1f8T/

При поступлении в группу возможны разные способы оплаты и рассрочка платежа

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KNWXz

Machinelearning

06 ноября 2023 11:12

🔥 One of the most beautiful interactive visualizations on how LLMs work.

Хотите понять, как работают большие языковые модели?

Эта статья поможет вам понять основные концепции в интерактивной форме!

Одна из самых красивых визуализаций того, как работают LLM.

http://ig.ft.com/generative-ai/

@ai_machinelearning_big_data

Machinelearning

05 ноября 2023 11:02

Erid:2VtzqxJMzEK

Регистрация на отборочный этап Всероссийского хакатона по биометрии!

Если ты молодой специалист, жаждущий новых вызовов и возможностей, не упусти шанс побороться за часть призового фонда в размере 1.000.000 рублей! Зарегистрируйся на отборочный тур прямо сейчас, выбери кейс и стань частью Всероссийского хакатона по биометрии.

Кейсы:
• Разработка инструмента для создания дипфейков
• Разработка инструмента для обнаружения дипфейков
• Фронтальный алгоритм защиты от атак предъявления для лицевой биометрии
• Решения для использования новых биометрических модальностей на пользовательских устройствах

Хакатон пройдёт в два этапа:
• Отборочный тур онлайн 10-12 ноября
• Финал офлайн 25 ноября в Москве

Победители соревнования получат ценные призы и возможность представить свои проекты перед экспертами и топ-менеджерами биометрических вендоров и крупных технологических компаний. Мероприятие проводится при поддержке Центра Биометрических Технологий. Генеральный партнёр мероприятия – Сбер, официальные партнёры – IT-компании «InnoView», Ovision. Хакатон проводится при поддержке Минспорта, Федерации Спортивного Программирования и Минцифры.

Даты отборочного этапа в онлайн-формате: 10-12 ноября 2023 года   
Даты финала: 25 ноября 2023 года   
Место: Москва
Формат: смешанный (отборочный этап в онлайн-формате, а финал – на площадке в Москве)

Подробности и регистрация до 6 ноября 2023 года по ссылке: https://clck.ru/36PH5y

Собирай команду, решай задачу и выигрывай на Всероссийском хакатоне по биометрии
Реклама. ООО «Акселератор Возможностей». ИНН 9704005146