🖥 Федеративное обучение: новый метод тренировки ML-моделей 

💡 Современная индустрия машинного обучения сталкивается с рядом вызовов, связанных с конфиденциальностью данных, особенно в таких сферах, как здравоохранение и финансы. Эти данные могут содержать чувствительную информацию, поэтому стандартные подходы, предполагающие централизацию и передачу информации на сервер, не всегда применимы. Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН предложили  метод, который позволяет разрабатывать мощные модели, не раскрывая исходные данные — федеративное обучение (Federated Learning, FL).

❓ Что такое федеративное обучение?

Федеративное обучение — это подход к обучению нейронных сетей, при котором данные остаются локально у каждого участника процесса, будь то больницы, финансовые организации или промышленные предприятия. Вместо передачи исходных данных на централизованный сервер для обработки, обучающие узлы обмениваются только обновленными параметрами модели.

🌟 Технологически, это означает, что модель передвигается по распределенной сети, а данные никогда не покидают защищенные контуры. Например, при обучении диагностической модели на основе данных ЭКГ пациенты могут не беспокоиться о безопасности своей личной информации, так как никаких реальных медицинских данных не передается на внешний сервер.

🔍 Архитектура и принципы федеративного обучения:

🌟 Федеративное обучение использует клиент-серверную архитектуру. Центральный сервер инициирует начальную модель и отправляет её копии на все узлы, участвующие в обучении. Каждый узел обучает модель локально, используя свои данные, а затем отправляет обратно обновленные параметры на центральный сервер, который агрегирует результаты и формирует новую глобальную модель. Эта модель повторно распространяется по узлам, и процесс повторяется до тех пор, пока не будет достигнута требуемая точность.

🔥 Реализация в медицинских проектах

💡 В рамках совместного проекта между Яндексом, Сеченовским Университетом и Институтом системного программирования РАН федеративное обучение было впервые применено в российской медицине на практике. В проекте использовался набор данных, содержащий более 47 тысяч двенадцатиканальных ЭКГ: 30 тысяч от ИСП РАН и 17 тысяч от Сеченовского Университета. Целью эксперимента было создание модели для диагностики фибрилляции предсердий — патологии, которую важно выявлять на ранних этапах.

🌟 Проблема заключалась в том, что передача медицинских данных между организациями часто блокируется из-за юридических и этических ограничений. Федеративный подход позволил обойти этот барьер: каждая организация обучала локальную модель на своих данных, а затем передавала серверу только изменения весов. Эти изменения использовались для создания объединенной модели с высокой точностью и чувствительностью.

@ai_machinelearning_big_data

Читать полностью…

🌟 Гайдбук по оценке больших языковых моделей от Hugging Face

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM #Huggingface #Guide

Читать полностью…

✔️ "Электронный язык" с ИИ распознает вкусовые характеристики.

Ученые из Penn State разработали электронный язык, способный различать жидкости - молоко с разным содержанием воды, различные виды соды и кофе, а также определять свежесть соков и потенциальные проблемы с безопасностью пищевых продуктов.

Язык использует графеновый ионно-чувствительный транзистор, подключенный к нейронной сети. ИИ сначала оценивал жидкости по 20 заданным параметрам, достигнув точности более 80%. Однако, когда ИИ самостоятельно определял параметры оценки, точность возросла до 95%.

Исследователи использовали метод Shapley Additive Explanations, чтобы понять, как ИИ принимает решения, и обнаружили, что он учитывает более тонкие характеристики данных. По словам исследователей, возможности языка ограничены только данными, на которых он был обучен.
psu.edu

✔️ Google представляет Tx-LLM: Модель ИИ для ускорения разработки лекарств.

Google представила новую большую языковую модель Tx-LLM, разработанную для прогнозирования свойств биологических объектов на всех этапах разработки лекарств. Tx-LLM обучена на 66 наборах данных, охватывающих задачи от ранней идентификации целевых генов до утверждения клинических испытаний на поздних стадиях.

Модель Tx-LLM, построенная на базе PaLM-2, достигла конкурентоспособных результатов по сравнению с современными моделями, превзойдя их в 22 из 66 задач. Tx-LLM продемонстрировала способность эффективно объединять молекулярную информацию с текстовой и переносить знания между задачами с различными типами терапии.

Google планирует предоставить доступ к Tx-LLM внешним исследователям для ускорения процесса разработки лекарств.
research.google

✔️ Tesla готовится к презентации роботакси.

Tesla проводит мероприятие под названием «Мы, роботы», 10 октября в 19.00 EPT (2:00 11 октября GMT) на котором, как ожидается, будет представлен дизайн роботакси - автомобиля Tesla, предназначенного исключительно для перевозки пассажиров без водителя.
На мероприятии также может быть представлен гуманоидный робот Optimus.
npr.org

✔️ Liftoff запускает Cortex, модель машинного обучения для улучшения мобильной рекламы.

Liftoff, занимающаяся консалтингом мобильных приложений, запустила новую платформу машинного обучения под названием Cortex. Эта платформа использует специализированные модели нейронных сетей для повышения эффективности мобильных рекламных кампаний.

Cortex позволяет достичь более высокой рентабельности инвестиций в рекламу, определяя наилучшие каналы и аудитории для рекламных кампаний. По данным Liftoff, Cortex уже показал положительные результаты: снижение стоимости установки (CPI) на 23%, стоимости привлечения клиента (CPA) на 21% и увеличение рентабельности рекламных расходов (ROAS) на 16%.
venturebeat.com

✔️ Выпущен релиз Gradio 5.

Gradio выпустила стабильную версию Gradio 5, он получил ряд улучшений, направленных на решение проблем, с которыми сталкивались разработчики ранее.

Среди ключевых обновлений: улучшенная производительность за счет рендеринга на стороне сервера (SSR), обновленный дизайн основных компонентов и новые темы, поддержка потоковой передачи с низкой задержкой, включая WebRTC, экспериментальная AI-площадка для генерации и модификации приложений с помощью ИИ.

В ближайшее время планируется добавить поддержку многостраничных приложений, мобильных устройств и новые компоненты для работы с изображениями и видео.
huggingface.co

✔️ NVIDIA поставила долгожданные чипы Blackwell AI в OpenAI и Microsoft.

OpenAI объявила, что получила первые инженерные образцы DGX B200 от Nvidia. Они обещают трехкратное увеличение скорости обучения и 15-кратное увеличение производительности инференса по сравнению с предыдущими моделями.

Microsoft также сообщила, что ее платформа Azure первой использует систему Blackwell от Nvidia с AI-серверами на базе GB200.
analyticsindiamag.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

⁉️ Открытый урок «Методы сегментации в рекомендациях» 

🗓 17 октября в 20:00 МСК
🆓 Бесплатно. Урок в рамках старта курса «Рекомендательные системы» от Otus.

На вебинаре разберем: 

✔️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование;
✔️ как применять аналитические и машинные методы для сегментации клиентов;
✔️ примеры практического применения этих методов в реальных задачах.

🔗 Ссылка для регистрации на урок: https://otus.pw/tLP9/

#реклама
О рекламодателе

Читать полностью…

Необязательно искать удобный планировщик задач: его можно создать самостоятельно! А заодно — узнать, насколько вам интересно программирование.

Бесплатный курс «Основы Python: создаём Telegram-бота» — надёжный вариант, чтобы самоопределиться в профессии. Вы выясните, как устроены процессы разработки, создадите планировщик задач и бота-помощника и поймёте, подходит ли вам этот язык.

А ещё вы узнаете, как развиваться в профессии, и получите бонус для продолжения обучения на курсе-профессии «Python-разработчик».

Доступ в чат с экспертами и однокурсниками для получения ответов на вопросы и помощи в практике, а также сертификат Нетологии после прохождения курса прилагаются → записывайтесь на курс по ссылке

Реклама. ООО "Нетология". Erid 2VSb5wREALg

Читать полностью…

🌟 LeLaN: метод обучения политики навигации для роботов с помощью видео из реальной среды.

LeLaN - метод, использующий модели Owl-ViT2 и OpenVLA для маркировки видеоданных из реальной среды с помощью языковых инструкций для навигации по объектам.

Политика навигации по объектам, обученная на этих данных, показала высокие результаты в задаче навигации по незнакомым объектам в разных условиях: внутри и снаружи помещений.

LeLaN использует аннотации VLM для маркировки видеоданных из различных источников: наборы данных о навигации роботов, видеоролики с экскурсиями с YouTube и данные из носимых видеорегистраторов. Эти аннотации предоставляют инструкции, охватывающие широкий спектр объектов с разной степенью детализации в их описаниях.

В процессе обучения политика навигации оптимизируется по трем направлениям:

🟢достижение целевого объекта;

🟢предотвращение столкновений;

🟢плавность скорости.

После обучения LeLaN была проведена серия экспериментов из более 1000 испытаний, проведенных в реальных условиях.

Результаты показывают, что LeLaN превосходит существующие методы zero-shot политик навигации по способности ориентироваться в различных средах, надежности в условиях нечетких команд, способности следовать за пешеходами и навыке избегать столкновений.

Код, предлагаемый в репозитории LeLaN, разбит на две части: обучение модели на собственных данных и локальное развертывание с предварительно обученными моделями LeLaN на роботизированной платформе с NVIDIA Jetson Orin.

▶️Локальная установка и запуск обучения:

# Clone repository:
git clone https://github.com/NHirose/learning-language-navigation.git

# Set up the conda env:
conda env create -f train/train_lelan.yml
conda activate lelan

# Install the lelan packages:
pip install -e train/

# Install the `diffusion_policy` package:
git clone git@github.com:real-stanford/diffusion_policy.git
pip install -e diffusion_policy/

# Training lelan w/o collision avoidance
python train.py -c ./config/lelan.yaml

📌Лицензирование : MIT License.


🟡Страница проекта
🟡Набор моделей
🟡Датасет
🟡Демо видео на Youtube
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Navigation #Robotics

Читать полностью…

📌Подборка фреймворков для локального инференса на устройствах.

Всего полтора года назад казалось, что запустить локально языковую или генеративную модель было чем-то из области фантастики, доступной немногим. Тогда было всего несколько самописных вариантов вариантов, и каждый из них требовал знаний, усилий и ресурсов.

Но время шло, и сфера фреймворков для инференса начала развиваться с невероятной скоростью. Появились новые фреймворки и инструменты, библиотеки, интерфейсы для запуска любых моделей на чем угодно.

Сегодня мы имеем десятки вариантов для инференса LLM, от простых и удобных фреймворков до сложных и требовательных систем. Выбор стал настолько широким, что теперь можно подобрать инструмент под конкретную задачу.

Это настоящая революция, которую мы не замечаем, и она происходит прямо на наших глазах. Интересно будет посмотреть. во что это выльется еще через полтора года.

🟠llama.cpp
Проект, написаный на С++, позволяет запускать LLM, VLM, MMLM на СUDA, AMD, NPU, Metal. Наиболее распространенные реализации - ollama и LMStudio.

🟠MLC
Развертывание LLM на WebGPU. Самая быстрая реализация LLM на WebGPU из существующих на сегодняшний день.

🟠MLX
Самый быстрый фреймворк для Mac. Поддерживает GenAI (Flux, SDXL и др.), speech-2-text (Whisper), LLM.

🟠Candle
Минималистичный кроссплатформенный ML-фреймворк от Huggingface, написанный на Rust. Поддерживает работу с GPU и прост в использовании.

🟠Transformers.js
Фреймворк для запуска моделей напрямую в браузере, без сервера. Написан на Javascript (WebGPU) поверх ONNXruntimeweb.

🟠Ratchet
Кроссплатформенный инструментарий от Huggingface для WebGPU/CPU инференса с поддержкой запуска квантованных версий моделей Whisper, Phi 2 & 3 и Moondream. Написан на Rust.

🟠zml
Кросплатформенный фреймворк с возможностью распределенного запуска модели на разных платформах (CUDA, ROCm и Cloud). Написан на Zig.

🟠gpu.cpp
Простой и эффективный фреймворк для работы с GPU на C++. Работает с CUDA, AMD, Intel GPU, Metal за счет WebGPU.


@ai_machinelearning_big_data

#AI #ML #LLM #Frameworks

Читать полностью…

✔️ Inflection AI сотрудничает с Intel в создании нового устройства LLM.

Устройство будет построено на базе аппаратного ускорителя машинного обучения Intel Gaudi 3 и будет работать под управлением Inflection 3.0, новейшей LLM от Inflection AI. Inflection 3.0 будет доступна в двух версиях: одна для чат-ботов, а другая — для задач, требующих точного следования инструкциям пользователя.

Последняя также сможет предоставлять ответы в формате JSON, для расширения возможностей интеграции с другими приложениями.

По заявлению Inflection AI, их ПО на процессорах Intel может работать вдвое эффективнее, чем на процессорах некоторых конкурентов. Выпуск устройства запланирован на первый квартал 2025 года.
siliconangle.com

✔️ Hearst и OpenAI заключили партнерство в сфере контента.

Издательский дом Hearst объявил о новом партнерстве с компанией OpenAI, в рамках которого контент газет и журналов Hearst будет интегрирован в продукты OpenAI. Соглашение охватывает более 20 журналов: Esquire, Cosmopolitan, ELLE и Runner’s World и более 40 газет.

Интеграция контента Hearst в продукты OpenAI позволит пользователям ChatGPT получать более широкий спектр информации: местные новости, мода, дизайн, здоровье, фитнес и автомобили.

Контент Hearst в ChatGPT будет сопровождаться соответствующими ссылками на оригинальные источники. Цель партнерства — повысить достоверность информации в продуктах OpenAI и обеспечить доступ к высококачественной журналистике.
openai.com

✔️ США инвестирует в разработку новых материалов для производства чипов с помощью ИИ.

Министерство торговли США объявило конкурс с бюджетом до 100 миллионов долларов на разработку экологически чистых материалов и процессов для производства полупроводников с использованием ИИ.

Проект направлен на сокращение времени и ресурсов для создания новых материалов и фокусируется на AI/AE, объединяющем машинное обучение и автоматизированные лаборатории.

Внедрение AI/AE ускорит поиск и синтез материалов не только в полупроводниковой промышленности, но и в других областях, - энергетике, аэрокосмической и оборонной промышленности, биологии, химии и фармацевтики.
asiatimes.com

✔️ Baidu запускает Baige 4.0 для повышения эффективности кластеров GPU и платформу Qianfan 3.0.

Baige 4.0 контролирует кластеры GPU, автоматически обнаруживая сбои и перенося рабочие нагрузки для предотвращения простоев. С его применением эффективность обучения LLM достигла 99,5%, что на 30% выше средних показателей по отрасли благодаря улучшениям в проектировании кластеров, планировании заданий и оптимизации VRAM. Платформа поддерживает кластеры до 100 000 графических процессоров.

Baidu также обновила платформу Qianfan Foundation Model до версии 3.0, обеспечивая доступ к почти 100 крупным моделям, включая ERNIE, и снизилая стоимость инференса моделей более чем на 90%.
analyticsindiamag.com

✔️ Adobe запускает веб-приложение для защиты авторов от нежелательного использования их работ в сфере ИИ.

Веб-приложение Content Authenticity, выход бета-версии которого запланирован на первый квартал 2025 года, позволит помечать изображения, видео и аудиофайлы атрибутивными метаданными: имя автора, веб-сайт и страницы в социальных сетях.

Ключевой особенностью приложения является возможность запретить использование контента для обучения генеративных моделей ИИ. Метаданные, добавляемые приложением, будет сложно удалить, и они должны сохраняться даже на скриншотах. Приложение Content Authenticity станет ответом на опасения авторов по поводу несанкционированного использования их работ.
adobe.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Финал ИТ-чемпионата и шоу роботов для зрителей

8 ноября состоится True Tech Champ — масштабный ИТ-ивент от МТС.

Центральным событием станет шоу «Гонка роботов» — финальный этап чемпионата для программистов. Команды на глазах у зрителей оживят робомышей с помощью алгоритмов, чтобы провести их по запутанным лабиринтам. На пути к цели им будут мешать вспышки света, дым и другие спецэффекты. Приходи и стань свидетелем шоу роботов.

Гости события также смогут «погонять» робомышей по тренировочным лабиринтам на развлекательной локации. Для участия не обязательно писать код — заезды будут проходить с пультами управления.

Помимо гонки роботов гостей ждут интерактивный лекторий, нестандартные активности и фестиваль технологий и выступления музыкальных хедлайнеров.

Участие бесплатное. Успей зарегистрироваться по ссылке.

Читать полностью…

🌟 Ctrl-X: генерация T2I по структурным и визуальным референсам без необходимости обучения.

trl-X - метод, который позволяет управлять структурой и внешним видом изображений, создаваемых диффузионными моделями без необходимости дополнительного обучения или использования инструкций.

Ctrl-X предлагает управляемую генерацию, разделяя ее на две основные составляющие: сохранение пространственной структуры и семантически-осведомленный перенос стиля.

Для управления структурой используется прямая инъекция признаков сверточных слоев и карт внимания из входного изображения, который задает структуру.

Для переноса внешнего вида c входного источника применяется метод, основанный на статистике признаков, который учитывает пространственное соответствие между исходным и генерируемым изображениями.

Анализ карт внимания позволяет выявить семантические соответствия между ними и перенести стилистические характеристики с учетом их пространственного расположения.

Метод Ctrl-X не привязан к конкретным моделям и может применяться к любым диффузионным моделям T2I (текст-изображение) и T2V (текст-видео).

Программная реализация Ctrl-X на модели Stable Diffusion XL 1.0 поддерживает запуск с Gradio UI и инференс в CLI.

В обоих типах запуска Ctrl-X (Gradio и CLI) предусмотрена возможность оптимизации потребления VRAM : ключи запуска cpu_offload и disable_refiner.

Примерная утилизация VRAM для Gradio с использованием оптимизации выглядит следующим образом:

🟠no flags - 19 GB VRAM;

🟢cpu_offload - 13GB VRAM;

🟠disable_refiner - 15GB VRAM;

🟢cpu_offload + disable_refiner - 8 GB VRAM.

▶️Установка и запуск с Gradio или CLI:

# Clone the repository
git clone https://github.com/genforce/ctrl-x.git

# Create Conda environment
conda env create -f environment.yaml
conda activate ctrlx

# Run Gradio Demo
python app_ctrlx.py

# or run CLI inference
python run_ctrlx.py \
    --structure_image assets/images/horse__point_cloud.jpg \
    --appearance_image assets/images/horse.jpg \
    --prompt "a photo of a horse standing on grass" \
    --structure_prompt "a 3D point cloud of a horse"

🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusers #CtrlX

Читать полностью…

⚡️ Apple Depth Pro: Карта глубина с расчетом фокусного расстояния менее чем за секунду.

Depth Pro - базовая модель для метрической монокулярной оценки глубины по по одному изображению в режиме zero-shot. Она позволяет синтезировать Hi-Res карты глубины с высокой точностью определения границ объектов, воспроизводя их форму, расположение и абсолютный масштаб без использования метаданных камеры.

Архитектура модели основана на применении энкодеров ViT к фрагментам изображения, извлеченным в нескольких масштабах.

Используются два кодировщика ViT: фрагментный энкодер, обрабатывающий блоки изображения для изучения масштабно-инвариантных представлений и энкодер изображения, фиксирующий предсказания в глобальном контексте.

Модель работает с фиксированным разрешением 1536x1536 пикселей, а каждый из модулей ViT - 384x384 пикселей.

Для обучения используются 5 целевых функций (LMAE, LMSE, LMAGE, LMALE и LMSGE ) на основе канонической обратной глубины и применяется двухэтапный план обучения. Набор данных состоит из 43 датасетов.

Первый этап учит обобщающим признакам, основанным на смеси реальных и синтетических данных, а второй — повышению резкости границ на синтетических данных с точной информацией о глубине.

Модель показала высокую точность на различных наборах данных (Booster, ETH3D, Middlebury, nuScenes, Sintel и Sun-RGBD91011) .

Depth Pro превзошла другие методы по точности оценки фокусного расстояния на наборах данных DDDP, FiveK, PPR10K, RAISE, SPAQ и ZOOM.

Скорость инференса, замеренная в тестировании - 0,3 секунды на генерацию карты глубины 2,25-мегапиксельного изображения.

▶️ Локальная установка и инференс в CLI или Python:

# setting up a venv:
conda create -n depth-pro -y python=3.9
conda activate depth-pro
pip install -e .

# Download pretrained checkpoints:
source get_pretrained_models.sh

# Run the inference from CLI on a single image:
depth-pro-run -i ./data/example.jpg

# Running from python
from PIL import Image
import depth_pro

model, transform = depth_pro.create_model_and_transforms()
model.eval()
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"]  # Depth in [m].
focallength_px = prediction["focallength_px"]  # Focal length in pixels.

📌Лицензирование : Apple Sample Code license.



🟡Модель
🟡Demo
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #ViT #Depth #Apple

Читать полностью…

🌟 AMD GPU Inference: CLI-инференс LLM на AMD.

Проект на Github, который предлагает запуск LLM на графических ускорителях AMD с помощью Docker-контейнера. Образ разработан для работы с моделями из Hugging Face, в первую очередь с семейством моделей LLama.

Для запуска необходимо иметь GPU AMD с поддержкой ROCm (версии 5.4.2 и выше) и установленный Docker.

Для адаптации логики инференса под свои нужды, внесите соответствующие изменения в файл run_inference.py с последующей пересборкой Docker-образа.

В проекте предусмотрен файл Aptfile, содержащий список необходимых пакетов ROCm (rocm-dev, rocm-libs, rocm-cmake, miopen-hip и rocblas) , устанавливаемых в Docker-контейнере.

▶️Локальная установка и инференс:

# Clone repo:
git clone https://github.com/yourusername/amd-gpu-inference.git
cd amd-gpu-inference

# Make the run script executable:
chmod +x run-docker-amd.sh

# Run the inference engine with a specified model and prompt:

# Replace "meta-llama/Llama-2-7b-chat-hf" with the HF model you want to use, and provide your own prompt
./run-docker-amd.sh "meta-llama/Llama-2-7b-chat-hf" "Prompt"

📌Лицензирование : Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #ROCm #AMD

Читать полностью…

🌟 ASR и диаризация речи от RevAI.

RevAI, лидер в области профессиональной транскрипции английской речи выпустила в открытый доступ фреймdорк Reverb и набор моделей для построения конвейера speech-to-text.

Reverb включает в себя: модель ASR на базе WeNet и 2 версии модели диаризации речи. Весь паплайн Reverb можно запускать как на CPU, так и на GPU.

Reverb ASR обучалась на 200 000 часов английской речи, профессионально транскрибированной людьми — это самый большой корпус транскрибированной человеком речи, когда-либо использовавшийся для обучения модели с открытым исходным кодом.

Она позволяет контролировать уровень дословности выходного транскрипта для создания чистого, удобочитаемого текста и справляется с обработкой аудио, требующего транскрипции каждого произнесенного слова, включая запинания и перефразирования.

Reverb ASR использует совместную архитектуру CTC/attention и поддерживает несколько режимов декодирования. Указать один или несколько режимов можно в recognize_wav.py. Для каждого режима будут созданы отдельные выходные каталоги. Варианты декодирования:

🟢attention;
🟢ctc_greedy_search;
🟢ctc_prefix_beam_search;
🟢attention_rescoring;
🟢joint_decoding.

В оценке Reverb ASR использовались три корпуса длинных аудиозаписей: Rev16 (подкасты), Earnings21 и Earnings22 (телефонные разговоры).

Reverb ASR значительно превосходит конкурентов в тестовых наборах ASR для длинных форм, особенно в Earnings22, где в основном речь носителей английского языка не как родного.

Для традиционного бенчмаркинга использовался GigaSpeech, Reverb ASR запускался в дословном режиме на скриптах оценки Hugging Face Open ASR Leaderboard. По их результатам Reverb ASR значительно превосходит конкурентов в тестовых наборах ASR для длинных форм.

Reverb diarization v1 использует архитектуру pyannote 3.0 и имеет 2 слоя LSTM со скрытым размером 256, всего около 2,2 млн параметров, а Reverb diarization v2 использует WavLM вместо функций SincNet в базовой модели pyannote 3.0.

Обе модели диаризации прошли донастройку на 26 000 часах данных с экспертной разметкой.

▶️Локальное использование предусматривает несколько вариантов: установка с anaconda, использование Docker-образа и масштабное развертывание.

⚠️ Для локальной установки понадобится Huggingface API KEY


🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #ASR #Diarization #REVAI

Читать полностью…

Игнорирование больших данных и нейросетей сегодня — почти гарантия провала. Именно поэтому стоит начать погружение в востребованную сферу Data Science и понять, чем занимаются специалисты по машинному обучению и анализу данных. За 5 дней вы узнаете, как работают нейросети, и создадите свою для поиска новостей.

📌 Зарегистрируйтесь прямо сейчас и получите эксклюзивный бонус — гайд «Как пользоваться ChatGPT и Midjourney + 25 полезных нейросетей»: https://epic.st/Frfie?erid=2Vtzqws7wUt

Что будем делать на мини-курсе:
— Узнаем, где востребована наука о данных, и разберёмся в различиях 3 основных направлений
— Освоим азы языка Python и визуализируем данные с его помощью
— Изучим базовые конструкции языка SQL

🎁 Вас ждут подарки:
— Год бесплатного изучения английского языка
— Персональная карьерная консультация
— 5 полезных чек-листов для старта карьеры

🎉 Все участники мини-курса получат сертификат на скидку 10 000 рублей на любой курс Skillbox.

Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

Читать полностью…

🌟 Model2Vec: создание компактных и быстрых моделей на основе Sentence Transformer.

Model2Vec - библиотека для создания компактных и быстрых моделей на основе предобученных Sentence Transformer моделей.

Model2Vec позволяет создавать эмбединг-модели слов и предложений, которые значительно меньше по размеру, но при этом сопоставимы по производительности с исходными Sentence Transformer моделями.

Отличительные особенности:

🟢быстрая дистилляция, процесс создания модели занимает несколько минут;

🟢быстрый инференс, в 500 раз быстрее на CPU относительно родительской модели;

🟢BYOM и BYOV, можно использовать на любой Sentence Transformer модели с любым словарем;

🟢мультиязычность, все что нужно - только мультиязычная модель в качестве источника;

🟢интеграция с Huggingface, загрузка\выгрузка моделей привычными from_pretrained и push_to_hub.

Пайплайн Model2Vec трехэтапный. На первом этапе словарь пропускается через модель Sentence Transformer для получения векторов эмбедингов для каждого слова.

Далее, размерность полученных эмбеддингов сокращается с помощью метода главных компонент (PCA). Наконец, применяется zipf-взвешивание для учета частотности слов в словаре.

Model2Vec работает в двух режимах:

🟠Output, в котором модель работает подобно Sentence Transformer, используя subword токенизацию;

🟠Vocab, в котором создается набор статических эмбедингов слов, аналогично GloVe или Word2Vec.

Оценку производительности Model2Vec делали на наборе данных MTEB на задачах PEARL (оценка качества представления фраз) и WordSim (оценка семантической близости слов).

Результаты показывают, что Model2Vec превосходит по производительности GloVe и модели, основанные на WordLlama по всем задачам оценки.

▶️Пример дистилляции:

from model2vec.distill import distill

# Choose a Sentence Transformer model
model_name = "BAAI/bge-base-en-v1.5"

# Distill the model
m2v_model = distill(model_name=model_name, pca_dims=256)

# Save the model
m2v_model.save_pretrained("m2v_model")

▶️Пример инференса:

from model2vec import StaticModel

# Load a model from the HuggingFace hub, or a local one.
model_name = "minishlab/M2V_base_output"
# You can optionally pass a token if you're loading a private model
model = StaticModel.from_pretrained(model_name, token=None)

# Make embeddings
embeddings = model.encode(["It's dangerous to go alone!", "It's a secret to everybody."])

📌Лицензирование : MIT License.


🟡Набор моделей
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Embedding #Model2Vec

Читать полностью…

🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.

CogVideoX Factory - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.

Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".

Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:

🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;

🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;

🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.

CogVideoX Factory предлагает сценарии обучения:

🟠LoRA для "text-to-video": cкрипт train_text_to_video_lora.sh;

🟠LoRA для "IMG-to-video": cкрипт train_image_to_video_lora.sh;

🟠SFT всей модели для "text-to-video": скрипт train_text_to_video_sft.sh.

⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт prepare_dataset.py играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.

CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов, настройке параметров обучения, запуску инференса, информацию о требованиях к памяти для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.


📌Лицензирование : Apache 2.0 License.


🖥Github


@ai_machinelearning_big_data

#AI #ML #LoRA #T2V #IMG2V #Finetune

Читать полностью…

Полезная информация для всех, кто интересуется машинным обучением: выложили доклады с конференции Practical ML Conference 2024.

Рекомендуем посмотреть доклад Саввы Степурина, старшего специалиста по машинному обучению в Яндекс Музыке. Он рассказал, как рекомендовать незнакомый контент пользователям. Крупные компании сталкиваются с этой проблемой, и Савва объяснил, как можно перейти от простых фильтров к отдельным моделям отбора кандидатов и ранжирования. Приятный бонус после доклада — ценные рекомендации "Как улучшить вашу рекомендательную систему". Например, Савва отметил, что пользователи ценят серендипность, поэтому важно увеличивать вес незнакомого контента.

Были еще интересные доклады про бенчмаркинг, синтетические данные, оптимизацию RAG-систем, VLM и, конечно же, рекомендательные системы. Обязательно найдите время, чтобы их изучить!

Читать полностью…

🌟 Numpy QuadDType: Четырехкратная точность в Python.

NumPy-QuadDType (numpy_quaddtype) — это реализация пользовательского типа данных (dtype) для NumPy, которая обеспечивает настоящую арифметику с плавающей точкой четверной точности на разных платформах.

Проект направлен на решение давних проблем с np.longdouble, предлагая согласованный, высокоточный тип с плавающей точкой независимо от базовой архитектуры системы, а также обеспечивая обратную совместимость long double.

Ядро numpy_quaddtype построено вокруг на двух ключевых компонентов:

🟢скалярный тип QuadPrecision, представляющий отдельные скаляры четверной точности;

🟢тип данных NumPy QuadPrecDType, позволяющий использовать эти скаляры четверной точности в массивах и операциях NumPy.

Отличительная черта numpy_quaddtype - его подход с двойным бэкэндом:

🟠SLEEF (библиотека SIMD для оценки элементарных функций): этот бэкэнд использует тип Sleef_quad из библиотеки SLEEF, предоставляя настоящую 128-битную учетверенную точность.

🟠Long Double: этот бэкэнд использует собственный тип long double, который может обеспечивать точность до 80 бит в некоторых системах, обеспечивая совместимость с np.longdouble.

Гибкость архитектуры numpy_quaddtype наследуется от компонентов ее ядра: QuadPrecisionObject, хамелеоноподобная структура, которая может переключаться между формами:

typedef union {  
Sleef_quad sleef_value;  
long double longdouble_value;  
} quad_value;  

typedef struct {  
PyObject_HEAD  
quad_value value;  
QuadBackendType backend;  
} QuadPrecisionObject;

QuadPrecDTypeObject, который действует как мост, позволяя высокоточным числам гармонично работать в массивах и операциях NumPy:

typedef struct {  
PyArray_Descr base;  
QuadBackendType backend;  
} QuadPrecDTypeObject;

Он позволяет переключаться между бекэндами Sleef_quad (для SLEEF) и long double во время выполнения:

>>> import numpy as np  
>>> import numpy_quaddtype as npq  

# Using SLEEF backend (default)  
>>> x = npq.QuadPrecision(3.5)  
>>> x = npq.QuadPrecision(3.5, backend='sleef')  
>>> repr(x)  
QuadPrecision('3.5e+000', backend='sleef')  

# Using longdouble backend  
>>> y = npq.QuadPrecision(2.5, backend='longdouble')  
>>> repr(y)  
QuadPrecision('2.5e+000', backend='longdouble')  

# Creating a NumPy array with QuadPrecision dtype  
>>> z = np.array([x, x], dtype=npq.QuadPrecDType()) # SLEEF  
>>> print(z)  
[QuadPrecision('3.5e+000', backend='sleef')  
QuadPrecision('3.5e+000', backend='sleef')]  

>>> z = np.array([y, y], dtype=npq.QuadPrecDType("longdouble")) # longdouble  
>>> print(z)  
[QuadPrecision('2.5e+000', backend='longdouble')  
QuadPrecision('2.5e+000', backend='longdouble')]

В тестах numpy_quaddtype с бэкендом SLEEF показал точность в 34 десятичных знаков. ULP (единица в младшем разряде) для основных арифметических операций ≤ 0,5000000001, а для трансцендентных функций ≤ 1,0.

C бэкендом Long Double показал точность, зависящую от платформы: 18-19 десятичных знаков в Linux и 15-17 в Windows.

В настоящее время ведётся подготовка к выпуску numpy_quaddtype в виде пакета Python, доступного через PyPI и conda. Также планируется направить предложение NEP для интеграции numpy_quaddtype в экосистему NumPy и рассмотреть TLFloat как потенциальную замену SLEEF в будущих версиях.

▶️Читать полную статью с демо возможностей numpy_quaddtype на примере визуализации множества Мандельброта при экстремальном увеличении и моделирование квантового гармонического осциллятора для двухатомных молекул.


@ai_machinelearning_big_data

#AI #ML #DS #Python #NumPy

Читать полностью…

🌟 OpenMathInstruct-2: математический датасет и набор моделей от NVIDIA.

OpenMathInstruct-2 состоит из 14 млн. пар "вопрос-решение" (примерно 600 тысяч уникальных вопросов) и является одним из крупнейших общедоступных наборов данных для обучения LLM в математике.

Набор данных создан на основе Llama-3.1-405B-Instruct путем синтеза решений для существующих вопросов из наборов данных MATH и GSM8K и генерации новых задач и решений.

Результаты абляционных экспериментов, которые проводились для поиска оптимальных параметров синтеза, показали, что:

🟢формат решения имеет значение, причем чрезмерно подробные решения негативно сказываются на производительности модели;

🟢данные, сгенерированные сильной моделью-учителем, превосходят по качеству данные, полученные от более слабой модели;

🟢процесс обучения устойчив к наличию до 20% решений низкого качества;

🟢разнообразие вопросов имеет решающее значение для масштабирования данных.

Итоговые данные, включенные в датасет прошли тщательную деконтаминацию с использованием конвейера lm-sys и ручной проверки на поиск дубликатов с тестовыми наборами данных.

OpenMathInstruct-2 показал высокую эффективность при обучении LLM.

Модель Llama3.1-8B-Base, обученная на OpenMathInstruct-2, превзошла Llama3.1-8B-Instruct на 15,9% по точности на наборе данных MATH, а OpenMath2-Llama3.1-70B обошла Llama3.1-70B-Instruct на 3,9%.

Датасет выпущен в 3-х размерностях: полный набор (примерно 7.5 GB) и уменьшенные версии train_1M (640 Mb), train_2M (1.3 Gb) и train_5M (3.1 Gb).

▶️ Модели, дообученные на этом датасете:

🟠OpenMath2-Llama3.1-70B, в формате Nemo, квантованные версии GGUF (от 3-bit до 8-bit);

🟠OpenMath2-Llama3.1-8B, в формате Nemo, квантованные версии GGUF (от 2-bit до 8-bit).


📌Лицензирование датасета : CC-BY-4.0 License.

📌Лицензирование моделей: Llama 3.1 Community License.


🟡Набор моделей
🟡Arxiv
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #LLM #MATH #NVIDIA #Dataset

Читать полностью…

✔️ Google Fitbit внедряет ИИ для персонализированных рекомендаций по здоровью.

Fitbit Labs, новая программа от Google Fitbit, использует Google Gemini для анализа данных о сне, активности и сердечном ритме пользователей, формируя им ценную информацию о своем здоровье.

Первая функция Labs - "проводник по аналитике" - предоставляет ответы на вопросы о здоровье и выявляет тенденции в данных пользователей. Доступ к Labs открыт для ограниченного числа пользователей Fitbit, которые могут присоединиться к программе, выбрав соответствующий пункт во вкладке "Вы" в приложении Fitbit.
phonearena.com

✔️ Foxconn создаст самый быстрый в Тайване суперкомпьютер с помощью Nvidia Blackwell.

Foxconn строит у себя на родине самый мощный суперкомпьютер на базе чипов Nvidia Blackwell. Суперкомпьютер Hon Hai Kaohsiung Super Computing Center будет построен на базе графических процессоров Nvidia Blackwell, оснащен 64 стойками GB200 NVL72 и 4608 ядрами Tensor Core. Общая расчетная производительность составит более 90 экзафлопс.

Foxconn планирует использовать суперкомпьютер для исследований рака, разработки больших языковых моделей и инноваций для "умных городов", чтобы вывести Тайвань в мировые лидеры отрасли ИИ.

Первая фаза проекта будет запущена в середине 2025 года, а полное развертывание суперкомпьютера запланировано на 2026 год.
venturebeat.com

✔️ Hugging Face выпустил OpenAI-Gradio.

OpenAI-Gradio предоставляет возможность создать веб-приложения с ИИ, используя всего несколько строк кода. Для запуска необходимо установить пакет из pip и указать OpenAI API KEY.

OpenAI-Gradio позволяет настраивать внешний вид и функциональность веб-приложений, используя возможности Gradio. Например, можно создавать пользовательские компоненты ввода и вывода, добавлять описания и примеры использования, а также интегрировать LLM в более крупные веб-интерфейсы Gradio.

OpenAI-Gradio поддерживает GPT-4-turbo, GPT-3.5-turbo и GPT-3.5-turbo-16k.
github.com

✔️ Nvidia и MediaTek сотрудничают в создании 3-нм процессора для ПК с ИИ.

Процессор, предположительно, войдет в фазу пробного производства уже в этом месяце, а массовый выпуск запланирован на конец 2025 года. Ожидается, что новый процессор будет работать в паре с графическим процессором Nvidia и будет ориентирован на использование в готовых ПК Lenovo, Dell, HP и Asus.

Предполагаемая цена чипа составит около 300 долларов. Nvidia и MediaTek уже сотрудничают в рамках платформы Dimensity Auto Cockpit, предназначенной для автомобилей и использующей графические технологии Nvidia и Nvidia Drive OS.
tomshardware.com

✔️ O'Reilly публикует первые главы нового руководства по разработке ПО с использованием ИИ.

O’Reilly опубликовала первые главы нового руководства «Жизненный цикл разработки ПО с использованием ИИ» (The AI-Enabled SDLC).

В руководстве, написанном техническим директором Tabnine Эраном Яхавом и основателем Tech Skills Transformations Брентом Ластером, описывается как ИИ меняет каждый этап жизненного цикла разработки ПО.

В первых главах, доступных бесплатно для подписчиков O’Reilly, описывается влияние ИИ на планирование, написание кода, тестирование, исправление кода, а также повышение безопасности и производительности.

В книге также рассматриваются распространенные ошибки и риски, связанные с использованием ИИ в разработке, и предлагаются стратегии интеграции ИИ для повышения эффективности разработчиков и качества кода.
streetinsider.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Ищем автора эталонного кода! 💎

Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom.

Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря.

Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!

Читать полностью…

2 и 3 декабря 2024 года в Москве, в Кампусе СКОЛКОВО, пройдёт крупнейшая профессиональная конференция для разработчиков высоконагруженных систем — HighLoad++ 2024.

В этом году мероприятие соберёт 3 800 участников, будет проведено 170 докладов в 13 залах. На одной площадке пройдут сразу 3 конференции: HighLoad++, GolangConf 2024 и PHP Russia 2024.

✅Доклады и спикеры конференции: https://clck.ru/3DnKUq?erid=LjN8Jud7o

Будем разбираться в архитектуре сложных проектов, обсудим вызовы работы с распределёнными транзакциями, базами данных и системами хранения. Поговорим про оптимизацию производительности с использованием CGo и применение WebAssembly для решения задач веб-разработки.

До встречи на HighLoad++ 2024!

#реклама
О рекламодателе

Читать полностью…

⚡️ Релиз Python 3.13 и Git 2.47 ⚡️

Python 3.13, спустя ровно год с начала разработки, выпущен в релиз. Поддержка версии 3.13 планируется в течение 1.5 лет, и, после окончания этого срока еще 3.5 года версия будет получать критические обновления, связанные с безопасностью.

Ключевые изменения:

🟢экспериментальный компилятор JIT. Запуск в CPython –enable-experimental-jit;

🟢экспериментальный режим сборки CPython без GIL. Запуск –without-gil;

🟢интерактивный интерпретатор с многострочным редактированием, по подобию PyPy;

🟢изменена семантика locals() для функций, генераторов и сопрограмм;

🟢включена в состав модифицированная версия mimalloc от Microsoft;

🟢компилятор теперь очищает лидирующие пробелы из docstring;

🟢в модуле dbm реализован бэкенд dbm.sqlite3 по умолчанию для новых файлов;

🟢typing.TypeIs стала более интуитивной, чем typing.TypeGuard;

🟢typing.ReadOnly позволяет помечать элементы TypeDicts, доступные только для чтения;

🟢warnings.deprecated() добавлена для указания устаревших элементов в системе типов;

🟢удалены ifc, audioop, chunk, cgi, cgitb, crypt, imghdr, mailcap, msilib, nis, nntplib, ossaudiodev, pipes, sndhdr, spwd, sunau, telnetlib, uu, xdrlib и lib2to3 из стандартной библиотеки;

🟢в copy добавлена copy.replace();

🟢в os добавлены функции для работы с таймером через timerfd;

🟢random получил интерфейс CLI;

🟢macOS версий 10.9 - 10.12 больше не поддерживаются.

▶️Страница релиза 3.13 ▶️Документация 3.13


Git выпустил Git 2.47 с функциями и исправлениями ошибок от более чем 83 разработчиков, 28 из которых - новые.

В этой версии основное внимание уделяется повышению производительности и улучшению пользовательского опыта.

Основные изменения:

🟠инкрементные многопакетные индексы: экспериментальная функция, позволяющая сохранять несколько многопакетных индексов в цепочке слоев MIDX;

🟠ускорена идентификация базовой ветви : новый инструмент for-each-ref помогает определять базовую ветвь коммита, сводя к минимуму уникальные коммиты от первого родителя и упрощая идентификацию;

🟠обновлена политика поддержки: в Git 2.47 представлен новый документ, описывающий требования к поддержке для различных платформ, включая стандарты C99 или C11 и стабильные версии зависимостей;

🟠DEVELOPER=1 mode: теперь при компиляции с DEVELOPER=1 наличие неиспользуемых параметров является ошибкой времени компиляции;

🟠остальные улучшения : усовершенствования серверной части reftable, обновление платформы модульного тестирования, усовершенствование git fsck и интеграция кода Visual Studio с git mergetool.

▶️Полный список изменений


@ai_machinelearning_big_data

#AI #ML #Python #Git #Release

Читать полностью…

✔️ Hitachi совместно с Nvidia запустили сервис обслуживания железных дорог на основе ИИ.

Система HMAХ анализирует данные, собираемые с поездов, чтобы предсказывать оптимальное время для замены деталей. Это первый коммерческий продукт Hitachi, использующий ИИ для обслуживания железных дорог, и он уже работает на некоторых маршрутах в Великобритании и Италии.

HMAX использует GPU от NVIDIA для мгновенного анализа изображений и данных о температуре и вибрации. Этот анализ позволяет проводить техобслуживание по мере износа узлов и повышает безопасность поездок.
kyodonews.net

✔️ Huggingface запустила лидерборд для оценки возможностей LLM в финансовой сфере.

OpenFinLLM Leaderboard - рейтинг LLM для финансовых задач. Он оценивает модели на 40 задачах в 7 категориях: извлечение информации, текстовый анализ, вопросы и ответы, генерация текста, управление рисками, прогнозирование и принятие решений. Для оценки используются метрики: точность, F-меру, ROUGE и коэффициент корреляции Мэтьюза.

С момента запуска в рейтинге лидируют модели GPT-4 и Llama 3.1, показавшие высокую точность в задачах по анализу финансовых настроений. В задачах финансового прогнозирования компактные модели Llama-3.1-7b и internlm-7b превосходят более крупные модели.
huggingface.co

✔️ MongoDB создает партнерскую экосистему ИИ.

MongoDB представила обновлённую версию 8.0 своей базы данных линейки Enterprise и облачного сервиса Atlas. Обновления обещают увеличить пропускную способность на 32%, ускорить пакетную запись на 56% и повысить скорость параллельной записи на 20%.

Для решения проблем, связанных с быстрым развитием ИИ, неопределённостью в выборе технологий и нехваткой навыков, MongoDB запустила программу MongoDB AI Application Program (MAAP).

Компания планирует создать глобальную экосистему партнёров, которые будут устанавливать отраслевые стандарты для решений на основе ИИ, сотрудничая с Microsoft Azure, Google Cloud Platform, Amazon Web Services, Accenture, Anthropic и Fireworks AI.
Уже реализованы коммерческие решения для «французской автомобильной компании» и «глобального производителя бытовой техники».
iteuropa.com

✔️ RATIONALYST: Как неявные логические обоснования улучшают логику ИИ.

Исследователи из Университета Джона Хопкинса представили RATIONALYST - модель на базе LLaMa-3-Instruct-8B, разработанную для улучшения логических возможностей LLM за счет неявных логических обоснований, полученных из немаркированных текстовых данных. Rationalyst генерирует и фильтрует обоснования на основе подсказок-примеров, фиксируя основные схемы рассуждения для новых текстов.

Обученный на 79 000 неявных обоснованиях, Rationalyst отслеживает пошаговые решения проблем, генерируя обоснования для каждого этапа, чтобы направлять выбор оптимальных следующих шагов. При оценке различных логических задач RATIONALYST добился повышения точности в среднем на 3,9%, превзойдя GPT-4.
arxiv.org | Github.com

✔️ Выпущена новая версия Python 3.13 🔗 Скачать

✔️ Qualcomm представил чип A7 Elite, оптимизированный для работы с ИИ.

Networking Pro A7 Elite - новый чип для маршрутизаторов и сетевых устройств. Чип основан на новом стандарте Wi-Fi 7. A7 Elite может управлять до 16 потоками данных, это вдвое больше возможности предыдущей версии стандарта. A7 Elite преобразует данные с помощью 4096-QAM, технологии, которая кодирует на 20% больше информации в каждом импульсе по сравнению с методом в Wi-Fi 6.

Другая новая функция, MLO, позволяет маршрутизатору Wi-Fi 7 распределять соединение по нескольким радиочастотным диапазонам. Qualcomm утверждает, что маршрутизаторы, оснащенные A7 Elite, могут обеспечить пропускную способность до 33 ГБ\с.

A7 Elite интегрирован с сопроцессором ИИ, который имеет максимальную производительность 40 TOPS. Этот сопроцессор позволяет устройствам Wi-Fi, оснащенным A7 Elite, запускать модели ИИ локально. Qualcomm предлагает библиотеку из 100 предварительно оптимизированных моделей ИИ, чтобы упростить разработку программного обеспечения для производителей сетевого оборудования.
siliconangle.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

📎 Machine Learning: Медицинский дайджест за период 30.09 - 06.10 2024 г.

▶️ Модели машинного обучения и бенчмарки

🔘OmniGenBench: платформа для автоматизированного бенчмаркинга геномных моделей.

Платформа с открытым исходным кодом, предназначенная для бенчмаркинга геномных фундаментальных моделей.

🔘PocketDTA: модель прогнозирования близости препарат - целевой материал.

PocketDTA - модель для предсказания drag-target affinity (DTA), использующая трехмерную структурную информацию о лекарстве и целевом материале.


▶️ Фреймворки и методологии

🔘ZODIAC: многоагентная платформа на основе LLM для кардиологической диагностики.

ZODIAC разработан для помощи кардиологам в диагностике клинически значимых аритмий с использованием данных пациентов, собранных в реальных условиях.

🔘Обучение с "забыванием" знаний для предсказания мутаций белков.

PROEDIT - методика обучения с техникой с "забыванием знаний" (knowledge unlearning) для выборочного удаления информации из предварительно обученной языковой модели белка для прогнозирования эффекта мутации.

🔘ReXplain: конвертация рентгенологических данных в понятные видеоотчеты.

ReXplain (Radiology eXplanation) - система на основе ИИ, которая генерирует понятные для пациентов видеоотчеты по результатам рентгенологических исследований.

🔘Оценка LLM в медицине с помощью прокси-задач.

Методология оценки медицинских аргументов, сгенерированных LLM, основанная на прокси-задачах и ранжировании. Позволяет точнее сопоставить результаты с критериями оценки человека и преодолеть типичные галлюцинации в LLM, используемых в качестве оценщиков.

🔘MVSF-AB: метод предсказания аффинности связывания антитело-антиген.

MVSF-AB - метод, основанный на машинном обучении, который использует информацию о последовательности антитела и антигена для точного предсказания аффинности связывания.


▶️Исследования и обзоры.

🔘Выбор моделей на основе данных для зашумленных биологических систем.

Метод построения математических моделей биологических систем с использованием данных и нейронных сетей.


🔜 Читать полный дайжест


@ai_machinelearning_big_data

Читать полностью…

✔️ BrainChip анонсировал сверхэнергоэффективную микросхему для ИИ-устройств.

BrainChip анонсировала Akida Pico — нейроморфный процессор с энергопотреблением всего 1 мВт, предназначенный для устройств с ограниченным питанием: смартфоны, носимая электроника и умные устройства.

Akida Pico имитирует работу мозга, обмениваясь электрическими импульсами (спайками) вместо традиционных логических цепей. Чип включает нейронный процессор, блоки обработки событий, SRAM для хранения весов модели, блоки прямого доступа к памяти и дополнительные периферийные устройства. В некоторых случаях он может работать автономно.

BrainChip разработала архитектуры моделей ИИ, оптимизированные для минимального энергопотребления, снижая потребление энергии в пять раз по сравнению с традиционными моделями на обычных микропроцессорах. Akida Pico может использоваться для голосовой активации, шумоподавления в наушниках, AR-очках и слуховых аппаратах.
spectrum.ieee.org

✔️ Google расширит Gemini Live на более чем 40 языков.

Gemini Live запускает поддержку генеративного ИИ-помощника на более чем 40 языках. Инструмент позволит общаться на двух языках на одном устройстве, и в разработке находится дальнейшее расширение одновременно поддерживаемых языков.

Многоязычная поддержка также будет работать с интеграцией Gemini для других приложений и сервисов Google: Google Календарь, Задачи, Keep и Утилиты.

Установить предпочитаемые языки в приложении Android: «Настройки» > «Google Ассистент» > «Языки» и выберите первый предпочитаемый язык. Для второго языка есть опция «Добавить язык».
О планах по выпуску Gemini Live для iPhone не сообщалось.
engadget.com

✔️ Message-Passing Monte Carlo (MPMC): усовершенствованные методы выборки для повышения точности моделирования.

В MIT CSAIL разработали метод Message-Passing Monte Carlo (MPMC), основанный на GNN, которые позволяют точкам самооптимизироваться и достигать лучшей равномерности для решения сложных многомерных задач. GNN преобразуют случайные выборки, минимизируя L2-расхождение, что позволяет MPMC создавать наборы точек, подходящие для конкретных приложений.

В вычислительных финансах MPMC может улучшить результаты в задачах ценообразования опционов и оценки рисков, а в робототехнике - помочь в планировании пути и движении для оптимальной навигации роботов.
news.mit.edu

✔️ CharacterAi выходит из гонки моделей и переключает внимание на платформу чатботов.

CharacterAi решила отказаться от разработки больших языковых моделей и сосредоточиться на улучшении потребительской платформы. Это решение было принято после сделки с Google, в рамках которой интернет-гигант приобрел единовременную лицензию на технологию CharacterAi.

Рост затрат на обучение моделей усложнил конкуренцию с Google, Microsoft, OpenAI и Amazon. Компания решила сконцентрироваться на создании масштабируемой платформы чат-ботов, аудитория которой, по оценкам, насчитывает более 20 миллионов активных пользователей в месяц.
Несмотря на уход основателей и сокращение амбиций в области разработки моделей, компания с оптимизмом смотрит в будущее благодаря финансированию от Google.
btimesonline.com

✔️ IBM и NASA представили Prithvi WxC - модель для прогнозирования погоды и климата.

BM Research и NASA совместно разработали Prithvi WxC – модель глубокого обучения для прогнозирования погоды и моделирования климата с 2,3 млрд. параметров и 160 переменными из набора данных MERRA-2.

Модель использует трансформерную архитектуру для обработки долгосрочных зависимостей, комбинацию локальных и глобальных механизмов внимания для обработки больших объемов данных и эффективного захвата пространственно-временных закономерностей.

Prithvi WxC обучается с помощью комбинированной функции цели, которая объединяет задачи маскированной реконструкции и прогнозирования, что повышает ее универсальность в различных приложениях, включая прогнозирование с авторегрессионным развертыванием и оценку экстремальных погодных явлений.
Arxiv | Модель на HF | Проект на Github

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Рынок облаков за прошлый год вырос на 40%, а в одной только Москве реализуется как минимум 90 проектов с использованием ИИ. Все это говорит о мощном облачном тренде в культуре разработки и большом интересе сообщества к работе с AI.

24 октября крупнейший российский провайдер облачных и AI-технологий Cloud.ru проводит конференцию GoCloud Tech 2024, на которой соберутся ведущие IT-инженеры, разработчики и тимлиды.

4 параллельных трека, которые будут полезны всем, кто работает с облачными технологиями:

- «useCloud» — сценарии использования облачных решений;
- «Под капотом» — «внутренняя кухня» и тонкости разработки облачных сервисов;
- «Русский AI» — развитие AI/ML и тренды Data Science на российском рынке;
- «Cloud.ru Evolution» — обзор сервисов и обновлений платформы.

А еще обещают демо-зону, на которой будет доступна флагманская платформа Cloud Evolution, платформа для создания частного и гибридного облака Evolution Stack. Также вечером всех ждёт афтерпати.

Регистрация по ссылке.

Читать полностью…

🌟 NVLM-1.0-D-72B: MMLM от NVIDIA, сопоставимая с лучшими коммерческими аналогами .

NVLM-1.0-D-72B - первая модель семейства NVLM 1.0 производственного уровня, которое позиционируется как SOTA в задачах "vision-language".

Для достижения SOTA - цели в мультимодальное обучение был включен высококачественный набор данных, предназначенный только для текста, наряду со значительным объемом мультимодальных данных по математике и рассуждениям, что расширило математические и программные возможности во всех модальностях.

Архитектура NVLM 1.0 предполагает 3 варианта исполнения:

🟢только декодер NVLM-D,
🟢NVLM-X на основе перекрестного внимания;
🟢NVLM-H с гибридной архитектурой.

Все эти варианты NVLM используют общий визуальный кодер InternViT-6B-448px-V1-5.

Для обработки изображений с высоким разрешением используется динамический подход с высоким разрешением (DHR), при котором изображение разбивается на несколько плиток, каждая из которых кодируется отдельно.

Чтобы повысить эффективность обработки динамических изображений с высоким разрешением в NVLM-D и NVLM-X была разработана конструкция текстового тега плитки. Этот тег добавляется к входной последовательности, чтобы указать начало плитки и ее положение в структуре мозаики. Так генеративные модели лучше понимают структуру изображения.

Эксперименты показали, что добавление тегов плитки значительно улучшает производительность как в задачах, связанных с мультимодальным мышлением (например, MMMU и MathVista), так и в задачах, связанных с распознаванием текста (ChartQA, DocVQA и OCRBench).

Для оценки NVLM 1.0 использовались 9 эталонных тестов Vision language и четыре текстовых теста. Результаты NVLM 1.0 оказались сопоставимыми с результатами ведущих проприетарных и общедоступных моделей, как в задачах на взаимодействие зрения и языка, так и в задачах, ориентированных только на текст.

Разработчики подготовили файл сборки необходимого окружения в Dockerfile для запуска и примеры кода для инференса, использования нескольких GPU и загрузки модели.


📌Лицензирование : CC-BY-NC-4.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #MMLM #NVLM #NVIDIA

Читать полностью…

✔️ Nvidia выпускает плагины для повышения реалистичности Meta Human в Unreal Engine 5.

На конференции Unreal Fest Seattle 2024 NVIDIA представила новые плагины для Unreal Engine 5 на базе технологии NVIDIA Ace, облегчающие создание и развертывание персонажей MetaHuman с искусственным интеллектом на ПК с ОС Windows. Ace — это набор технологий для создания цифровых людей с речью, интеллектом и анимацией на основе генеративного ИИ.

Разработчики теперь имеют доступ к плагину Audio2Face-3D для создания лицевой анимации на базе ИИ, синхронизирующей движения губ и лица с речью. Плагин доступен в Autodesk Maya и имеет открытый исходный код для создания собственных расширений. Для работы с Maya разработчикам понадобится API-ключ или Audio2Face-3D NIM.

NVIDIA также выпустила пример проекта Unreal Engine 5 с использованием NVIDIA Ace, включающий плагины Audio2Face-3D, Nemotron-Mini 4B Instruct для генерации ответов и RAG для контекстной информации.

NVIDIA утверждает, что разработчики могут создавать базы данных с контекстной информацией для своих проектов, генерировать релевантные ответы с низкой задержкой и управлять лицевой анимацией MetaHuman в Unreal Engine 5.
venturebeat.com

✔️ Black Forest Labs представила FLUX1.1 [pro] и API.

FLUX1.1 [pro] — новая модель генерации изображений, в ней шестикратно ускорен инференс по сравнению с предыдущей FLUX [pro], она получила улучшенное качество генераций и более точное соответствие промптам.

Новая модель доступна в сервисах: Together.ai, Replicate, Fal.ai, Freepik.com

FLUX1.0 [pro] тоже был обновлен и получил с двукратным ускорение генерации.

Новый бета-интерфейс BFL API предоставляет разработчикам и компаниям возможности FLUX. API предлагает расширенные настройки для адаптации выходных данных к конкретным потребностям, включая выбор модели, разрешение изображения и модерацию контента. Документация API.
blackforestlabs.ai

✔️ Panasonic разработала модель "Diffusion Contact Model" для управления роботами, выполняющими действия с большим количеством контактов.

Поскольку нехватка рабочей силы становится серьезной социальной проблемой во многих частях мира, использование промышленных роботов прогрессирует. Однако в сфере услуг, существует множество задач, которые связаны с контактом с людьми и объектами, но движения и силы, возникающие при контакте робота с человеком или объектом, чрезвычайно сложны и их трудно моделировать в среде симуляции.

Для достижения точной работы в этих ситуациях необходимо заранее провести множество пробных испытаний с использованием реальных действий. Для решения этой проблемы Panasonic HD разработала Diffusion Contact Model, которая использует "диффузионную модель", часто используемую при генерации изображений, для обучения роботов.

Diffusion Contact Model моделирует поэтапно усилие, прилагаемое при прикосновении робота к объекту, и может с высокой точностью предсказать усилие, прилагаемое при прикосновении робота к объекту.

Технология Diffusion Contact Model будет представлена на конференции в Абу-Даби 14 октября 2024 года.
Технический отчет на arxiv.
news.panasonic.com

✔️ Студенты деанонимизируют незнакомцев с помощью смарт-очков Meta и Instagram streams.

Два студента из Гарварда разработали систему под названием I-XRAY, которая объединяет технологии распознавания лиц, LLM и общедоступные данные, чтобы автоматически получать информацию о людях: имя, профессию и адрес.

Facebook View, приложение, которое поставляется в комплекте с умными очками и подчеркивает ответственность пользователей за соблюдение законодательства о конфиденциальности является явно недостаточной мерой.
engadget.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

🌟 От LLM к VLM: как обучали новый Нейро.

🟢Яндекс добавил в Нейро новую мультимодальную нейросеть VLM для улучшения поиска по картинкам. Теперь пользователи смогут не только узнать, что изображено на картинке, но и задать вопрос по каждой её детали.

🟢В своей статье на Хабре ML-разработчик Яндекса Роман Исаченко подробно рассказывает об обучении и внедрении VLM и сравнивает пайплайн для предыдущей LLM-версии Нейро с новой. Старая версия использовала отдельные LLM для рефразирования и генерации, в то время как новая интегрирует VLM-рефразер и VLM-captioner.

🟢Яндекс рассматривает VLM как новую стадию развития компьютерного зрения. Модель способна решать множество стандартных задач «из коробки», а с небольшим дообучением достигает state-of-the-art качества в различных сценариях.

🟡VLM в Нейро

@ai_machinelearning_big_data

#AI #ML #LLM

Читать полностью…