Machinelearning

14 декабря 2024 08:15

✔️ OpenAI представила функцию «Проекты» для ChatGPT.

OpenAI анонсировала новую функцию «Проекты» для своего чат-бота ChatGPT. Эта функция позволит пользователям группировать чаты и данные, упрощая использование ChatGPT для конкретных задач.

Пользователи смогут объединять в проекты пользовательские данные, разговоры, GPT и простые чаты. Каждый чат в проекте будет иметь доступ ко всей информации внутри него. OpenAI продемонстрировала "Проекты" на седьмом по счету стриме цикла анонсов "12 Days of OpenAI"
openai.com

✔️ Anthropic разработала платформу для анализа использования больших языковых моделей.

Anthropic создала платформу Clio для изучения особенностей применения больших языковых моделей в реальных условиях. Clio использует LLM для анализа миллионов диалогов, выявляя общие закономерности использования без нарушения конфиденциальности пользователей. Платформа группирует диалоги по схожести, создаёт обобщённые описания тем и определяет возможные нарушения правил использования. В отличие от традиционных методов, Clio не предполагает просмотра диалогов людьми.

Anthropic применяет Clio для повышения безопасности Claude. Clio помогает выявлять скоординированные злоупотребления и отслеживать неизвестные угрозы, особенно в важные периоды запуска новых функций. Компания планирует сделать Clio доступной для общественности с целью формирования культуры прозрачности в сфере ИИ.
anthropic.com

✔️ NVIDIA QUEEN: алгоритм потоковой передачи видео с произвольной точкой обзора.

QUEEN (QUantized Efficient ENcoding) - это новый алгоритм, разработанный NVIDIA для эффективного кодирования и потоковой передачи видео с произвольной точкой обзора. QUEEN использует динамические гауссианы для представления сцены, что позволяет достичь высокого качества изображения при минимальном размере модели.

Алгоритм способен сократить размер модели до 0,7 МБ на кадр, обеспечивая при этом быстрое обучение (менее 5 секунд) и высокую скорость рендеринга (около 350 кадров в секунду). QUEEN основан на квантовании и разрежении атрибутов гауссиан и использует адаптивную маскирующую технику для разделения статического и динамического контента.
research.nvidia.com

✔️ Microsoft представила новую модель Phi-4.

Новая языковая модель Phi-4 от Microsoft Research демонстрирует производительность, сравнимую с гораздо более крупными моделями, используя всего 14 миллиардов параметров. Phi-4 превосходит свою обучающую модель, GPT-4, в ответах на вопросы по науке и технике и демонстрирует особую эффективность в математике: 56,1% правильных ответов на вопросы университетского уровня и 80,4% на задачи из математических олимпиад.

Phi-4 уже доступна в рамках ограниченного превью на платформе Azure AI Foundry для исследовательских целей. В открытый доступ Phi-4 будет опубликована на следующей неделе.
techcommunity.microsoft.com

✔️ Cadbury борется с искусственным интеллектом, засоряя обучающие данные бессмыслицей.

Индийский филиал кондитерской компании Cadbury начал рекламную кампанию под названием «Сделаем ИИ посредственным снова», целью которой является замедлить развитие искусственного интеллекта путем внесения искажений в обучающие данные.

Компания создала «первую в мире серверную ферму», генерирующую тысячи синтетических веб-сайтов, заполненных бессмысленным текстом. Цель состоит в том, чтобы «загрязнить» данные, которые модели искусственного интеллекта собирают из Интернета, вызывая ошибки, требующие постоянного вмешательства человека.
techspot.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

13 декабря 2024 07:15

✔️ OpenAI расширяет возможности голосового режима ChatGPT.

OpenAI представила обновленный голосовой режим ChatGPT, который теперь поддерживает функции демонстрации экрана и распознавания изображений. Благодаря этому ChatGPT может анализировать контекст происходящего на экране смартфона или компьютера и давать более точные инструкции. Русский язык - поддерживается.

Обновленный голосовой режим уже доступен в мобильных приложениях для пользователей Team, а также для большинства подписчиков Pro и Plus. В ближайшее время функция станет доступна для европейских пользователей Pro и Plus, а в начале следующего года - для пользователей Enterprise и Edu.
openai.com

✔️ Midjourney представила Patchwork, инструмент для создания миров.

Patchwork – это бесконечное полотно, поддерживаемое искусственным интеллектом, которое позволяет создавать миры как персонально, так и совместно. С помощью этого инструмента можно развить расплывчатые идеи в полноценные истории, а также создавать необычные визуальные новеллы из изображений и текста.

В будущем Midjourney планирует сделать персонажей, миры и другие материалы, созданные в Patchwork, совместимыми с другими приложениями для сторителлинга. Это позволит, например, оживить персонажей в интерактивных сеттингах и редактировать текст истории с помощью новых интерфейсов для творческого письма.
updates.midjourney.com

✔️ Fujitsu представила 144-ядерный процессор Monaka для центров обработки данных.

Fujitsu представила прототип своего нового процессора Monaka, разработанного на архитектуре Armv9 и предназначенного для использования в центрах обработки данных. Процессор включает 144 ядра, распределенных по четырем 36-ядерным чиплетам, изготовленным по 2-нм техпроцессу TSMC.

Чиплеты расположены поверх SRAM-плиток, произведенных по 5-нм техпроцессу, и соединены с ними с помощью гибридной медной связи. Monaka также оснащен контроллером памяти DDR5, интерфейсом PCIe 6.0 с CXL 3.0 для подключения ускорителей. Ожидается, что Monaka будет доступен в 2027 финансовом году.
tomshardware.com

✔️ Ученые предлагают создать виртуальные клетки тканей человека с помощью ИИ.

Группа исследователей из Стэнфордского университета, Genentech и Chan-Zuckerberg Initiative считают, что современные достижения в области ИИ и большие массивы экспериментальных данных о биологии человека открывают беспрецедентные возможности для моделирования живых клеток.

Виртуальная клетка сможет воспроизводить поведение молекул, клеток, а в будущем - тканей и органов человека. Такая модель позволит глубже понять принципы работы здоровых клеток и выявить причины заболеваний. По мнению авторов, успешная виртуальная клетка должна обладать универсальностью, предсказывать функции и поведение клеток, а также позволять проводить эксперименты "in silico" для проверки гипотез.
news.stanford.edu

✔️ Гарвардский университет и Google выпустят базу данных из 1 млн. книг для обучения ИИ.

База данных включает различные жанры, языки и авторов, включая Диккенса, Данте и Шекспира, которые больше не защищены авторским правом в силу своего возраста. Набор книг создан на основе многолетнего проекта сканирования книг Google Books, и Google будет участвовать в ее распространении.

База данных предназначена для того, чтобы "создать равные условия" доступа к массиву данных всем - от исследовательских лабораторий до стартапов в области ИИ, - кто хочет обучать свои LLM. В настоящее время база данных находится на стадии доработки и в скором времени будет доступна для широкого использования.
institutionaldatainitiative.org

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 декабря 2024 16:01

В сфере развития AI-технологий должна быть сформирована коллективная ответственность

Об этом заявил в ходе выступления на конференции AI Journey Хаммам Риза, президент Ассоциации промышленных исследований в области искусственного интеллекта в Индонезии (KORIKA).

«Искусственный интеллект должен развиваться ответственно. Нужно обеспечить коллективную ответственность, сформулировать цели инноваций и постоянно адаптировать наши решения. Я призываю всех в рамках сотрудничества стран БРИКС сформировать будущее развития искусственного интеллекта. Вместе мы можем достигнуть цели — когда искусственный интеллект служит человеку с уважением к этнокультурному разнообразию и нашему наследию», — объяснил свою позицию Риза.

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

12 декабря 2024 07:15

✔️ Google открыла доступ к Gemini 2.0 Flash.

Gemini 2.0 Flash демонстрирует двукратное увеличение скорости по сравнению с предыдущей версией 1.5 Pro и обладает улучшенными характеристиками в обработке текста, кода, видео и пространственных данных. Модель также поддерживает новые функции: мультимодальный вывод (текст, аудио и изображения) и встроенное использование Google Search.
Разработчики могут получить доступ к Gemini 2.0 Flash через API в Google AI Studio и Vertex AI. Обновленная версия Gemini также предоставляет возможность создавать приложения с использованием потоковой передачи аудио и видео в режиме реального времени.
developers.googleblog.com

✔️ Apple разрабатывает собственный ИИ-чип.

Apple в сотрудничестве с Broadcom разрабатывает собственный серверный чип, оптимизированный для задач искусственного интеллекта. Чип под кодовым названием Baltra, планируется запустить в массовое производство к 2026 году, а для его производства Apple намерена использовать передовой техпроцесс TSMC с обозначением N3P.
theinformation.com

✔️ Microsoft запускает Copilot Vision.

Microsoft запускает предварительную версию Copilot Vision, инструмента, который позволяет пользователям взаимодействовать с веб-страницами с помощью ИИ. Copilot Vision доступен в браузере Microsoft Edge, сканирует и анализирует содержимое веб-страницы, предоставляя расширенную информацию и помогая в принятии решений.

Например, Copilot Vision может помочь спланировать посещение музея, выделив информацию о выставках и экспонатах или упростить онлайн-шопинг, подбирая товары в соответствии с заданными критериями.

Copilot Vision активируется только с разрешения пользователя, а данные сеанса удаляются после его завершения. Предварительная версия Copilot Vision доступна ограниченному числу подписчиков Copilot Pro в США и будет работать только с определенным набором веб-сайтов.
microsoft.com

✔️ Hugging Face и Entalpic представляют LeMaterial: открытую инициативу для исследований в области материаловедения.

Первым этапом проекта стал выпуск набора данных LeMat-Bulk, который объединяет, очищает и стандартизирует данные из авторитетных источников: Materials Project, Alexandria и OQMD. В результате сформирован единый формат данных, включающий 6,7 млн. записей и 7 свойств материалов.

LeMat-Bulk содержит древовидную карту элементного состава, расширяющую охват существующих наборов данных, которые фокусируются на конкретных типах материалов. LeMat-Bulk предоставляет пользователям инструменты для изучения и визуализации. В последующих версиях LeMaterial планируется добавление новых наборов данных, инструментов и приложений.
huggingface.co

✔️ Google тестирует "универсального агента" ИИ.

Google DeepMind расширяет программу тестирования Project Astra и Project Mariner, которые входят в прототип "универсального агента" ИИ.

Astra - виртуальный помощник, способный обрабатывать текст, изображения, видео и аудио в режиме реального времени и отвечать на вопросы, касающиеся этих данных. Он "запоминает" предыдущие взаимодействия и может ссылаться на них. Project Mariner - ИИ, способный управлять браузером пользователя и выполнять задачи с помощью расширения Chrome.

В настоящее время оба проекта находятся на ранней стадии разработки и доступны ограниченному числу тестировщиков. Astra интегрируется в продукты Google: Search, Lens и Maps. Пока неизвестно, когда эти системы станут доступны широкой публике.
theverge.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

11 декабря 2024 18:00

Завершился Yandex Cup 2024 — финал международного чемпионата по программированию прошел в Ташкенте.

Подобные соревнования компания проводит с 2011 года. Главные изменения в этом году — рекордный призовой фонд в размере 16 млн рублей и разделение участников на три стрима. Среди треков: опытные специалисты, юниоры от 14 до 18 лет и сотрудники Яндекса, которые сражались за титул чемпиона компании.

Победу одержали разработчики из России, Беларуси, Японии, США, Великобритании и Португалии. Отдельное внимание компания уделила поддержке ML-направления: количество участников-финалистов увеличилось с 6 до 22, а к изначальной сумме призового фонда добавилось 3,5 млн рублей. Вполне действенный способ замотивировать молодых ребят в сфере.

Главной фишкой соревнования стала тематика, вдохновленная культурой и бытом древних цивилизаций. Все задачи чемпионата были посвящены древним изобретениям и историческим личностям: например, на этапе квалификации с помощью кода нужно было настроить систему разгрузки драккаров в порту викингов.

Для офлайн-финала также создали отдельное пространство, посвященное трудам Аль-Хорезми — основателя алгебры, который проживал на территории современного Узбекистана.

Machinelearning

11 декабря 2024 10:35

🌟 Лучшие открытые LLM на русском языке в мире

“Т-Технологии”(в состав входит Т-Банк) представили свои большие языковые модели T-Pro и обновленную T-Lite на платформе Hugging Face:

🟠32 млрд. параметров — у T-Pro;
🟢7 млрд. параметров – у T-Lite.

Им удалось обогнать все открытые модели в мире по качеству ответов на русском языке в своих категориях, в том числе проприетарные — T-Pro уступает лишь GPT4-o. Это показали разные бенчмарки, в том числе ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.

⚠️Модели создаются с использованием технологии продолженного предобучения (Continual Pretraining). Это значит, что уже обученную на больших объемах информации модель достаточно дообучить под конкретные задачи. Также модели T-Lite и T-Pro основаны на базе моделей семейства Qwen-2.5, но показывают более высокое качество на задачах русского языка, чем оригинальные модели.

@ai_machinelearning_big_data

#AI #ML #LLM #EXAONE #LG

Machinelearning

11 декабря 2024 08:00

Подводим итоги года с лидерами СУБД Pangolin на ламповом онлайн-митапе

Pangolin – СУБД для высоконагруженных систем от СберТеха. Если вы выбираете СУБД для миграции с иностранных решений, то этот митап для вас. Регистрация уже открыта.

17 декабря в 11:00 на открытом вебинаре лидеры продукта расскажут:

• О крупных обновлениях в продукте. В частности, о доработках, которые позволили мигрировать на Pangolin самой высоконагруженной системе Сбера.
• О том, как команда продукта переоформила сертификат ФСТЭК России
• Об обновлениях Platform V Kintsugi – графической платформы для мониторинга и диагностики СУБД
• О разработке инструмента для резервного копирования и восстановления данных

Приходите, задавайте вопросы и оставляйте заявку на получение тестового дистрибутива.

Регистрация

Machinelearning

10 декабря 2024 18:01

🌟 DeepSeek-V2.5-1210: файнтюн базовой DeepSeek-V2.5.

Файнтюн модели DeepSeek-V2.5 с 236 млрд. параметров с улучшенными показателями в математических вычислениях, программировании, генерации текста и рассуждении. В модели также оптимизированы функции загрузки файлов и обобщения веб-страниц.

Точность решения задач с DeepSeek-V2.5-1210 на LiveCodebench выросла с 29,2% до 34,38% относительно родительской DeepSeek-V2.5, в математических тестах MATH-500 с 74.8% до 82.8%.

DeepSeek-V2.5-1210 поддерживает function calling и использует обновленный шаблон чата для расширения возможностей модели.

⚠️ Чтобы использовать модель в инференсе с BF16 требуется 8 GPU c 80 GB VRAM каждый.


▶️Пример инференса DeepSeek-V2.5-1210 на Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2.5-1210"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` should be set based on your devices
max_memory = {i: "75GB" for i in range(8)}
# `device_map` cannot be set to `auto`
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "Write a piece of quicksort code in C++"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

Machinelearning

10 декабря 2024 15:01

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

Machinelearning

10 декабря 2024 10:00

📌Интерактивное руководство по Prompt Engineering для Ollama.

Репозиторий на Github c набором ipynb-туториалов по Prompt Engineering для освоения методов создания оптимальных промптов для модели Qwen2.5-14B.

Руководство разделено на 9 глав с практическими упражнениями и приложением с "продвинутыми" методами. В каждой главе есть "Example Playground" для экспериментов с примерами и наблюдения за изменениями в инференсе Ollama.

Руководство использует модель Qwen 2.5-14B, но все материалы подходят и для модели Qwen 2.5-7B.

▶️Содержание:

Начальный уровень

🟢Глава 1: Базовая структура промпта.
🟢Глава 2: Ясность и прямота.
🟢Глава 3: Назначение ролей.

Средний уровень

🟢Глава 4: Отделение данных от инструкций.
🟢Глава 5: Форматы данных инференса и речь для Ollama.
🟢Глава 6: Рассуждение (шаг за шагом).
🟢Глава 7: Использование примеров.

Продвинутый уровень

🟠Глава 8: Избегание галлюцинаций.
🟠Глава 9: Создание сложных промптов (примеры использования для реальных задач):

🟢Сложные промпты с нуля - чатбот;
🟢Сложные промпты с нуля по юридическим услугам;
🟢Упражнение: Сложные промпты для финансовых услуг;
🟢Упражнение: Сложные промпты для программирования.

Приложение: За пределами стандартных подсказок

🟠Цепочка промптов.
🟠Использование инструментов.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Tutorial #Ollama

Machinelearning

09 декабря 2024 21:30

✔️ Венчурный фонд a16z представил прогноз ключевых технологических трендов на 2025 год.

Эксперты Andreessen Horowitz ожидают рост спроса на ядерную энергию для обеспечения растущих потребностей центров обработки данных искусственного интеллекта. Появятся новые профессии, требующие навыков в области аппаратного и программного обеспечения, робототехники и автоматизации.

XR-устройства получат развитие как инструменты для разработчиков, создающих приложения для реального мира. В сфере здравоохранения ИИ будет использоваться для демократизации доступа к медицинской информации и решения кадрового кризиса. Ожидается рост популярности периферийного ИИ и создание крупных вычислительных центров для обучения и развертывания моделей ИИ.
a16z.com

✔️ В Китае создан ИИ для написания политически корректных документов.

Китайский интернет-гигант Baidu совместно с партийным приложением Xuexi разработал инструмент на основе искусственного интеллекта, который помогает чиновникам создавать политически корректные документы. Xuexi – это приложение, посвященное жизни и идеям Си Цзиньпина.

Новый инструмент проверяет документы на соответствие идеям Си Цзиньпина и гарантирует, что ссылки на его высказывания взяты из проверенных источников. Инструмент также может использоваться для создания документов с цитированием государственной статистики и политики.
theregister.com

✔️ Бывший сотрудник OpenAI создает стартап в области AI-аудио.

Алексис Конно, один из разработчиков Advanced Voice Mode для ChatGPT, основал стартап WaveForm, который занимается созданием системы AI-аудио, способной улавливать больше нюансов речи, чем существующие технологии. WaveForm, получивший начальное финансирование в размере 40 млн. долл. от Andreessen Horowitz, стремится создать систему, которая пройдет "речевой тест Тьюринга", то есть сможет имитировать человеческую речь настолько точно, что пользователи не смогут отличить ее от живого собеседника. В настоящее время WaveForm, состоящий из 5 сотрудников, находится на стадии разработки своих моделей.
axios.com

✔️ Ultralytics YOLO11 была взломана и содержит криптомайнер.

Ultralytics YOLO11, модель, предназначенная для обнаружения объектов, была скомпрометирована в результате атаки на цепочку поставок. Вредоносный код, внедренный в версии 8.3.41 и 8.3.42, устанавливал криптомайнер на устройства пользователей, скачавших библиотеку с через Python Package Index (PyPI). Ultralytics, используемая в популярных проектах SwarmUI и ComfyUI, загружалась более 260 000 раз за сутки. Вредоносный код запускал майнер XMRig, подключающийся к пулу "connect.consrensys[.]com:8080".

Разработчики Ultralytics удалили скомпрометированные версии и выпустили обновление 8.3.43, устраняющее уязвимость. Расследование показало, что атака, возможно, была осуществлена через два вредоносных запроса на внесение изменений в код от пользователя из Гонконга. В настоящее время проводится полный аудит безопасности для предотвращения подобных инцидентов в будущем.
bleepingcomputer.com

✔️ OpenAI представила Sora: новую модель для создания видеороликов по текстовому описанию.

Компания OpenAI на онлайн-стриме анонсировала запуск Sora – инструмента для создания видео по текстовому запросу. Sora доступна подписчикам ChatGPT Plus и Pro, с ограничениями по региону (недоступна на территории ЕС и Великобритании), количеству генераций и качеству видео. Plus-пользователи смогут создавать до 5 видео в месяц длиной до 5 секунд в разрешении до 720p.

Pro-подписка позволяет сгенерировать до 500 коротких видео длиной до 20 секунд в разрешении до 1080p. Sora предлагает различные инструменты для редактирования и управления процессом создания видео: Storyboard для покадровой режиссуры и функции для добавления начала, концовки и объединения нескольких видео.
openai.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

09 декабря 2024 16:59

🌟 EXAONE 3.5: Набор инструктивных моделей от LG AI.

LG AI Research опубликовала 3 новые инструктивные двуязычные (английский и корейский) модели EXAONE 3.5 с контекстным окном в 32 тыс. токенов:

🟠2.4B – компактная модель для использования на устройствах;,
🟠7.8B – универсальная модель;
🟢32B – высокопроизводительная модель для задач, требующих максимальной эффективности.

Разработчики EXAONE 3.5 улучшили эффективность обучения моделей. На этапе предварительного обучения из наборов данных удалялись дубликаты и личная информация, что позволило повысить качество ответов моделей и оптимизировать использование ресурсов. На этапе постобработки применялись методы SFT и DPO, чтобы улучшить способность моделей понимать инструкции и предпочтения пользователей.

Для повышения надежности оценки производительности EXAONE 3.5 был проведен тщательный процесс деконтаминации. Метод деконтаминации был взят из глобальной модели, а его эффективность оценивалась путем многократного сравнения обучающих данных с тестовыми наборами данных.

К каждой модели, LG AI выпустил квантованные версии в форматах AWQ и GGUF.

⚠️ EXAONE 3.5 - инструктивные модели, поэтому рекомендуется использовать системные промпты, представленные в примере кода инференса.

▶️Пример инференса EXAONE-3.5-7.8B-Instruct на Transformers:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "%Prompt%" 

messages = [
    {"role": "system", "content": "You are EXAONE model from LG AI Research, a helpful assistant."},
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128,
    do_sample=False,
)
print(tokenizer.decode(output[0]))

Machinelearning

09 декабря 2024 14:01

🌟 AQLM․rs: сокращаем расходы на нейросети

Исследователь Яндекса разработал сервис для запуска языковых моделей с 8 млрд параметров на пользовательских девайсах.

Автор написал инференс модели Llama 3.1 8B, работающий в браузере на WebAssembly без использования GPU. Для этого он применил технологию сжатия нейросетей AQLM, которую разработала команда Yandex Research вместе с университетами ISTA и KAUST.

Для примера, скорость ответов нейросети на MacBook Pro M1 составила 1,5 токена в секунду или 3–4 символа.

🟡Статья
🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM

Machinelearning

09 декабря 2024 11:01

Погружаемся в ML вместе на Data Dojo!

Собираемся уже 17 декабря, чтобы послушать три доклада от спикеров из разных сервисов Яндекса:

🔸 Илья Дьяков из команды Автономного транспорта разберёт задачку с Yandex ML Cup. Она связана с симуляторами, которые предсказывают дорожное движение и тестируют ML-модели до того, как они попадут в настоящие автомобили.

🔸 Артемий Вешкин из Яндекс Музыки тоже рассмотрит один из этапов Yandex ML Cup. И расскажет, как разработать решение, которое будет отличать кавер-версии от оригиналов песен.

🔸 Николай Карпачёв из команды Переводчика расскажет, как ребята поучаствовали в соревновании по качеству перевода на WMT24. В главном треке ребята попали в топ-5!

📅 Зарегистрироваться и узнать подробности можно тут.

Ждём вас!

Реклама. ООО "Яндекс", ИНН 7736207543.

Machinelearning

08 декабря 2024 15:15

⚡️ TRELLIS: универсальная модель для генерации 3D-контента от Microsoft.

TRELLIS - модель для создания высококачественных 3D-объектов на основе текстового промпта или изображения с помощью унифицированного представления Structured LATent (SLAT), которое декодирует данные в форматы: Radiance Fields, 3D-гауссианы и полигональные сетки.

SLAT обладает универсальностью, используя комбинацию из разреженной 3D-сетки и плотных визуальных признаков, извлеченных моделью DINOv2 из входного изображения.

TRELLIS использует модифицированные rectified flow transformers, адаптированные для работы с SLAT. Обучение набора моделей TRELLIS, размерами до 2 млрд. параметров, выполнялось на датасете из 500 тыс. разнообразных 3D-объектов.

Пока в открытый доступ опубликована только Image-to-3D версия - TRELLIS-image-large с 1.2 млрд. параметров. Остальные вариации модели для генерации 3D по тексту: TRELLIS-text-base (342М), TRELLIS-text-large (1.1В) и TRELLIS-text-xlarge (2В) и код для их трейна будут представлены позже (сроки не указаны).

⚠️ Для локального запуска TRELLIS-image-large рекомендуется NVIDIA GPU с VRAM 16GB или больше.

▶️Установка и запуск c WebUI (Gradio):

# Clone repo
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS

# Create conda env and install dependencies
. ./setup.sh --new-env --basic  --flash-attn --diffoctreerast --spconv 
--mipgaussian --kaolin --nvdiffrast

# Install web demo via Gradio
. ./setup.sh --demo

# Run WebUI
python app.py

Machinelearning

13 декабря 2024 14:13

⚡️ DeepSeek-VL2: релиз набор VL-MoE моделей нового поколения.

DeepSeek-VL2 - усовершенствованная серия VLM c Mixture-of-Experts (MoE), которая значительно превосходит DeepSeek-VL.
 
Модели семейства ориентированы на задачи визуальных ответов на вопросы, оптического распознавания символов, понимания документов/таблиц/схем и визуального обоснования.

DeepSeek-VL2 включает три основных модуля:

🟠Визуальный энкодер SigLIP-SO400M-384, который использует динамическую стратегию разбиения изображения на фрагменты. Эта стратегия позволяет эффективно обрабатывать изображения высокого разрешения с различными соотношениями сторон.

🟠VL-адаптер, преобразующий визуальные элементы в формат, понятный языковой модели. Адаптер также добавляет специальные маркеры, чтобы обозначить границы строк, фрагментов и миниатюр.

🟠Языковая модель DeepSeek-MoE с механизмом MLA. MLA повышает эффективность обработки информации, сжимая kv-данные в компактный вектор. Это ускоряет обработку информации и увеличивает пропускную способность.

DeepSeek-VL2 обучается в три этапа: на первом этапе обучается MLP-соединитель, который связывает визуальный энкодер с языковой моделью, затем модель обучается на датасете из текста, изображений, аннотаций, QA и данных OCR и, в конце процесса, дообучается с учителем для улучшения ее способности понимать инструкции и вести диалог.
 
Модельная серия состоит из 3 вариантов c контекстом 4096:

🟢DeepSeek-VL2-Tiny (1B активных параметром и 3.4В общих);

🟢DeepSeek-VL2-Small (2.8B активных параметром и 16.1B общих);

🟢DeepSeek-VL2 (4.5B активных параметром и 27.5B общих).

DeepSeek-VL2 была протестирована на задачах DocVQA, ChartQA, InfoVQA, TextVQA, MMBench и показала лучшие результаты по сравнению с другими моделями MoE.

DeepSeek-VL2 эффективно использует архитектуру MoE и превосходит другие модели с аналогичным количеством активных параметров.


📌Лицензирование: DeepSeek License.


🟡Набор моделей
🟡Техотчет
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #DeepSeek

Machinelearning

12 декабря 2024 17:01

🌟 MD4: Маскированная диффузия для дискретных данных.

Маскированная (или абсорбирующая) диффузия - перспективный подход в генеративном моделировании дискретных данных, предлагающий альтернативу авторегрессионным моделям.

MD4 (Masked Discrete Diffusion for Discrete Data) - метод, разработанный в Google DeepMind предлагает упрощенный и обобщенный подход к маскированной диффузии. Структура метода позволяет обучать обобщенные модели маскированной диффузии с гибкими схемами маскировки, зависящими от состояния данных.

В основе MD4 лежит «маскирующий» процесс, превращающий исходные данные в состояние «маски» в случайный момент времени. Обращение этого процесса позволяет синтезировать новые данные, сохраняющие распределение обучающей выборки.

Математически прямой процесс описывается как марковская последовательность дискретных случайных величин, индексируемых временным параметром от 0 до 1.

MD4 продемонстрировал превосходство над диффузионными языковыми моделями по показателю перплексии на наборе данных OpenWebText и значительно обошел существующие дискретные диффузионные модели по качеству пиксельного моделирования изображений, достигая 2,75 бит на измерение для CIFAR-10 и 3,40 бит на измерение для ImageNet 64 × 64.

Эти результаты выше, чем показатели авторегрессионных моделей сопоставимого размера (GPT-2, PixelRNN, Gated PixelCNN, PixelCNN++, PixelSNAIL, Image Transformer, Sparse Transformer).

Несмотря на все преимущества метода, MD4 склонен к переобучению, что снижает его эффективность для задач с нулевой выборкой по сравнению с более простыми моделями.

Прикладная реализация MD4 опубликована в репозитории Google Deepmind, в котором представлена возможность повторить экспериментальное обучение на тексте или изображениях.

⚠️ Batch size зависит от вычислительных ресурсов. Для обучения модели MD4-S с длиной последовательности 1024, 8 GPU A100 могут поддерживать максимальный batch size=128. При запуске на TPU, 8 чипов v5litepod, batch size=32.

▶️Локальная установка и пример обучения на тексте и изображениях:

# Create & activate env
python -m venv md4_venv
source md4_venv/bin/activate

# Install required packages
pip install -r requirements_gpu.txt

# Include a path dir in the Python path
export PYTHONPATH="$PYTHONPATH:~/path/to/md4"

# Prepare openwebtext for training
mkdir data_dir
python prepare_openwebtext_data.py

# Train a MD4-S model over text data
python md4/main.py --config=md4/configs/md4/openwebtext.py --sharded=false --workdir=./expt

# Train a MD4-S model over image data via cifar10
python md4/main.py --config=md4/configs/md4/cifar10.py --sharded=false --workdir=./expt

Machinelearning

12 декабря 2024 14:00

🌟 Torchcodec: библиотека для декодирования видео в PyTorch.

PyTorch представила torchcodec – библиотеку, предназначенную для декодирования видео в тензоры PyTorch. Библиотека разработана для специалистов, работающих с моделями машинного обучения PyTorch, которым требуется обработка видеоданных. Torchcodec обеспечивает декодирование видео в тензоры PyTorch на CPU и GPU CUDA.

Библиотека рассматривает видеофайл как последовательность кадров в Python и поддерживает два метода их извлечения: на основе индекса и на основе времени презентации. Декодированные кадры представляют собой тензоры PyTorch, готовые для подачи в модели машинного обучения.

Torchcodec поддерживает все кодеки, доступные в FFmpeg и может обрабатывать видео как с постоянной, так и с переменной частотой кадров .

Подробная инструкция по установке, использованию классов библиотеки и примеры декодирования доступны в документации Torchcodec.


📌Лицензирование: BSD-3-Clause License.


🟡Статья
🟡Документация
🖥Github


@ai_machinelearning_big_data

#AI #ML #Pytorch #Torchcodec

Machinelearning

11 декабря 2024 19:02

🌟 BioNeMo: фреймворк разработки ИИ-моделей для дизайна лекарств.

NVIDIA BioNeMo2 Framework - это набор инструментов, библиотек и моделей для вычислительного поиска и разработки лекарственный препаратов.

Он ускоряет самые трудоемкие и дорогостоящие этапы создания и адаптации моделей биомолекулярного ИИ, предоставляя оптимизированные модели и инструменты, которые легко интегрируются в вычислительные ресурсы на базе GPU.

Фреймворк позволяет создавать, обучать и настраивать модели, его возможности охватывают различные рабочие нагрузки и терапевтические механизмы: генерация молекул, предсказание структуры белка, белок-лиганд и обучение представлениям.

Помимо кода пайплайнов, скриптов и утилит, BioNeMo2 Framework содержит:

▶️Предобученные модели:

🟢ESM-2 - предварительно обученный двунаправленный энкодер (BERT-подобный) для аминокислотных последовательностей. BioNeMo2 включает в себя чекпоинты с параметрами 650M и 3B;

🟢Geneformer - модель табличного подсчета, которая генерирует плотное представление sc-RNA клетки путем изучения паттернов коэкспрессии в отдельных клетках.


▶️Датасеты:

🟠CELLxGENE - совокупность общедоступных single-cell наборов данных, собранных в CZI (Chan Zuckerberg Initiative) общим объемом в 24 млн. клеток;


🟠UniProt - база данных кластеризованных наборов белковых последовательностей из UniProtKB, созданная на основе транслированных геномных данных.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Framework #NVIDIA

Machinelearning

11 декабря 2024 17:04

📌 Пятидневный интенсивный курс по GenAI от Google и Kaggle.

Google совместно с Kaggle представили пятидневный интенсивный курс по генеративному искусственному интеллекту, который доступен в формате самостоятельного обучения.

Курс, который проходил в прямом эфире с 11 по 15 ноября 2024 года, охватывает базовые технологии и методы генеративного ИИ. Программа включает изучение базовых моделей, инженерии промптов, векторных баз данных и эмбедингов, ИИ-агентов, специализированных моделей для конкретных областей и MLOps для GenAi.

Каждый день курса посвящен определенной теме и включает теоретические материалы, практические задания и возможность взаимодействия с экспертами Google.

Участники изучат развитие LLM, начиная с трансформеров и заканчивая техниками тонкой настройки и ускорения инференса. Познакомятся с методами инженерии промптов для оптимизации взаимодействия с LLM.

В рамках курса будут рассмотрены концепции эмбедингов и векторных баз данных, алгоритмы векторного поиска и научатся создавать ИИ-агентов, понимая их основные компоненты и итеративный процесс разработки.

Курс включает создание и применение специализированных LLM: SecLM и Med-PaLM, с комментариями разработчиков. Участники узнают, как адаптировать практики MLOps для генеративного ИИ и использовать инструменты Vertex AI для базовых моделей и приложений генеративного ИИ.

В рамках практических занятий на платформе Kaggle участники смогут применить полученные знания, создавая системы вопросов и ответов на основе извлечения информации, нейронные сети классификации и агентные системы заказа.

Курс разработан экспертами Google: Анантой Навалгарией, Марком Макдональдом, Пейдж Бейли и другими.

⚠️ Для доступа к коду курса необходимы аккаунты на Kaggle (c верификацией номера телефона), Google Ai Studio (для создания API KEY).


🟡Страница курса
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #GenAI #Course

Machinelearning

11 декабря 2024 10:02

🌟 TGI v3: Новая архитектура ускоренного инференса LLMs.

TGI v3 — новая версия архитектуры для обработки естественного языка, разработанная Hugging Face. TGI v3 демонстрирует значительный прирост производительности, особенно при работе с длинными запросами.

Улучшения v3:

🟢оптимизированные ядра;
🟢эффективная структура кэширования префиксов;
🟢улучшенное управление вычислительными ресурсами.

Flashinfer и flashdecoding — новые ядра быстрой обработки текста. Оптимизированная структура кэширования позволяет быстро находить совпадения даже для очень длинных запросов.

TGI v3 оценивалась в реалистичных сценариях на коротких и длинные запросах. Результаты тестов показали, что TGI v3 обрабатывает в 3 раза больше токенов, чем vLLM, а скорость обработки увеличилась в 13 раз для запросов длиной 200K+ токенов.

Хотя результаты работы TGI v3 впечатляют, следует учитывать некоторые ограничения:

⚠️ Если в среде не хватает места в kv-кэше, это может привести к конфликту. Чтобы избежать этого эффекта, следует установить ограничение --max-total-tokens.

⚠️ В сценариях, где несколько реплик находятся за одним эндпоинтом рекомендуется использовать балансировку нагрузки на зависимые сеансы, чтобы заставить каждого пользователя отправлять свои запросы на одну и ту же реплику.

🔜 Полная статья с описанием TGI v3 доступна на HF.


🖥 GIthub


@ai_machinelearning_big_data

#AI #ML #LLM #HuggingFace #TGI

Machinelearning

11 декабря 2024 07:09

✔️ Проект vLLM присоединился к экосистеме PyTorch.

vLLM, движок для запуска LLM, стал частью экосистемы PyTorch. vLLM обеспечивает высокую пропускную способность и эффективное использование памяти при работе с моделями, содержащими сотни миллиардов параметров. vLLM поддерживает аппаратные платформы NVIDIA, AMD, Google Cloud TPU, Intel и AWS. Установить vLLM теперь можно простой командой: pip install vllm.
pytorch.org

✔️ OpenAI запускает Canvas для совместной работы с ChatGPT.

Canvas предоставляет возможность совместного редактирования текстов и кода в режиме реального времени. Новая функция позволяет пользователям добавлять текст, вносить изменения и давать обратную связь ChatGPT. Интеграция с Python позволяет запускать код непосредственно в Canvas и визуализировать результаты, включая графику. OpenAI также объявила о поддержке Canvas в пользовательских GPT, что позволит расширить их функциональность и адаптировать к конкретным задачам.
openai.com

✔️ MIT разработал инструмент для отслеживания источников информации, используемых ИИ.

Исследователи из МIT создали ContextCite – инструмент, который отслеживает источники информации, применяемые ИИ при создании текста. ContextCite позволяет пользователям проверять достоверность информации, предоставляемой ИИ, выделяя фрагменты текста, на которых основан ответ.

В случае ошибки ContextCite помогает определить источник недостоверных данных и понять логику работы ИИ. Инструмент также способен выявлять «атаки отравления», когда злоумышленники пытаются исказить информацию, вводя ложные данные в источники, используемые ИИ.
news.mit.edu

✔️ DIMON: Нейросетевой оператор для решения дифференциальных уравнений в частных производных на различных геометрических областях.

Ученые из Университета Джонса Хопкинса разработали новый метод машинного обучения DIMON (Diffeomorphic Mapping Operator Learning), который способен эффективно обучаться и решать дифференциальные уравнения в частных производных (PDE) значительно быстрее, чем суперкомпьютеры.

DIMON основан на использовании диффеоморфизмов для преобразования функций, заданных на различных областях, в единую эталонную область. Это позволяет обучить нейросетевой оператор, способный аппроксимировать решение PDE на любой области из семейства диффеоморфных областей. DIMON успешно протестирован на решении уравнения Лапласа и моделировании динамики реакции-диффузии. Он был использован для прогнозирования распространения электрического сигнала в левом желудочке сердца на основе данных 1006 пациентов. DIMON продемонстрировал высокую точность, сократив время прогнозирования с нескольких часов до менее чем одной секунды.
nature.com

✔️ Reddit запускает инструмент поиска с ИИ.

Инструмент автоматически генерирует ответы на запросы пользователей и предоставляет ссылки на релевантные источники информации. Ключевой особенностью Reddit Answers является использование данных, собранных непосредственно с платформы Reddit, что позволяет находить нужную информацию без обращения к внешним поисковым системам.

В настоящее время доступ к Reddit Answers ограничен: им могут воспользоваться только пользователи из США через веб-интерфейс или приложение iOS и только на английском языке. В планах - расширить доступность сервиса для других языков и регионов. На данный момент Reddit Answers находится на стадии тестирования.
redditinc.com

✔️ Swift Ventures создает новый индекс для оценки инвестиций в ИИ.

Индекс использует систему оценки, основанную на анализе инвестиций в исследования ИИ, количество специалистов по ИИ в штате и доходы от операций, связанных с ИИ. Этот подход позволяет определить, какие компании действительно инвестируют в ИИ, а не просто используют модный термин.

Анализ отслеживаемых 90 компаний показал, что только небольшая часть компаний, упомянувших ИИ в своих отчетах, вкладывает значительные средства в развитие этой технологии.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

10 декабря 2024 16:01

🌟 Text-to-Speech в браузере на безе OuteTTS.

Простое приложение React + Vite для запуска OuteTTS с помощью Transformers.js и WebGPU.

Попробовать демо можно на HuggingSpace. При первом запуске модель загружается в кэш браузера, это занимает какое-то время.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/huggingface/transformers.js-examples.git

# Go to project dir
cd transformers.js-examples/text-to-speech-webgpu

# Install the dependencies via npm
npm i

# Run dev server
npm run dev

# Open your browser and go to http://localhost:5173

Machinelearning

10 декабря 2024 12:01

📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL

Machinelearning

10 декабря 2024 09:00

Салют от команды GigaChat! Приглашаем на конференцию по технологиям ИИ

📆 17 декабря, 12:30 (МСК, GMT+3)
📍 Офлайн в Москве. Для посещения в офлайне нужно дождаться приглашения от организаторов.
🌐 Онлайн-трансляция на сайте SberDevices

В программе — 9 докладов о том, как ИИ учится говорить, слышать, фильтровать данные и помогать людям. Спикеры расскажут про создание ИИ-агентов и персонажей, эмбеддинги и навыки моделей. Поделятся способами фильтровать данные и быстро обучать мощные модели.

Вас ждут новости разработки GigaChat и ассистента Салют, а также расскажут про open-source модели.

Участвуйте в дискуссиях с другими участниками и задавайте вопросы спикерам во время докладов. А офлайн-участников ждут афтерпати и стенды с технологиями: можно будет протестировать GigaChain и технологии GigaChat Audio, а также поработать с гипотезами в GigaPlayground.

Для участия нужно зарегистрироваться на сайте.

Больше подробностей — в Telegram-канале конференции.

Реклама. ПАО Сбербанк. ИНН 7707083893

Machinelearning

09 декабря 2024 20:21

В «Золотом Яблоке» можно создавать кастомные подарочные карты с дизайном от YandexART 🎨

«Золотое Яблоко» внедрило Yandex AI Rendering Technology — диффузионную нейросеть, которая создаёт изображения в ответ на текстовые запросы. Теперь она генерирует уникальные подарочные карты по запросам покупателей.
Пока генерация работает на сайте, а в декабре заработает и в приложении. С безопасностью, кстати, всё в порядке: сервис не делает дизайны на спорные темы.

Нейросеть можно использовать и в других сценариях:
генерировать материалы для сайта или брендбука;
придумывать маскотов;
создавать фирменные иконки и логотипы.

Тем, кто собирается решать с помощью нейросетей бизнес‑задачи, рекомендуем попробовать Playground в консоли Yandex Cloud.

Machinelearning

09 декабря 2024 15:30

🌟 EuroLLM: многоязычные модели европейских языков.

EuroLLM - проект, финансируемый ЕС, цель которого создание набора LLM, способных понимать и генерировать текст на всех языках Европейского Союза, а также на некоторых других распространенных не-ЕС языках:

Болгарский, хорватский, чешский, датский, голландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, ирландский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, арабский, каталанский, китайский, галисийский, хинди, японский, корейский, норвежский, русский, турецкий и украинский.

▶️В коллекции представлены модели:

🟢EuroLLM-9B - модель с 9 млрд. параметров, контекстом 4096, обученная на 4 трлн. токенов;

🟢EuroLLM-9B-Instruct - инструктивная версия на основе EuroBlocks, набора данных для настройки инструкций, ориентированного на общее следование инструкциям и машинный перевод;

🟠EuroLLM-1.7B - модель с 1,7 млрд. параметров, контекст - 4096;

🟠EuroLLM-1.7B-Instruct - инструктивная версия на датасете EuroBlocks. Демо


⚠️ Ко всем моделям неофициально выпущены квантованные версии в GGUF-формате, ссылки доступны в карточке модели на HF.


▶️Пример кода инференса EuroLLM-9B на Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-9B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Machinelearning

09 декабря 2024 12:01

🌟 ShowUI-2B: VLM для взаимодействия с графическими интерфейсами.

ShowUI-2B - VLM на базе Qwen2-VL-2B, которая оптимизирована для взаимодействия с GUI. Она обладает глубоким пониманием пользовательских интерфейсов и навигации по ним на веб- и мобильных платформах.

Модель обрабатывает комбинацию визуальных и текстовых данных для создания соответствующих действий GUI. Она интерпретирует скриншоты и текстовые инструкции для определения точек и последовательности взаимодействия.

В качестве входных данных ShowUI-2B может принимать: скриншоты интерфейсов,
текстовые инструкции (или запросы), системные промпты, определяющие области действия и
последовательности действий.

Результат инференса модели: координаты расположения элементов пользовательского интерфейса [x,y], действия (щелчок, ввод, выбор и т.д.), значения для ввода текста и
целевые позиции для взаимодействия.

Для мобильных интерфейсов ShowUI-2B обрабатывает касания, свайпы и ввод текста.

Прикладные сферы применения :

🟢Автоматизированное тестирование интерфейса;
🟢Агенты автоматизации задач;
🟢Интерактивные учебные пособия и системы рекомендаций;
🟢UX\UI-задачи приложений и веб-сайтов.

ShowUI-2B продемонстрировала высокую эффективность в задачах zero-shot grounding (75.1% точности) и навигации по GUI на различных платформах (Web, Mobile, Online).

⚠️ Модель поддерживает интеграцию с Computer Use OOTB, проектом Desktop GUI Agent, который позволяет управлять действиями на PC с помощью LLM, запущенной локально или через API.

▶️Установка и запуск с GradioUI:

# Clone the Repository
git clone https://github.com/showlab/ShowUI.git
cd ShowUI

# Install Dependencies
pip install -r requirements.txt

# Start the GradioUI
python app.py

# Go to local URL:  http://127.0.0.1:7860

Machinelearning

09 декабря 2024 08:10

📎 ML в медицине: дайджест за 1 - 7 декабря 2024 г.


▶️Модели, бенчмарки и датасеты

🔘SOAR: бенчмарк для оценки LLM в задачах аннотации типов клеток.
Тест, который проверяет, насколько хорошо модели могут понимать и анализировать сложные данные о клетках.

🔘Повышение точности диагностики рентгенограмм грудной клетки с помощью анализа направления взгляда врачей.
Система 2-х нейросетей, которая помогает диагностировать заболевания по рентгенограммам грудной клетки и предсказывает, на какие области изображения врачи обращают внимание.

🔘EchoONE: унифицированная модель для сегментации множества плоскостей эхокардиографии.
Модель, которая помогает врачам более точно анализировать снимки сердца, сделанные с помощью ультразвука, даже если снимки сделаны под разными углами.


▶️Фреймворки и методологии

🔘RARE: RAG-ризонинг.
Метод для улучшения способности рассуждать и давать точные ответы, используя комбинацию генерации и поиска информации для обогащения своих знаний.

🔘STORM: cтратегия организации модальностей для классификации редких событий.
Алгоритм, который помогает выбрать лучшие источники информации для решения сложных медицинских задач.

🔘TransFair: прогноз прогрессирования глазных заболеваний.
Модель классификации, которая помогает сделать прогнозы о глазных заболеваниях более справедливыми и точными.

🔘PePR: оценка эффективности моделей с учетом потребления ресурсов.
Показатель, который помогает оценить, насколько эффективно модель использует ресурсы.

🔘Оценка качества рентгенологических заключений с помощью сопоставления клинических данных с изображением.
Метод оценки качества автоматически сгенерированных рентгенологических отчетов, который учитывает точность описания патологических изменений, их локализации и степени выраженности.


▶️Медицинские LLM-приложения

🔘MedChain: LLM-агент и бенчмарк для принятия клинических решений.
Набор данных и система для имитации реальной клинической практики, где каждый случай включает подробную информацию о пациенте и требует активного сбора информации и принятия решений на основе предыдущих шагов.

🔘QG-Summ: автореферирование медицинских записей с самоконтролем, управляемое запросами.
Метод, который помогает создавать краткие и точные отчеты о состоянии пациентов в электронных медкартах, используя запросы, связанные с пациентом, для руководства процессом.

🔘CLINICSUM: генерация медицинских заключений из диалогов врача и пациента.
Фреймворк, который может автоматически создавать медицинские заключения на основе разговоров между врачом и пациентом, используя специальную архитектуру.


▶️Исследования и обзоры

*️⃣Проблемы производительности LLM для здравоохранения с учетом демографической справедливости.
Исследование проблемы демографической предвзятости популярных современных LLM в различных медицинских задачах.

*️⃣Применение эмбединг-моделей для классификации медицинских текстов.
Статья о том, как использовать эмбединги для классификации медицинских текстов без необходимости обучения на медицинских данных.

*️⃣BlockMedCare: блокчейн, ИИ и IoT для здравоохранения будущего.
Концепция системы для безопасного и эффективного управления электронными медицинскими картами, позволяя пациентам, врачам и администраторам взаимодействовать с системой на различных устройствах.


🔜 Читать полный дайджест
🔜Telegraph


@ai_machinelearning_big_data

Machinelearning

07 декабря 2024 13:02

🌟 Fish Speech V1.5: модель преобразования текста в речь и клонирования голоса.

Fish Speech - модель генерации TTS обновилась до версии 1.5. Эта версия обучалась на 1 млн.часов мультиязычных аудиоданных и заняла 2 место в бенчмарке TTS-Arena (как "Anonymous Sparkle").

Заявлена задержка <150 мс с высококачественным мгновенным клонированием голоса.

▶️Языковая структура обучающего корпуса версии 1.5:

🟢Английский (en) >300 тыс. часов
🟢Китайский (zh) >300 тыс. часов
🟢Японский (ja) >100 тыс. часов
🟢Немецкий (de) ~20 тыс. часов
🟢Французский (fr) ~20 тыс. часов
🟢Испанский (es) ~20 тыс. часов
🟢Корейский (ko) ~20 тыс. часов
🟢Арабский (ar) ~20 тыс. часов
🟠Русский (ru) ~20 тыс. часов
🟢Голландский (nl) <10 тыс. часов
🟢Итальянский (it) <10 тыс. часов
🟢Польский (pl) <10 тыс. часов
🟢Португальский (pt) <10 тыс. часов

Fish Speech для локального инференса требует 4Gb GPU и 8 BG GPU для файнтюна. Запуск возможен на MacOS, Linux и Windows в режимах CLI, GUI и WebUI и Docker.

Подробные инструкции по установке, инференсу в различных режимах для каждой платформы, туториал по файнтюну и примеры доступны в документации проекта Fish Speech.

⚠️ Репозиторий на Github еще не обновлен информацией о версии 1.5, а официальное демо от разработчиков поддерживает синтез только на английском, китайском и японском.


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Demo
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTS #FIshSpeech