Machinelearning

20 августа 2024 14:34

🌟 Mixture-of-Agents: метод для улучшения качества LLM

MoA использует несколько LLM для генерации ответов. На выходе получается ответ, который превосходит по качеству все предшествующие.

В рамках способа была создана многослойная структура с несколькими моделями на каждом слое. На вход подавали один вопрос, и каждый слой давал на него ответ. Затем полученные данные передавались на следующий слой, и всё повторялось.

🟡Страница проекта
🟡Разбор метода

@ai_machinelearning_big_data

#AI #LLM

Machinelearning

20 августа 2024 09:18

Нейросеть от Сбера GigaChat умеет не только генерировать текст, но и работать с готовыми материалами.

Она легко сократит объём слов, поможет с переводом на другой язык и перескажет содержание файла. Для этого прикрепите документ в формате txt или pdf и напишите свой запрос. Подсказка 👉 промпт лучше начинать с глаголов.

Эти и другие полезные функции ждут вас здесь.

Machinelearning

19 августа 2024 17:10

🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев.

Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke

Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.

В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.

Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.

⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.

Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.

Проект написан на TypeScript. Необходимые условия перед установкой:

🟠Git LFS;
🟠Bun;
🟠NVM;
🟢Версия Node - 20.15.1.

▶️Установка и запуск:

# Install the dependencies:
# --include=optional to make 
# sure deps are installed
bun i

# build the app:
npm run build

# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile

cd packages/app
bun run electron:start

# You can also build Clapper:
cd packages/app
bun run electron:make

Machinelearning

19 августа 2024 09:07

⚡️ Llama-3.1 Minitron 4B Width Base: Компактная LLM на основе Llama 3.1 от NVIDIA.

Llama-3.1-Minitron-4B-Width-Base - это базовая текстовая модель, которая может быть адаптирована для различных задач генерации естественного языка.
Она получена путем обрезки (pruning) Llama-3.1-8B за счет сокращения размера эмбеддинга, количества attention heads и промежуточной размерности MLP.
После было выполнено продолженное обучение с дистилляцией, используя набор данных размером 94 миллиарда токенов.

Корпус обучения (набор данных) модели Llama-3.1-Minitron-4B-Width-Base включает английские и многоязычные тексты, код и другие письменные материалы.
Источники данных охватывают различные области: право, математика, наука, финансы. Для улучшения производительности режима "чата", в процессе обучения были добавлены данные в формате вопрос-ответ.
Дата актуальности корпуса обучения - июнь 2023 года.

При создании были использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:

🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢number of layers - 32;
🟢input context - 8000.

⚠️ На момент публикации, поддержка Llama-3.1-Minitron-4B-Width-Base в Hugging Face Transformers находится на рассмотрении.
Для использования модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05

Есть неофициальные квантованные GGUF - версии модели в семи разрядностях, от 2-bit (1. 84Gb) до 16-bit (9.03 Gb).


📌Лицензирование : NVIDIA Open Model License.


🟡Модель
🟡Набор GGUF
🟡Arxiv


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Minitron

Machinelearning

17 августа 2024 18:33

🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search.

DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4.
"V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями.

Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором.

Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки.

В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств.

В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем.

Набор DeepSeek-Prover:

🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы;
🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии.
🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением.

▶️Установка и запуск:

# Clone the repository:
git clone --recurse-submodules git@github.com:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5

# Install dependencies:
pip install -r requirements.txt

# Build Mathlib4:
cd mathlib4
lake build

# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results

Machinelearning

17 августа 2024 13:04

🌟 MedTrinity-25M: Огромный датасет снимков для медтеха.

Med Trinity-25M - крупномасштабный мультимодальный набор данных для медицины из более 25 миллионов изображений в 10 модальностях, с подробными аннотациями для более чем 65 заболеваний.
Аннотации содержат:
🟠тип заболевания;
🟠классификация патологии;
🟠описания для регионов и межрегиональные связи.
🟠подробные локальные аннотации для областей интереса (ROI), включая ограничивающие рамки и маски сегментации.

MedTrinity-25M подходит для мультимодальных задач: создание медицинских описаний патологий и новообразований, отчетов, задач классификации и сегментации. Этот набор данных может быть использован для подготовки медицинских моделей искусственного интеллекта.

Модели:

🟢LLaVA-Med++ (VQA-RAD). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора VQA-RAD), доработка на VQA-RAD;
🟢LLaVA-Med++ (SLAKE). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора SLAKE), доработка на SLAKE;
🟢LLaVA-Med++ (PathVQA). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора PathVQA), доработка на PathVQA;
🟢LLaVA-Med-Captioner. Captioner для создания мультигранулярных аннотаций.

▶️Установка, запуск обучения и оценка на этом датасете:

# Clone repository
git clone https://github.com/UCSC-VLAA/MedTrinity-25M.git

# Install Package
conda create -n llava-med++ python=3.10 -y
conda activate llava-med++
pip install --upgrade pip  # enable PEP 660 support
pip install -e .

# Install cases FOR TRAIN
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install git+https://github.com/bfshi/scaling_on_scales.git
pip install multimedeval

# Pre-train 1 stage
cd MedTrinity-25M
bash ./scripts/med/llava3_med_stage1.sh

# Pre-train 2 stage
bash ./scripts/med/llava3_med_stage2.sh

# Finetune
cd MedTrinity-25M
bash ./scripts/med/llava3_med_finetune.sh
 
# Eval
cd MedTrinity-25M
bash ./scripts/med/llava3_med_eval_batch_vqa_rad.shs

Machinelearning

17 августа 2024 10:23

⚡️ Новостной дайджест

✔️Google открывает доступ к Imagen 3 для всех американских пользователей.

Google сделала модель ИИ для генерации изображений Imagen 3 доступной для всех пользователей США через платформу ImageFX. Расширение доступа произошло вслед за ограниченным релизом для пользователей Vertex AI в июне.
Imagen 3 основана на модели диффузии, способной генерировать высококачественные изображения по текстовым запросам.
Получившие доступ пользователи выражают недовольство строгими фильтрами контента, которые блокируют даже безобидные запросы.
venturebeat.com

✔️Исследование техник и методов слияния моделей ИИ.

Слияние моделей - это экономически эффективный метод машинного обучения, не требующий сбора исходных данных и больших вычислительных затрат. В связи с его растущим использованием в различных отраслях необходимо сформировать понимание методов слияния моделей.
Исследование содержит всесторонний анализ методов слияния моделей, их теоретических основ, применения в больших языковых моделях, мультимодальных системах и более чем десяти подобластях машинного обучения, таких как непрерывное обучение и многозадачное обучение.
arxiv.org

✔️Medscape запустила поиск на основе ИИ для врачей.

Функция AI Search, доступная в мобильном приложении Medscape, обеспечивает мгновенные ответы на медицинские запросы через интерфейс чата. Сервис бесплатен и направлен на повышение эффективности и точности поиска медицинской информации.
AI Search использует собственный контент, регулярно обновляемый медицинскими экспертами, что гарантирует надежность информации. Функция была протестирована и подтверждена сотнями врачей, предлагая краткие ответы с прямыми ссылками на источники.
prnewswire.com

✔️Критические уязвимости обнаружены в инструментах с открытым исходным кодом, используемых в AI-проектах.

В отчете компании Protect AI Inc. говорится об уязвимостях, которые были обнаружены в рамках программы охоты на ошибки 'huntr'.
Отчет содержит 20 уязвимостей, среди которых выделяются проблемы в инструментах Setuptools, Lunary и Netaddr.
Уязвимость в Setuptools позволяет злоумышленникам выполнять произвольный код на системе через специально подготовленные URL пакетов.
Lunary имеет уязвимость обхода авторизации, позволяющую удаленным пользователям сохранять доступ к организационным шаблонам.
В Netaddr обнаружена уязвимость серверного подделывания запросов, которая может обойти защиту и предоставить доступ к внутренним сетям. Все уязвимости были переданы разработчикам за 45 дней до публикации.
siliconangle.com

✔️Geekbench выпустил приложение для оценки LLM.

Primate Labs выпустила приложение Geekbench AI 1.0, предназначенное для оценки производительности ИИ. Приложение доступно для Android, Linux, MacOS и Windows и применяет принципы Geekbench к задачам машинного и глубокого обучения. Это обновление является преемником Geekbench ML, который был анонсирован в 2021 году и на данный момент находится на версии 0.6.
Изменение названия связано с тем, что в последние годы компании начали активно использовать термин "AI" в своих маркетинговых материалах. Primate Labs подчеркивает, что обновление поможет лучше понять функциональность и цели этого бенчмарка.
techcrunch.com

✔️Машинное необучение: научить ИИ забывать - это крайне важно.

Концепция машинного "забывания" (machine unlearning) важна для искусственного интеллекта. Оно позволяет моделям ИИ удалять определенные данные из своей памяти без ухудшения производительности. Это становится особенно актуальным в свете растущих требований к конфиденциальности и безопасности данных, а также в контексте юридических обязательств.
Модели машинного обучения часто не могут просто "забыть" информацию, что создает проблемы, когда данные устаревают или содержат ошибки. Вместо того чтобы переобучать модель с нуля, что является неэффективным, машинное забывание является единственным выходом. С развитием этой области и стандартизацией метрик оценки, внедрение машинного забывания станет более управляемым процессом для бизнеса, работающего с большими объемами данных.
thenewstack.io

Machinelearning

16 августа 2024 12:06

Как нейросети трансформируют бизнес: кейс Ultima Guide Яндекс Еды.

Нейросети стремительно входят в мир бизнеса, преобразуя способы, которыми компании взаимодействуют с клиентами и оптимизируют свои процессы.

Один из наиболее ярких примеров успешного применения этой технологии — проект Ultima Guide Яндекс Еда.
Этот проект наглядно демонстрирует, как искусственный интеллект может помочь в создании продукта.

Основной задачей Ultima Guide Яндекс Еда было создание объективного и независимого ресторанного гида.

Для реализации этой идеи Яндекс выявил характеристики, по которым люди определяют хорошие рестораны и обучил на них собственную ML модель. Эти признаки она использовала, когда самостоятельно анализировала заведения в городе. Более 100 признаков учитывала нейросеть при анализе заведений в городе. В результате – составленный лонг-лист ресторанов. Далее проводилось голосование пользователей и экспертов индустрии, а итог подводила независимая консалтинговая компания.

Что особенно впечатляет в этом проекте — это полная автоматизация анализа. Благодаря нейросети, удалось оценить 36 тысяч ресторанов (на примере Москвы), из которых в итоговый гид вошли только 50 лучших. Этот подход гарантировал максимальную точность и объективность.

Еще одно свидетельство того, что внедрение передовых технологий может помочь бизнесу в создании продукта.

Machinelearning

15 августа 2024 13:17

🌟 Palmyra-Med и Palmyra-Fin: специализированные модели с 70B параметров.

Writer представил две специализированные языковые модели:

🟢Palmyra-Med-70B-32K

🟠Palmyra-Fin-70B-32K

Palmyra-Med-70B-32K — LLM, специально разработанная для сектора здравоохранения, достигающая в тестах по Clinical KG, Medical Genetics и PubMedQA среднего балла 85,87% по биомедицинским показателям, что выше чем у GPT-4 и Med-PaLM-2.
Модель предназначена для некоммерческих и исследовательских целей на английском языке: для поддержки принятия клинических решений, фармнадзора и медицинских исследований.

*️⃣Авторы не рекомендуют применение модели для непосредственного ухода за пациентами или принятия клинических решений без человеческого контроля.

Palmyra-Fin-70B-32K предназначена для финансовой отрасли, решения различных финансовых задач и аналитических выводов.
Модель предназначена для финансового анализа и исследований на английском языке: прогнозирование рыночных тенденций, оценка рисков, составление финансовых отчетов с высокой точностью и для ответов на сложные вопросы из длинных финансовых документов.

*️⃣Подобно Palmyra-Med, авторы не рекомендуют использовать модель как единственный источник информации при принятии финансовых решений, а обратиться за профессиональной финансовой консультацией.

Обе модели доступны для локального инференса через Transformers, по API в сервисах Writer, напрямую в endpoints или используя Python SDK и NodeJS SDK Writers
Стоимость API за 1М токенов:  Input - $5.00, Output - $12.00

⚠️ Все модели, созданные Writer.com, содержат водяные знаки для обнаружения и предотвращения неправомерного и незаконного использования.


📌Лицензирование : Writer open model



🟡Страница проекта
🟡Набор моделей на HF
🟡Dev-документация


@ai_machinelearning_big_data

#AI #LLM #ML #Writer

Machinelearning

15 августа 2024 08:30

🔥 Прикладная независимая конференция по data science

Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров.

➡️ Среди тем конференции:
- Работа со звуком
- Компьютерное зрение и генерация изображений
- Обработка естественного языка
- Рекомендательные системы и поиск
- Умные механизмы
- Дискуссии на тему "ML будущего"
- Оптимизация использования железа

➡️ На AiConf 2024 вас ждут:
-Более 700 участников
- Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова
- Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора 
- Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук
— Неформальное общение на afterparty 

❗️Кстати, ребята в своем телеграм-канале (/channel/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать.

До встречи на AiConf 2024!

Machinelearning

14 августа 2024 14:07

⚡️ CogVideoX: Код и модель Text-to-video генерации.

CogVideoX - обновление модели генерации текста в видео CogVideo, выпущенной в мае 2022 года.
Обновление до CogVideoX :

🟠переход на библиотеку diffusers версии 0.30.0, что позволяет выполнять инференс на одном GPU NVIDIA 24Gb;
🟠использование в модели 3D Causal VAE, который позволяет выполнять реконструкцию видео практически без потерь.

CogVideoX-2B: первая модель в серии CogVideoX, разработанная для генерации видео.
Для запуска требуется 18GB VRAM GPU (с использованием SAT) для инференса на одном графическом процессоре и 40GB для дообучения и файнтюна.
Модель поддерживает генерацию видео с разрешением 720x480, длительностью 6 секунд и частотой 8 кадров в секунду, с максимальной длиной текстового промпта в 226 токенов.

CogVideoX-5B: более плотная модель на 5B, доступна только для коммерческих целей по API.
При регистрации дают 25 млн токенов попробовать, но возможность регистрации по некитайским номерам сотовых операторов неизвестна.
Технические параметры CogVideoX-5B не публиковались.

CogVideoX обучалась на наборе данных из 35 миллионов видеоклипов, каждый из которых длительностью около шести секунд. Данные для обучения прошли фильтрацию на низкое качество.

CogVideoX использует 3D causal VAE для сжатия видеоданных как в пространственном, так и во временном отношении, тем самым сокращая длину последовательности по сравнению с традиционными методами.
Это помогает поддерживать непрерывность между кадрами, минимизируя мерцание в сгенерированных видео.

Модель объединяет Expert Transformer с адаптивным LayerNorm для синхронизации согласования между видео и текстовыми вхождениями.
Такая конструкция позволяет комплексно моделировать временные и пространственные измерения с использованием 3D full focus, оптимизируя обработку интенсивных движений в генерации.
Выделенный captioning pipeline для видео генерирует точные текстовые описания для кадров, улучшая семантическое понимание модели.

Эмпирические результаты тестов показывают, что CogVideoX превосходит существующие общедоступные модели в машинных и в человеческих оценках.

▶️Локальный запуск доступен в нескольких вариантах:

🟢с использованием SAT (SwissArmyTransformers) весов и адаптированного кода. Подробная инструкция доступна тут;
🟢с использованием Diffusers в режимах : СLi-инференса, GradioUI и Streamlit web app.

Перед запуском разработчики советуют сконвертировать текстовой промпт в формат, понятный CogVideoX-2B, так как она обучалась на длинных LLM-образных промптах, выполнив скрипт convert_demo.py.
По умолчанию, CogVideoX использует LLM GLM4, но его также можно заменить любой другой LLM, например GPT, Gemini и т.д.
Этот шаг не является обязательным, модель будет работать без ошибок, но более детальный промпт даст лучшие результаты генерации видео.

▶️Установка и запуск:

# Clone repository & install requirements:
git clone https://github.com/THUDM/CogVideo.git
pip install -r requirements.txt
cd inference

# For Linux and Windows run GradioUI
python gradio_web_demo.py

# For macOS with Apple Silicon use this (maybe 20x slower than RTX 4090)
PYTORCH_ENABLE_MPS_FALLBACK=1 python gradio_web_demo.py

📌Лицензирование :

🟢Код: Apache 2.0 License.

🟠Модель : CogVideoX License (бесплатно для академических целей, регистрация и получение базовой лицензии - для коммерческой эксплуатации до 1млн. в мес. активных посещений. Свыше 1 млн. в мес. - получение дополнительной лицензии).


🟡Arxiv
🟡Demo
🟡Сообщество в Discord
🟡Модель для Diffusers
🟡VAE для SAT
🟡Модель для SAT
🖥Github [ Stars: 5.5K | Issues: 19 | Forks: 495]


@ai_machinelearning_big_data

#AI #VLM #ML #Text2Video #CogVideoX

Machinelearning

13 августа 2024 15:33

🌟 EXAONE-3.0-7.8B-Instruct: языковая модель с открытым исходным кодом c 7,8B параметров от LG,

EXAONE-3.0-7.8B-Instruct (EXpert AI for EveryONE) основана на архитектуре Transformers, с длиной контекста в 4096 токенов. Модель использует Rotary Position Embeddings (RoPE) и Grouped Query Attention (GQA), имеет 32 слоя и размер словаря в 102 400 токенов.
Поддержка английского и корейского языков реализована с помощью специального токенизатора BBPE (byte-level byte-pair encoding), который дает низкое сжатие для корейского языка по сравнению с существующими аналогами.

Процесс обучения строился на двухэтапном режиме.
Первый этап состоял из обучения на 6 триллионах токенов для накопления общих знаний , а затем на дополнительных 2 триллионах токенов, ориентированных на более высокие языковые навыки и экспертные знания.
Для улучшения способности следовать инструкциям была применена постобработка: контролируемая тонкая настройка и оптимизация прямых предпочтений.

В реальных сценариях использования EXAONE 3.0 7,8B продемонстрировала высокие результаты в тесте MT-Bench, который коррелирует с оценками в LMSYS Chatbot Arena. Модель показала точность в математических и code задачах, заняв первое место в большинстве проведенных тестов.

▶️Локальный запуск:

Рекомендованная версия transformers>=4.41.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct")

# Choose your prompt
prompt = "Explain who you are"  # English example
prompt = "너의 소원을 말해봐"   # Korean example

messages = [
    {"role": "system", "content": "You are EXAONE model from LG AI Research, a helpful assistant."},
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128
)
print(tokenizer.decode(output[0]))

Machinelearning

13 августа 2024 08:57

⚡️Falcon Mamba: англоязычная языковая модель на архитектуре Mamba.

Falcon Mamba - модель от Technology Innovation Institute (TII, Dubai, UAE), основанная на архитектуре Mamba, которая может обрабатывать последовательности произвольной длины без увеличения памяти хранения.
Модель была обучена на ~5500GT данных RefinedWeb, качественных технических данных и экземпляров кода на разных языках программирования из открытых источников.

Архитектура модели построена на оригинальной Mamba с добавлением дополнительных слоев нормализации RMS.
Такая комбинация придает модели возможность обрабатывать последовательности любой длины без необходимости увеличения потребления памяти, вмещаясь, по сути, на одну А10 24 GB.
Falcon Mamba доступна в экосистеме Hugging Face и совместима с большинством API Hugging Face. Модель также поддерживает функцию квантование bitsandbytes, для обеспечения возможности запуска модели на небольших GPU и CPU.

Коллекция моделей FalconMamba 7B:

🟢falcon-mamba-7b
🟢falcon-mamba-7b-instruct
🟠falcon-mamba-7b-4bit
🟠falcon-mamba-7b-instruct-4bit


📌Лицензирование : TII Falcon-Mamba License 2.0


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Demo


@ai_machinelearning_big_data

#AI #Falcon #ML #LLM #Mamba

Machinelearning

12 августа 2024 11:03

Какие BI-системы внедряют топ-компании после ухода зарубежных решений?

К2Тех Data Lab, центр компетенций по управлению большими данными, совместно с Digital Leader, НОРБИТ, Arenadata и Kept провели исследование текущего состояния рынка BI-решений.

По данным исследования, крупные компании все еще используют BI-решения ушедших вендоров, но доля внедрений отечественных решений с 2021 г. по первый квартал 2024 г. резко возросла — с 9% до 68%.

Команда провела 29 интервью с представителями топ-600 компаний промышленности, ритейла и финтеха. Исследование раскрывает, нуждается ли российский бизнес в зарубежных решениях, какие проблемы возникают при переходе на отечественные BI-системы и какие ожидания у крупных компаний от развития таких систем. 

Ознакомиться с исследованием можно по ссылке.

Реклама. Рекламодатель АО "К2 Интеграция"

Реклама. АО "К2 ИНТЕГРАЦИЯ". ИНН 7701829110.

Machinelearning

11 августа 2024 13:04

🌟SALSA: Стабильная адаптация линейного поиска Armijo.

SALSA (Stable Armijo Line Search Adaptation) — метод, разработанный для оптимизации Learning Rate (LR) во время обучения.
Основная концепция метода построена вокруг выполнения линейного поиска для определения наилучшего возможного LR для каждого шага обучения, что дает быструю сходимость и улучшенное обобщение.

Чтобы уменьшить вычислительную нагрузку, Salsa предлагает пошаговый миниатюрный линейный поиск. В нем LR постепенно увеличивается с каждым шагом, а критерий линейного поиска постоянно переоценивается.
Дополнительно, Salsa включает экспоненциальное сглаживание в процесс линейного поиска и устанавливает два экспоненциальных скользящих средних для скорости обучения. Это помогает стабилизировать оптимизацию и уменьшить нестабильность от мини-пакетирования.

Экспериментальные результаты показывают, что Salsa превосходит другие методы оптимизации: 50% сокращение final loss и 1,25 average rank в языковых и графических задачах.
Вычислительные издержки Salsa всего на 3% выше, чем у базового LR метода, что можно воспринимать как незначительным увеличением, учитывая показатели производительности. Salsa достаточно универсален, чтобы использоваться с различными оптимизаторами, и особенно эффективен при обучении современных архитектур, которые чувствительны к скорости обучения.

▶️Локальный запуск:

# Clone repository:
git clone https://github.com/TheMody/No-learning-rates-needed-Introducing-SALSA-Stable-Armijo-Line-Search-Adaptation.git

# Create & activate env:
conda env create -f environment.yml
conda activate sls3

# Install dependencies:
pip install pytorch numpy transformers datasets tensorflow-datasets wandb

# NOTE: custom optimizer is in \salsa\SaLSA.py,comparison version are in \salsa\adam_sls.py:
from salsa.SaLSA import SaLSA
self.optimizer = SaLSA(model.parameters())

# NOTE: typical pytorch forward pass needs to be changed to:
def closure(backwards = False):
    y_pred = model(x)
    loss = criterion(y_pred, y)
    if backwards: loss.backward()
    return loss
optimizer.zero_grad()
loss = optimizer.step(closure = closure)

Machinelearning

20 августа 2024 11:02

🌟 mPLUG-Owl3: MMLM, которая может проанализировать 2 часа видео за 4 секунды.

Alibaba Group выпустила mPLUG-Owl3, общую мультимодальную модель на базе Qwen2, ориентированную на понимание нескольких изображений и длинных видео. По словам разработчиков, модель может проанализировать 2-часовой фильм всего за 4 секунды.
mPLUG-Owl3 сокращает время ожидания первого токена в 6 раз и увеличивает возможность обработки изображений, обрабатываемых одним GPU A100 до 400 штук в секунду.

Архитектура mPLUG-Owl3 состоит из визуального кодировщика, линейного проекционного слоя и декодера языковой модели.
Ключевая особенность mPLUG-Owl3 - блоки Hyper Attention Transformer (HATB), которые включают перекрестное внимание между визуальными и текстовыми признаками, благодаря чему модель адаптивно выбирает и извлекает релевантную визуальную информацию на основе текстовой семантики.

Технические характеристики модели:

🟢Number of parameters - 8B;
🟢Context size - 4096 (SFT, Video, Multi-image);
🟢Number of Layers - 40;
🟢Visual Encoder - Siglip-400m;
🟢High-Resolution Image Processing - UReader.


▶️Установка и запуск GradioUI:

# Clone repository
https://github.com/X-PLUG/mPLUG-Owl.git

# Navigate to OWL3 folder
cd mPLUG-Owl3

# Install the dependencies
pip install -r requirements.txt

# Execute the demo
python gradio_demo.py

Machinelearning

20 августа 2024 08:23

⚡️Awesome FLUX Resources: Все ресурсы по Flux в одном месте.

Экосистема Fluх развивается очень быстро, каждый день появляются новые способы, решения, возможности и инструменты для работы с моделями Fluх онлайн и оффлайн.

Теперь у сообщества FLUX появился обновляемый и упорядоченный Awesome FLUX!


https://awesomeflux.com/


🖥Github [ Stars: 16 | Issues: 0 | Forks: 1]


@ai_machinelearning_big_data

#AI #FLUX #ML #Awesome

Machinelearning

19 августа 2024 15:06

Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн!

Machine learning, проверенный практикой*
* Сгенерировано YandexGPT

Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении.

Ключевые темы конференции:
CV / NLP / Speech / RecSys / MLOps / Data science

В числе спикеров:
– Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи;
– Дмитрий Антипов — Сбер, АБТ, тимлид разработки;
– Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering.

Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров.

Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн.

Реклама. ООО "Яндекс", ИНН 7736207543

Machinelearning

18 августа 2024 13:56

⚡️ Hermes 3: Семейство finetune Llama 3.1 от Nous Research

Новый набор моделей от Nous Research был создан на основе Llama 3.1 8B, 70B и 405B файнтюном датасета из синтетически сгенерированных ответов. Hermes 3 получил производительность Llama 3.1 и расширенные возможности в мышлении и творчестве.

Hermes 3 разблокирован, не подвергается цензуре и обладает высокой степенью управляемости. Он обладает улучшенной функцией долговременного сохранения контекста и возможностью ведения длинного диалога, навыком сложной ролевой игры и внутреннего монолога, а также расширенной функцией вызова агентов.
Модели семейства умеют точно и адаптивно следовать системным промптам и инструкциям.

В Hermes 3 возникают аномальные состояния, которые при правильных вводных и пустых системных подсказках приводят к ролевой игре и потере памяти. Вы можете активировать этот “Режим амнезии” в Hermes 3 405B, введя пустой системный запрос и отправив сообщение "Кто вы?".

Hermes 3 использует ChatML для формата промптов. Формат более сложный, чем alpaca или sharegpt, в нем используются специальные токены для обозначения начала и окончания логического контекста и ролей в этих контекстах.

Набор Hermes 3:

🟠Hermes 3 - Llama-3.1 405B;
🟠Hermes 3 - Llama-3.1 405B FP8 для использования с vLLM;
🟠Hermes 3 - Llama-3.1 70B;
🟠Hermes 3 - Llama-3.1 70B FP8 для использования с vLLM;
🟢Hermes 3 - Llama-3.1 70B GGUF для использования с llama.cpp. Версии квантования от 3-bit (31 Gb) до 5-bit (50 GB);
🟠Hermes 3 - Llama-3.1 8B;
🟢Hermes 3 - Llama-3.1 8B GGUF для использования с llama.cpp. Версии квантования от 4-bit (5 Gb) до 8-bit (9 GB);

📌Лицензирование : Llama 3 Community License


🟡Страница проекта
🟡Сообщество в Discord
🟡Набор моделей
🟡Arxiv
🟡Demo



@ai_machinelearning_big_data

#AI #Hermes3 #LLM #ML

Machinelearning

17 августа 2024 18:04

🌟ReBased: новая архитектура быстрых языковых моделей

Архитектура ReBased – усовершенствованная Based, представленная исследователями из Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения. В лаборатории T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети.

Проведя анализ архитектуры Based, в T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, и упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.

ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач и позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

Эксперименты проводили на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию. Результаты были представлены на ACL 2024.

📝Статья
🖥Github

#AI #LLM

@ai_machinelearning_big_data

Machinelearning

17 августа 2024 10:23

✔️Машины изобретают новую математику, которую мы никогда не видели.

"Машины", используя алгоритмы и методы глубокого обучения, начинают создавать новые математические концепции и теории, которые ранее не существовали. Исследователи наблюдают, что ИИ способен находить решения и формулировать математические идеи, которые могут быть неочевидны для человека.
Одним из примеров является использование нейронных сетей для решения сложных математических задач, таких как теоремы в алгебре или геометрии. Эти машины могут генерировать новые уравнения и предлагать нестандартные подходы к классическим математическим проблемам.
vice.com

✔️Первая публичная платформа продажи и покупки данных для искусственного интеллекта.

David AI - маркетплейс датасетов, созданный для поддержки разработчиков и исследователей в области искусственного интеллекта. Платформа предлагает доступ к высококачественным наборам данных, которые могут быть использованы для обучения моделей ИИ.
Цель проекта - решить проблему доступности данных, которая часто является препятствием для стартапов и исследовательских групп. Сервис позволяет пользователям находить, оценивать и приобретать данные, необходимые для их проектов.
ycombinator.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

16 августа 2024 13:09

🌟 Lean-STaR: Учим чередовать мышление и доказательство в математических теоремах.


Lean-STaR — это фреймворк, который дает ИИ степень PhD по математике. Он учит языковые модели сочетать рассуждения с жесткими математическими доказательствами и переворачивает мир автоматизированного доказательства теорем.

Lean-STaR использует LLM, чтобы излагать мысли на простом английском языке для каждого этапа проверки, основываясь на примерах из Mathlib, которая, по сути, является Ленинкой для Lean доказательств.

Затем эти рассуждения объединяются с соответствующими шагами проверки, создавая прокачанный набор данных, который помогает модели не только предсказать следующий шаг в проверке, но и понять "почему", стоящее за ним.

Но на этом дело не заканчивается. Lean-STaR использует "expert iteration" для совершенствования своих навыков. Она отбирает потенциальные доказательства, и только те, которые проходят проверку, используются для повторного обучения модели. Представьте, что профессиональный спортсмен просматривает видеозапись игры, чтобы улучшить свои выступления - вот это оно.

Почему это важно? Неформальные знания — своего рода интуитивные рассуждения, которые обычно не учитываются при формальном доказательстве. Lean-STaR умеет изучать различные аспекты процесса доказательства, повышая его точность и масштабируемость.

Lean-STaR бьет рекорды в тестировании miniF2F, значительно превосходя другие модели. Это не просто расширяет границы доказательства теорем, это открывает новые возможности для искусственного интеллекта в математике.

Чтобы попробовать локально все прелести Lean-STaR, авторы подготовили для вас 4 модели:

Lean-CoT: Обе версии Lean-CoT генерируют идеи и предсказывают тактику проверки, но “plus” обладает лучшей логикой;

Lean-STaR: более продвинутая версия Lean-CoT, в нее добавлен этап expert iteration, "plus" обладает лучшей логикой, чем "base".

▶️Установка и запуск:

# # Install Python packages:
bash scripts/prepare_env.sh

# Install Lean:
curl https://raw.githubusercontent.com/leanprover/elan/master/elan-init.sh -sSf | sh
source $HOME/.elan/env
lake

# Configure LeanDojo:
export CONTAINER="native"

# Evaluation:
cd gpt-fast
bash scripts_intern/inverse_intern_math_7b.sh
bash scripts_intern/sample_cot_7b.sh

# Finetune:
cd gpt-fast
bash scripts_intern/prepare_intern_math_7b.sh
bash scripts_intern/finetune_7b_intern.sh
bash scripts_intern/finetune_7b_cot.sh
bash scripts_intern/finetune_7b_star.shy

Machinelearning

16 августа 2024 08:51

⚡️ Новостной дайджест:

✔️ MIT тестирует использование LLM для выявления проблем в сложных системах.

В MIT разработали методику SigLLM, которая использует большие языковые модели для обнаружения аномалий в данных временных рядов без необходимости обучения.
SigLLM включает преобразование данных во входы на основе текста, которые LLM обрабатывает для поиска аномалий. Было протестировано два подхода: Prompter и Detector, где последний оказался более эффективным, сопоставив предсказанные значения с реальными. Система перспективна для мониторинга сложных систем, таких как ветряные турбины и спутники, но требует дальнейших улучшений.
news.mit.edu

✔️ В бета-версии Claude доступно кеширование промптов.

Anthropic представила функцию кэширования промптов на API Claude, что позволяет сохранять контекст между вызовами и сокращать затраты на 90% и задержку до 85%. Функция полезна для задач, требующих частого использования одного и того же контекста, таких как чат-боты, ассистенты по программированию, обработка больших документов и многоэтапные операции.
Кэширование доступно в бета-версии для моделей Claude 3.5 Sonnet и Claude 3 Haiku, а поддержка Claude 3 Opus будет добавлена позже. Стоимость кэширования рассчитывается на основе количества и частоты использования токенов.
anthropic.com

✔️Agent Protocol представил ИИ-агент, обучаемый человеком на основе визуальных данных для геймеров.

Agent Protocol представил ИИ-агента как новый класс цифровых активов на блокчейне, позволяющий геймерам обучать, торговать и монетизировать персонализированных игровых агентов, используя децентрализованные вычисления.
Агент был создан на основе видеоматериалов игры профессионального игрока в Counter-Strike. Система поддерживает стандарты AI_NFT (OFT) и предлагает новые инструменты для создания и использования ИИ-агентов в различных играх. Инфраструктура базируется на технологии DePIN, с использованием распределенной сети GPU для обучения.
chainwire.org

✔️ Microsoft и Paige разработали модели Virchow2 и Virchow2G для вычислительной патологии.

Эти модели второго поколения используют данные гистопатологии и основаны на transformers. Virchow2G обучена на аннотациях и данных молекулярного профилирования, ее точность будет полезна в комплексной диагностике.
Virchow2 и Virchow2G предназначены для анализа медицинских изображений, обнаружение аномалий и диагностику рака. Разработка поможет автоматизировать и повысить точность патологических исследований, а также адаптироваться к новым задачам в медицинской диагностике.
microsoft.com

✔️ Даже самые лучшие LLM галлюцинируют.

Исследование, проведенное в Cornell показало, что даже лучшие ИИ-модели, такие как GPT-4 и PaLM 2, страдают от галлюцинаций, т.е. создают ложные или неточные факты.
В тестах модели выдавали неверную информацию примерно в 20% случаев, даже при решении задач, требующих базовых знаний. В техотчете отмечают, что более сложные запросы увеличивают вероятность ошибок. Галлюцинации остаются серьезной проблемой для внедрения ИИ в критически важные области: медицина и право, где точность имеет первостепенное значение.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

15 августа 2024 09:32

⚡️ Новостной дайджест

✔️Gemini Live - голосовой ассистент Google, доступен для пользователей.

Google запустила "Gemini Live" — новую функцию голосового взаимодействия для своей AI модели Gemini, которая конкурирует с продвинутым голосовым режимом ChatGPT. Технически, "Gemini Live" использует улучшенные алгоритмы распознавания речи и синтеза голоса, обеспечивая более естественное и контекстуально осведомленное общение.
techcrunch.com

✔️Microsoft Edge сможет объяснять PDF-документы с помощью ИИ.

Microsoft Edge скоро получит функцию, которая позволит считывать и анализировать PDF-файлы. Эта функция интегрирована с Copilot AI, который сможет обрабатывать текстовые данные, распознавать структуру документов, таблицы и графики, и отвечать на вопросы по содержанию файла.
pcworld.com

✔️Сервис ставок Polymarket стал партнером с Perplexity.

Polymarket объединился с Perplexity AI, чтобы предоставлять краткие сводки новостей на платформе для прогнозирования рынков. Perplexity AI использует алгоритмы обработки естественного языка (NLP) для генерации кратких, но информативных обзоров новостных событий. Эти обзоры интегрируются в интерфейс Polymarket, помогая его пользователям быстро оценивать текущие события и принимать решения на основе актуальной информации.
techcrunch.com

✔️Developers Guide по NIM, платформе для приложений искусственного интеллекта от Nvidia.

NiM интегрирует различные инструменты NVIDIA, такие как TensorRT и Triton, и поддерживает работу с облачными и локальными ресурсами. Платформа облегчает управление жизненным циклом AI-моделей, обеспечивая автоматизацию этапов от разработки до внедрения.
В NIM гибко реализована поддержка распределенной обработки для эффективного использования вычислительных мощностей в процессе обучения и инференса моделей при внедрении их масштабах предприятия.
thenewstack.io

🔥 Anthropic запилили Context Caching!

Функция может кешировать промпты, которые вы регулярнее используете.
Это позволяет значительно в разы уменьшить стоимость запросов ускорить инференс. Использование кэшкэшируемых токенов стоит на 25% больше обычных.
https://www.anthropic.com

✔️Модульный суперкомпьютер для рождения AGI, может быть запущен уже в следующем году

SingularityNET разрабатывает суперкомпьютер для достижения AGI к 2025 году.
Суперкомпьютер планируется построить за счет объединения распределенных вычислительных ресурсы через блокчейн, обеспечивая высокую производительность для сложных AI-задач. Технология состоит из модульной архитектуры, под управлением различных AI-моделей и децентрализованное распределение, чтобы предотвратить монополизацию вычислительных мощностей.
digitaltrends.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

14 августа 2024 19:09

🌟 InternLM2.5-20B-chat и InternLM2.5-1.8B-chat: Расширение семейства языковых моделей InternLM 2.5.

InternLM2.5-20B-chat - базовая модель с 20 миллиардами параметров ориентированная на чат-взаимодействие. Модель обладает математическими возможностями, поддерживает сбор информации с веб-страниц и получила улучшенный навык следования инструкциям.
Модель может быть развернута с помощью Transformers, vLLM и LMDeploy.

Доступна также версии GGUF для запуска в llama.cpp, LMStudio и Ollama с половинной точностью FP16 (39.7GB) и в малоразрядных квантованных вариациях c шагом в 1 bit : от 2-bit (7.55 GB) до 8-bit (21 GB).


InternLM2.5-1.8B-chat - модель с 1.8 миллиардами параметров и точно такой же направленности и возможностями, как и 20B-chat версия.

Для InternLM2.5-1.8B-chat тоже доступны GGUF версии с разрядностью от FP16 (3.78 GB) до до 2-bit (772 Mb), с шагом в 1 bit.


📌Лицензирование :

🟠InternLM2.5-20B-chat: бесплатно. Коммерческое применение требует подачи заявки через форму.
🟢InternLM2.5-1.8B-chat: Apache 2.0 License


🟡Страница проекта
🟡Набор моделей на HF
🟡Сообщество в Discord
🖥Github [ Stars: 6.1K | Issues: 7 | Forks: 431]


@ai_machinelearning_big_data

#AI #LLM #ML #InternLM

Machinelearning

14 августа 2024 08:58

⚡️ Новостной дайджест

✔️OpenAI запускает SWE-bench-verified для стандартизации оценки языковых моделей в программировании.

OpenAI представила SWE-bench-verified — инициативу для стандартизации и улучшения оценки производительности языковых моделей в задачах по программированию. Этот бенчмарк включает тщательно проверенные задания и решения на разных языках программирования. Он обеспечивает объективную и сопоставимую оценку возможностей моделей в области разработки программного обеспечения. SWE-bench-verified способствует более точному анализу и сравнению моделей.
openai.com

✔️ Вышла бета-версия Grok-2

Модель демонстрирует показатели на уровне Claude 3.5 и GPT-4. Уже доступна пользователям X Premium.


✔️Sonova выпустила слуховые аппараты с ИИ, который улучшает звук речи в шумных местах.

Sonova представила Phonak Audéo Sphere - слуховой аппарат с искусственным интеллектом и двухчиповой технологией, которая обеспечивает 53-кратное улучшение понимания речи в шумной обстановке.
Разработанная в течение многих лет платформа решает главную проблему пользователей слуховых аппаратов - разборчивость речи в шуме - с помощью чипа DEEPSONIC с расширенными возможностями DNN.
interestingengineering.com


✔️YouTube тестирует функцию, позволяющую авторам использовать Google Gemini для мозгового штурма идей для видео.

Платформа тестирует новую функцию, которая позволит создателям контента использовать Google Gemini для мозгового штурма идей для видео.
Этот инструмент будет помогать авторам генерировать темы, планы и даже названия для своих видео на основе трендового контента и предпочтений зрителей. Функция станет частью YouTube Studio. Эта инициатива является частью более широкой стратегии Google по улучшению инструментов авторов с использованием генеративного ИИ.
techcrunch.com


✔️Intel собирается поставлять графические процессоры для автомобилей.

Intel планирует поставлять дискретные графические процессоры в автомобильную индустрию, начиная с модели Arc A760A. Этот GPU предназначен для интеграции в автомобильные информационно-развлекательные системы, обеспечивая возможность "АААА" игрового опыта прямо в автомобиле.
Кроме того, Intel развивает свою платформу для обработки и анализа данных в реальном времени в автомобиле, которой необходимы вычислительные ресурсы.
engadget.com


✔️Новая инициатива Linux Foundation направлена на продвижение "необратимых" моделей ИИ с открытым исходным кодом.

Linux Foundation запускает инициативу Open Model Initiative (OMI) для продвижения «безотзывных» открытых AI моделей. Основная цель OMI — создание и поддержка генеративных AI моделей с открытым исходным кодом, которые будут доступны без ограничений, включая лицензии без условий удаления и без повторяющихся платежей.
Инициатива включает разработку стандартов для совместимости моделей, открытых наборов данных для обучения, и создание тестовой модели с альфа-версией. Это движение направлено на развитие этичных и высококачественных AI решений в рамках сообщества разработчиков.
siliconangle.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

13 августа 2024 13:32

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только.

Что вас ждет:
- Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника.
- Получите диплом ТГУ и все студенческие льготы.

Первый год обучения – от 240 рублей в месяц благодаря господдержке.

Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России.

Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python.

Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/oeSR3w

Реклама. ООО «Скилфэктори»
erid: LjN8Jvhff

Machinelearning

12 августа 2024 12:03

⚡️Forge UI FLUX Support: Крупное обновление популярного UI для Stable Diffusion.

Forge — это платформа на базе Stable Diffusion WebUI (Gradio), цель которой - упрощение разработки функций, оптимизация управления ресурсами, ускорения инференса и изучение экспериментальных функций.
Автор и основной разработчик Forge - Lvmin Zhang, создатель проектов : ControlNet, LayerDiffuse, IC-Light, OMOST, Style2Paints, Foocus и др.

Главное в обновлении:
🟢поддержка квантованных в nf4/fp4/fp8 модели FLUX dev;
🟢адаптация BitsandBytes для диффузии;
🟢ускорение инференса для всех GPU, включая low-memory и серии 20ХХ;
🟢улучшенный UI интерфейс с возможностью переключения между архитектурами (SD\SDXL\FLUX)

С обновлением поддерживаются квантованные модели Flux:

🟠flux1-dev-bnb-nf4 - модель в NF4. Рекомендуется для 30XX/40XX серий GPU NVIDIA;
🟠flux1-dev-fp8 - модель в FP8. Рекомендуется для 10XX/20XX серий GPU NVIDIA.

Преимущество NF4 по сравнению с FP8 состоит в том, что FP8 просто преобразует каждый тензор в формат FP8, в то время как NF4 преобразует каждый тензор в комбинацию нескольких тензоров с различными форматами, включая float32, float16, uint8 и int4, для достижения максимально возможного приближения. Таким образом, NF4 значительно быстрее, чем FP8.

Например, для GPU с 6 ГБ/8 ГБ VRAM ускорение составляет от 1,3x до 2,5x (pytorch 2.4, cuda 12.4) и от 1,3x до 4x (pytorch 2.1, cuda 12.1). Эти тесты проводились автором на 3070 ti (8 ГБ VRAM). FP8 - 8,3 секунды на итерацию; NF4 - 2,15 секунды на итерацию.
Так происходит потому, что NF4 использует собственный bnb.matmul_4bit, а не torch.nn.functional.linear: избегаются преобразования типов и вычисления выполняются с помощью множества низкоуровневых операций CUDA.

Чтобы ускорить работу модели FLUX, в Forge добавлен выбор параметров. Если устройство с небольшой видеопамятью, высока вероятность столкнуться с проблемой загрузки модели в видеопамять. Решением является разделение модели на две части: одна часть загружается в видеопамять, а другая - в "swap" локацию - CPU или Shared RAM.

Установив максимальный размера VRAM для модели и метод swap (Queue или ASYNC), можно достичь теоретического предела скорости работы для устройства. Корректная настройка параметров может ускорить работу модели на 30%, но требует внимательного подхода.

▶️Локальная установка:

# Open command prompt and run
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
webui-user.bat
# Put downloaded models from HF into models/StableDiffusion

Machinelearning

12 августа 2024 09:12

🌟Parler-TTS: качественный синтез речи по тексту на английском языке.

Parler-TTS - это модели текст-в-речь (TTS), способные генерировать качественную, естественно звучащую речь в заданном стиле (пол, тон, тип речи и т. д.).
Все датасеты обучения, предварительная обработка, код обучения и веса выпускаются публично, что даст возможность сообществу строить на нашей работе и разрабатывать свои собственные модифицированные модели TTS. Обе модели обучались на 45 тысячах часов англоязычных аудиокниг.

Parler-TTS - это авторегрессионная модель, основанная на трансформерах, которая генерирует аудиотокены в причинно-следственном порядке. Код для инференса Parler-TTS оптимизирован для быстрой генерации благодаря совместимости с SDPA и Flash Attention 2.

Архитектура Parler-TTS состоит из трех частей: текстовый кодировщик (Flan-T5), декодер и аудиокодек DAC. Текстовый кодировщик преобразует текст в скрытые состояния, декодер генерирует аудиотокены на основе этих состояний, а аудиокодек восстанавливает аудиосигнал из аудиотокенов.

Модели:

🟢Parler-TTS Mini - 880 миллионов параметров
🟢Parler-TTS Large - 2,3 миллиарда параметров

Характеристиками речи (пол, темп речи, высота тона и реверберация) можно управлять непосредственно через текстовый промпт. Например:

🟠Добавьте промпт "very clear audio" для создания аудио высокого качества, а "very noisy audio" - для высокого уровня фонового шума;
🟠Пунктуация может использоваться для управления просодией генерации - используйте запятые, чтобы добавить небольшие паузы в речь.


▶️Установка и запуск:

# Clone repository and install dependences:
pip install git+https://github.com/huggingface/parler-tts.git

# Inference with random voice
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)y

Machinelearning

11 августа 2024 10:03

🌟Qwen2-Audio: Общайтесь с LLM помощью голоса.

Qwen2-Audio - аудио-языковых модель, которая способна принимать аудио и текст на вход и генерировать текст на выходе.

Предусмотрено два режима взаимодействия:
🟠голосовой чат: пользователи могут использовать голос для передачи инструкций модели без без ввода текста;
🟠аудио-анализ: пользователи могут предоставлять аудиоинформацию (включая речь, звук, музыку) и текстовые инструкции для анализа.

Обе опубликованные модели поддерживают 8 языков и диалектов: китайский, английский, кантонский, французский, итальянский, испанский, немецкий и японский:

🟢Qwen2-Audio-7B

🟢Qwen2-Audio-7B-Instruct

Инференс на transformers в cli возможен в нескольких режимах:

🟠простой инференс модели Qwen2-Audio;
🟠пакетный инференс (например, несколько текстовых запросов к аудиофайлу);
🟠инференс анализа аудио (в этом режиме доступны и текстовые и аудио-инструкции);
🟠инференс голосового чата.


▶️Локальный запуск с GradioUI:

# Ensure you have latest Hugging face transformers
pip install git+https://github.com/huggingface/transformers

# to build a web UI demoinstall the following packages
pip install -r requirements_web_demo.txt

# run Gradio web UI
python demo/web_demo_audio.py