18194
Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw
⚡️ LongVILA: Масштабирование моделей визуального языка с большим контекстом для создания длинных видеороликов
abs: https://arxiv.org/abs/2408.10188
код: https://github.com/NVlabs/VILA/blob/main/LongVILA.md
В новых статьях от NVIDIA предлагается мультимодальный параллелизм последовательностей (MM-SP), первая реализация параллелизма последовательностей с открытым исходным кодом, поддерживающая обучение и логический вывод многомодальных языковых моделей с длинным контекстом.
@machinelearning_ru
⚡️ Llama-3.1 Minitron 4B Width Base: Компактная LLM на основе Llama 3.1 от NVIDIA.
Llama-3.1-Minitron-4B-Width-Base - это базовая текстовая модель, которая может быть адаптирована для различных задач генерации естественного языка.
Она получена путем обрезки (pruning) Llama-3.1-8B за счет сокращения размера эмбеддинга, количества attention heads и промежуточной размерности MLP.
После было выполнено продолженное обучение с дистилляцией, используя набор данных размером 94 миллиарда токенов.
Корпус обучения (набор данных) модели Llama-3.1-Minitron-4B-Width-Base включает английские и многоязычные тексты, код и другие письменные материалы.
Источники данных охватывают различные области: право, математика, наука, финансы. Для улучшения производительности режима "чата", в процессе обучения были добавлены данные в формате вопрос-ответ.
Дата актуальности корпуса обучения - июнь 2023 года.
При создании были использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:
🟢embedding size - 3072;
🟢attention heads - 32;
🟢MLP intermediate dimension - 9216;
🟢number of layers - 32;
🟢input context - 8000.
⚠️ На момент публикации, поддержка Llama-3.1-Minitron-4B-Width-Base в Hugging Face Transformers находится на рассмотрении.
Для использования модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05
Есть неофициальные квантованные GGUF - версии модели в семи разрядностях, от 2-bit (1. 84Gb) до 16-bit (9.03 Gb).
📌Лицензирование : NVIDIA Open Model License.
🟡Модель
🟡Набор GGUF
🟡Arxiv
@ai_machinelearning_big_data
#AI #NVIDIA #LLM #ML #Minitron
🔥 Создание изображения с высоким разрешением 16к, с использованием модели Flux-Dev + промыты для обучения Controlnet.
Датасет: https://huggingface.co/datasets/kadirnar/fluxdev_controlnet_16k
Датасет промптов: https://huggingface.co/datasets/gokaygokay/prompt-enhancer-dataset
@machinelearning_ru
Новый пакет на Python, который превращает "Рецепт обучения нейронных сетей" от Андрея Карпати.
в простой в использовании код! 🔧
Больше не нужно беспорядочно копаться в вашем PyTorch DNN для его отладки.
Вы можете просто поставить себе этот пакет: pip intall neural_net_checklist
и использовать пакет torch_diagnostic для проверки кода на наличие ошибок.
📌 Github
@machinelearning_ru
Представляем FLUX. LoRa - Explorer 🧭✨
FLUX "LoRA the Explorer" — эта нейросеть, может похвастаться одним из самых точных пониманий промпта и отличается исключительной работой с текстом.
▶️ https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer
@machinelearning_ru
🔥 Выпущен Keras 3.5.0
- Добавлена интеграция с Hugging Face Hub.
Теперь можно сохранять модели на Hugging Face Hub напрямую через keras.Model.save(), а также загружать .keras модели с Hub с помощью keras.saving.load_model().
- Обеспечена совместимость с NumPy 2.0.
- Добавлены новые методы и операции.
- Исправлены ошибки и улучшена производительность.
📌Github
@machinelearning_ru
Сейчас много говорят про машинное обучение, и у каждого свое видение. Мои друзья из VK сделали классный канал, где команды, занимающиеся ML, делятся своим опытом. Каждый месяц там появляются новые посты о сервисах, продуктах, процессах создания моделей, и даже атмосфере внутри команд. Всё по-настоящему и без прикрас!
Вот что мне особенно запомнилось:
- Про современные подходы к кластеризации текста с помощью больших языковых моделей
- Про создание персонального эмбеддинга пользователя
Если вам тоже интересно машинное обучение, обязательно загляните в канал. #ML #машиннообучение #подписывайся
Как сократить расходы на инференс LLM? Кейс компании “Актион”
22 августа, 16:00
Selectel проводет вебинар, на котором расскажет, как команда «Актион» сократила расходы на GPU на 60% и увеличила пропускную способность в 36 раз благодаря решению Compressa на инфраструктуре Selectel.
Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.
Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться можно по ссылке: https://slc.tl/xkpd9
Реклама АО «Селектел». ИНН: 7810962785
Erid: 2VtzquuKHNc
🌟Qwen2-Audio: Общайтесь с LLM помощью голоса.
Qwen2-Audio - аудио-языковых модель, которая способна принимать аудио и текст на вход и генерировать текст на выходе.
Предусмотрено два режима взаимодействия:
🟠голосовой чат: пользователи могут использовать голос для передачи инструкций модели без без ввода текста;
🟠аудио-анализ: пользователи могут предоставлять аудиоинформацию (включая речь, звук, музыку) и текстовые инструкции для анализа.
Обе опубликованные модели поддерживают 8 языков и диалектов: китайский, английский, кантонский, французский, итальянский, испанский, немецкий и японский:
🟢Qwen2-Audio-7B
🟢Qwen2-Audio-7B-Instruct
Инференс на transformers в cli возможен в нескольких режимах:
🟠простой инференс модели Qwen2-Audio;
🟠пакетный инференс (например, несколько текстовых запросов к аудиофайлу);
🟠инференс анализа аудио (в этом режиме доступны и текстовые и аудио-инструкции);
🟠инференс голосового чата.
▶️Локальный запуск с GradioUI:
# Ensure you have latest Hugging face transformers
pip install git+https://github.com/huggingface/transformers
# to build a web UI demoinstall the following packages
pip install -r requirements_web_demo.txt
# run Gradio web UI
python demo/web_demo_audio.py
⚡️ Минимальный и быстрый пример генерации текста с помощью Llama 3.1 в MLX.
Минимум: 1 файл, ~200 строк простого кода, 3 зависимости
Скорость: более 100 токенов в секунду с 4-битным 8B на M2 Ultra
Код: https://gist.github.com/awni/cf42588b8c084c3d93d7373b604c7f9c
@machinelearning_ru
🔥 Если вам нужен рабочий пример скрипта для измерения перформанса вашего железа, это отличный вариант.
Этот скрипт поддерживает:
- NVIDIA: V100, A100, H100, ...
- AMD: MI 250, MI300X, ...
- Intel Gaudi2+
https://github.com/stas00/ml-engineering/blob/master/compute/accelerator/benchmarks/mamf-finder.py
@machinelearning_ru
Это репозиторий для Llama 3.1 - то же самое, что nanoGPT для GPT-2. то есть это минимальная реализация архитектуры Llama 3.1 без зависимостей, и ее можно очень просто обучать, настраивать и выводить. Это можно сравнить с официальным выпуском кода от Metal и реализацией huggingface, которые содержат более сложные зависимости и намного больше кода (например, fair).
В настоящее время код основан на базовой модели 8B в Llama 3.1.
WIP., активно разрабатываемый, не готовый к прайм-тайму.
https://github.com/karpathy/nano-llama31/tree/master
@machinelearning_ru
Sora: Инновационный фреймворк для генерации звука на основе текстовых описаний
Представляем Sora, новаторский фреймворк для генерации звуковых файлов на основе текстовых описаний. Sora использует передовые алгоритмы машинного обучения для преобразования текстовых запросов в реалистичные звуки и аудиофрагменты.
Основные особенности Sora:
Интерпретация текстовых описаний: Sora анализирует текстовые описания и преобразует их в звуковые файлы, что открывает новые возможности для создания аудиоконтента.
Высокое качество звука: Фреймворк обеспечивает высокое качество и реалистичность генерируемых звуков, что делает его идеальным для использования в различных приложениях, от игр до медиапроектов.
Гибкость и настройка: Sora позволяет настраивать параметры генерации звука для достижения нужного результата, предоставляя полный контроль над процессом.
Пример использования Sora:
from sora import SoundGenerator
# Создание экземпляра генератора звука
generator = SoundGenerator()
# Генерация звука на основе текстового описания
sound = generator.generate("шум дождя на фоне городских улиц")
# Сохранение сгенерированного звука
sound.save("rainy_city.mp3")
OpenAI’s New AI: Being Smart Is Overrated!
https://www.youtube.com/watch?v=qt-B2cg0pCM
@machinelearning_ru
Осталось меньше месяца до окончания приёма научных статей по искусственному интеллекту и машинному обучению для публикации в журнале конференции AI Journey. Приз за самую выдающуюся работу — 1 миллион рублей.
Лучшие статьи будут опубликованы в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления», а также в его англоязычной версии Doklady Mathematics. Научное издание является частью международной конференции AI Journey и доступно на мировых электронных библиотечных платформах.
Подавать заявки можно до 20 августа. Тексты должны быть оформлены в соответствии с Правилами отбора, написаны на русском или английском языках и содержать оригинальные, ранее не опубликованные данные. Выбирать победителя будет специальная экспертная комиссия.
Пользуйтесь последней возможностью: принимайте участие в конкурсе на лучшую статью. Ознакомьтесь с Правилами и отправьте свою работу по ссылке.
⚡️ TurboEdit: Instant text-based image editing
Инверсионная сеть основана на входном изображении и восстановленном изображении с предыдущего этапа, что позволяет корректировать следующую реконструкцию в соответствии с входным изображением.
huggingface.co/papers/2408.08332
@machinelearning_ru
🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search.
DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4.
"V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями.
Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором.
Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки.
В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств.
В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем.
Набор DeepSeek-Prover:
🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы;
🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии.
🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением.
▶️Установка и запуск:
# Clone the repository:
git clone --recurse-submodules git@github.com:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5
# Install dependencies:
pip install -r requirements.txt
# Build Mathlib4:
cd mathlib4
lake build
# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results
⭐️ Модель VAR+CLIP для генерации изображений
модель, которая позволяет создавать детализированные изображения, которые точно соответствуют текстовому промнут, комбинируя методы визуальной авторегрессии с CLIP!
Обучена на очень большом дотаяете данных изображения-текст.
📌 Github
@machinelearning_ru
🌟 NVIDIA Kaolin — библиотека PyTorch для ускорения работы с 3D
pip install kaolin==0.16.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-{TORCH_VERSION}_cu{CUDA_VERSION}.html
🎉 Встречаемся на ML Party 20 августа!
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning (ICML), которая прошла в июле в Вене.
Поделимся самыми актуальными новостями и трендами направлений: CV, NLP, RecSys и RL.
📎 ML Party пройдёт 20 августа в Москве в офлайн- и онлайн-формате. Зарегистрироваться можно здесь.
Реклама. ООО "Яндекс", ИНН 7736207543.
🍏🍎🍒 FruitNeRF: CV система поиска и подсчета фруктов на основе нейронного поля Radiance Field
Использует NeRFs для подсчета фруктов любого типа в 3D пространстве.
Код является расширением Nerf studio!
Статья: https://arxiv.org/abs/2408.06190
Проект: https://meyerls.github.io/fruit_nerf/
Код: https://github.com/meyerls/FruitNeRF
@machinelearning_ru
🌟Parler-TTS: качественный синтез речи по тексту на английском языке.
Parler-TTS - это модели текст-в-речь (TTS), способные генерировать качественную, естественно звучащую речь в заданном стиле (пол, тон, тип речи и т. д.).
Все датасеты обучения, предварительная обработка, код обучения и веса выпускаются публично, что даст возможность сообществу строить на нашей работе и разрабатывать свои собственные модифицированные модели TTS. Обе модели обучались на 45 тысячах часов англоязычных аудиокниг.
Parler-TTS - это авторегрессионная модель, основанная на трансформерах, которая генерирует аудиотокены в причинно-следственном порядке. Код для инференса Parler-TTS оптимизирован для быстрой генерации благодаря совместимости с SDPA и Flash Attention 2.
Архитектура Parler-TTS состоит из трех частей: текстовый кодировщик (Flan-T5), декодер и аудиокодек DAC. Текстовый кодировщик преобразует текст в скрытые состояния, декодер генерирует аудиотокены на основе этих состояний, а аудиокодек восстанавливает аудиосигнал из аудиотокенов.
Модели:
🟢Parler-TTS Mini - 880 миллионов параметров
🟢Parler-TTS Large - 2,3 миллиарда параметров
Характеристиками речи (пол, темп речи, высота тона и реверберация) можно управлять непосредственно через текстовый промпт. Например:
🟠Добавьте промпт "very clear audio" для создания аудио высокого качества, а "very noisy audio" - для высокого уровня фонового шума;
🟠Пунктуация может использоваться для управления просодией генерации - используйте запятые, чтобы добавить небольшие паузы в речь.
▶️Установка и запуск:
# Clone repository and install dependences:
pip install git+https://github.com/huggingface/parler-tts.git
# Inference with random voice
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")
prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)y
🖼 Живые портреты🔥
LivePortrait: Эффективная анимация портретов с возможностью сшивания и управления ретаргетингом
🧬code: https://github.com/KwaiVGI/LivePortrait
🍇runpod serverless: https://github.com/camenduru/live-portrait-i2v-tost
🍇runpod template: https://github.com/camenduru/liveportrait-runpod
🍊jupyter: https://github.com/camenduru/LivePortrait-jupyter
@machinelearning_ru
⚡️ Снижение цен на API за последние 30 дней для лучших SOTA LLM
@machinelearning_ru
Новостной дайджест
✔️Jimeng AI: сервис от ByteDance для генерации видео запущен на матрикового Китае.
ByteDance запустила сервис для генерации видео на основе искусственного интеллекта под названием Jimeng AI, намереваясь конкурировать с Sora от OpenAI и аналогичными продуктами .
Разработанное Faceu Technology, которая является частью бизнеса ByteDance Jianying, известного по приложению CapCut, Jimeng AI доступно в Apple App Store для китайских пользователей.
Программное обеспечение позволяет пользователям создавать видео и изображения на основе текстовых подсказок. Jimeng AI предлагает планы подписки, начинающиеся от 69 юаней в месяц (примерно 10 USD). О планах вывода сервиса на международный рынок сведений нет.
news18.com
✔️LG представляет первую в Южной Корее AI-модель с открытым исходным кодом.
LG AI Research представила Exaone 3.0, LLM третьего поколения этой серии.
Exaone 3.0 достигла высших мировых рейтингов в бенчмарках реальных сценариев использования, кодированию и математике, превзойдя Llama 3.1 от Meta и Gemma 2 от Google.
Модель двуязычна, способна понимать как корейский, так и английский языки и обучена на более чем 60 миллионах параметрах из различных специализированных областей. LG AI Research планирует расширить это до более чем 100 миллионов параметров концу 2024 года.
Облегченная версия Exaone 3.0 выпускается как модель с открытым исходным кодом для поддержки исследований и разработок в экосистеме искусственного интеллекта. LG также планирует интегрировать Exaone 3.0 в свои продукты и услуги и изучает возможности глобального партнерства для расширения его применения в реальных отраслях.
asianews.network
✔️Mistral AI запустила файнтюн моделей, раннюю версию Agents и SDK для разработки приложений генеративного ИИ.
Файнтюн моделей Mistral Large 2 и Codestral (base prompting, few-shot prompting, обучение на своих датасетах) добавлен в платформе La Plateforme.
Альфа-версия «Агентов» позволяют создавать роли и рабочие процессы с помощью простых инструкций и примеров для использования в Le Chat или через API.
SDK MistralAi 1.0, поддерживает Python и Typescript.
Все новинки Mistal доступны только пользователям с платной подпиской в интерфейсе La Plateforme на сайте Mistral.
mistral.ai
@ai_machinelearning_big_data
#news #ai #ml
⚽️ Гайд по созданию CV системы по отслеживанию мяча
https://blog.roboflow.com/tracking-ball-sports-computer-vision/
@machinelearning_ru
OpenAI’s DALL-E 3-Like AI For Free, Forever!
https://www.youtube.com/watch?v=-7crpGKEA2g
@machinelearning_ru
🚨Tora: Ориентированный на траекторию диффузионный преобразователь для генерации видео
В этой статье представлен Tora, первый ориентированный на траекторию DiT-фреймворк, который одновременно объединяет текстовые, визуальные и траекторийные условия для генерации видео
🌟𝐏𝐫𝐨𝐣: http://ali-videoai.github.io/tora_video/
🚀𝐀𝐛𝐬: http://arxiv.org/abs/2407.21705
@machinelearning_ru
🧠 Подробный гайд, о том, как использовать SAM 2 для сегментации видео
https://blog.roboflow.com/sam-2-video-segmentation/
@machinelearning_ru
Wow, World-Class AI For Free, For Everyone!
https://www.youtube.com/watch?v=gBXBRffpAew
@machinelearning_ru