🌟 EAGLE — метод, позволяющий ускорить генерацию ответов от LLM

Можно ли генерировать ответ от LLM на двух RTX 3060 быстрее, чем на A100 (которая дороже в 16+ раз)?
Да, это возможно с алгоритмом EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency), точность ответов при этом сохраняется.

EAGLE позволяет экстраполировать вектора контекстных признаков второго верхнего слоя LLM, что значительно повышает эффективность генерации.

EAGLE в 2 раза быстрее Lookahead (13B), и в 1.6 раз быстрее, чем Medusa (13B).
И да, EAGLE можно комбинировать с другими методами ускорения, такими как vLLM, DeepSpeed, Mamba, FlashAttention, квантование и аппаратная оптимизация.

🤗 Hugging Face
🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

Deep Learning — суперсила, работающая подобно человеческому мозгу.

Специалисты в этой области разрабатывают нейросети, объединяя анализ данных и программирование. Рекомендации фильмов, переводчики или генерация ответов на вопросы как от Siri - это все их работа.
Deep Learning Инженеров нанимают крупные компании, а начальная зарплата в среднем 120 000 рублей в месяц.

Создавать и обучать такие нейросети вы научитесь в онлайн-школе Data Science KARPOV.COURSES.

Учиться вы будете у практикующих специалистов — поэтому за 4 месяца вы получите все знания и навыки, которые пригодятся в реальной работе. Школа поможет вам с трудоустройством — 89% студентов находят работу в первые 3 месяца благодаря карьерному сопровождению.

Присоединяйтесь к курсу со скидкой 5% по промокоду AIMLBDD: https://clc.to/erid_LjN8KVWmd

Читать полностью…

⚡️ Еще один интересный анонс, Meta LLM Compiler - новое семейство моделей (7B и 13B), на базе Meta Code Llama, для задач оптимизации и генерации кода.

LLVM Compiler - это новая SOTA в области оптимизации кода и дизассемблирования.

Модели доступны под лицензией как для научных исследований, так и для коммерческого использования.

Эти модели могут эмулировать компилятор, прогнозировать оптимальные проходы для создания кода и дизассемблировать код.

▪HF
▪Статья

@ai_machinelearning_big_data

Читать полностью…

🔥В OTUS стартует курс "Machine Learning. Professional", обучение на котором позволит последовательно освоить современные инструменты анализа данных и на профессиональном уровне создавать модели машинного обучения. 

Студенты курса выбирают самостоятельно темы выпускных работ, поэтому все выпускные проекты на курсе–это ценные исследования для ML.  

⚡08 июля в 18.00 мск приглашаем на открытый урок курса "Дерево решений - простой и интерпретируемый ML-алгоритм", на котором мы:

- разберем алгоритм решающего дерева (дерева решений), который широко применяется для решения задач машинного обучения; 

- применим полученные знания на практике для решения задачи классификации.

👉Регистрация https://otus.pw/b6sE/?erid=LjN8KCQW9

Читать полностью…

🌟 Pyramid Attention Broadcast — подход, позволяющий генерировать видео в режиме реального времени

PAB — это первый подход к созданию видео на основе диффузионных трансформеров в реальном времени, обеспечивающий качество без потерь и не требующий обучения.

PAB оптимизирует работу с механизмом внимания, что позволяет достичь 21.6 FPS с 10.6-кратным ускорением для популярных моделей генерации видео на основе DiT, включая Open-Sora, Open-Sora-Plan и Latte.

Поскольку метод PAB не требует дополнительного обучения, он может обеспечить любые будущие модели генерации видео на основе DiT возможностями генерации в режиме реального времени

🟡 Страничка Pyramid Attention Broadcast
🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

🌟 Text-Animator — метод генерации видео с текстом в кадрах

С текстом у генеративных моделей до недавнего времени были большие проблемы, как и с пальцами. Сейчас уже ситуация улучшилась, но только для моделей, создающих изображения.
С генерацией текста в видео всё было ещё печальнее, но буквально вчера Tencent и Huawei выкатили Text-Animator — метод, который позволяет создавать видео с текстом в кадрах.

🟡 Страничка Text-Animator
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🌟 Тонкая настройка VLM модели Florence-2

Andres Marafioti с коллегами немного прокачали Florence-2 на датасете DocVQA, и теперь Florence может давать визуальные ответы на вопросы (VQA)
Блокнот Colab с пошаговой настройкой Florence-2 ниже

🟡 Fine-tuning Florence-2
🟡 Google Colab
🤗 Hugging Face

@ai_machinelearning_big_data

Читать полностью…

🌟 MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией

Буквально только что ребята из Шанхайского университета выкатили MG-LLaVA — MLLM, которая расширяет возможности обработки визуальной информации за счет использования дополнительных компонентов: специальных компонентов, которые отвечают за работу с низким и высоким разрешением.

В MG-LLaVA интегрирован дополнительный визуальный энкодер высокого разрешения для захвата мелких деталей, которые затем объединяются с базовыми визуальными признаками с помощью сети Conv-Gate.

Обученная исключительно на общедоступных мультимодальных данных, MG-LLaVA демонстрирует отличные результаты.

🟡 Страничка MG-LLaVA
🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

🧬 ESM3 - это новая, мощнейшая мультимодальная генеративная языковая модель для биологии.

ESM3 может cмоделировать 500 миллионов лет эволюции для генерации новых белков и молекул.

Модель обучена с использованием более 1x1024 FLOPS и 98B параметров!

Используя модель авторы смоделировали эволюционный процесс и создали новый тип белка GFP (зеленый флуоресцентный белок), отличающийся от всего, что встречается в природе. Это буквально модель для программирования биологии.

▪Почитать подробнее: https://www.evolutionaryscale.ai/blog/esm3-release
▪Статья: https://evolutionaryscale-public.s3.us-east-2.amazonaws.com/research/esm3.pdf

@ai_machinelearning_big_data

Читать полностью…

🌟 SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео

— pip install see2sound

SEE-2-SOUND — новая разработка университета Торонто, передовой метод генерации пространственного звука из изображений, анимации и видео.

Модель состоит из трех основных компонентов: оценка источника звука, генерация звука и пространственная генерация объемного звука.

🟡 Страничка SEE-2-SOUND
🖥 GitHub
🟡 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🗣 MARS 5 TTS: новая модель от компании Camb AI для преобразование текста в речь с открытым исходным кодом! 🔥

> Поддержка более чем 140 языков
> Модели достаточно 5 секундного фрагмента для клонирования голоса и генерации речи
> Архитектура модели с авторегрессией (750M) + без авторегрессии (450M)
> В MARS 5 используется токенизатор BPE для управления знаками препинания, паузами, остановками и т.д.

▪Github: https://github.com/Camb-ai/MARS5-TTS
▪HF: https://huggingface.co/CAMB-AI/MARS5-TTS
▪Colab: https://colab.research.google.com/github/Camb-ai/mars5-tts/blob/master/mars5_demo.ipynb

@ai_machinelearning_big_data

Читать полностью…

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только.

Что вас ждет:
- Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника.
- Получите диплом ТГУ и все студенческие льготы.

Первый год обучения – от 240 рублей в месяц благодаря господдержке.

Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России.

Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python.

Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/0Z6EAg 

Реклама. ООО «Скилфэктори»
erid: LjN8K3Lt5

Читать полностью…

🌟 mental-diffusion — CLI для быстрой работы со Stable Diffusion

git clone https://github.com/nimadez/mental-diffusion
cd mental-diffusion

sudo apt install python3-pip python3-venv
sh install-venv.sh
sh install-bin.sh

Особенности mental-diffusion:
— работает с CPU, с GPU
— SD, SDXL
— можно загружать веса VAE и LoRA
— режимы Txt2Img, Img2Img, Inpaint
— есть пакетная генерация изображений, несколько изображений за один запрос
— поддерживатся чтение/запись метаданных PNG, автоматическое переименование файлов
— есть режим низкого объема VRAM (автоматически при GPU < 4 ГБ)
— легкий CLI, написан всего в 300 строк

Кстати, промпт для 2 изображения, можно затестить: "AI will bring us back to the age of terminals."

🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

🌟 EvTexture — новый метод апскейлинга видео

В методе EvTexture используется отдельный итеративный модуль улучшения текстуры, который позволяет получать информацию о событиях с высоким временным разрешением.
Этот модуль позволяет постепенно в несколько итераций уточнять текстуру заданных областей и повышать их разрешение.

Быстрый старт с Docker:

docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest
cd EvTexture && docker build -t evtexture ./docker
source activate evtexture && cd EvTexture && python setup.py develop

🟡 Страничка EvTexture
🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🌟 Hermes-2-Theta-Llama-3-70B — комбо на основе Hermes 2 Pro и Llama-3 Instruct

Hermes-2 Θ (Theta) 70B — это экспериментальная модель, созданная компанией Nous Research в сотрудничестве с Arcee AI (командой, создавшей MergeKit) на основе Hermes 2 Pro и Llama-3 Instruct.

Судя по метрикам и ответам, модель получилась неплохой

🤗 Hugging Face

@ai_machinelearning_big_data

Читать полностью…

🌟 SPPO — инструмент оптимизации предпочтений языковой моделью.

LLM показывают впечатляющие возможности, однако довольно сложно добиться соблюдения ими этических норм. Эту проблему можно частично решить при помощи обучения с подкреплением на основе человеческой обратной связи (RLHF), или обучения с подкреплением на основе предпочтений (PbRL). Оба метода имеют недостатки, и приводят к заметному снижению показателей моделей.

В этой свежей работе Yue Wu с коллегами предлагает новый способ обеспечения этичности LLM — SPPO (Self-Play Preference Optimization).
Как видно на графиках SPPO не снижает производительность моделей так сильно, как RLHF и PbRL, что позволяет повысить точность ответов, не рискуя допустить неэтичные ответы LLM.

🖥 GitHub
🤗 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи

Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU.
Скоро на GitHub появится скрипт для обучения на GPU.

🟡 Страничка Cambrian-1
🖥 GitHub
🤗 Hugging Face

@ai_machinelearning_big_data

Читать полностью…

⚡️ Выпущена Gemma 2!

Google только что выпустил новую версию своего открытого LLM!

Gemma 2 выпущен в двух размерах, 9B и 27B, модели тренировались на 8T и 13T токенов.

Модель Gemma 2 приближается к производительности Llama 3 70B, Claude 3 Sonnet и GPT-4!

▪HF: huggingface.co/collections/google/g-667d6600fd5220e7b967f315
▪Blog: https://blog.google/technology/developers/google-gemma-2/
▪Kaggle: kaggle.com/models/google/gemma-2/keras

@ai_machinelearning_big_data

Читать полностью…

✅ GPTCache : A Library for Creating Semantic Cache for LLM Queries

GPTCache - инструмент, который позволяет ускорить работу и повысить масштабируемость вашего приложения, за счет кэширования ответов от LLM.

GPTCache может помочь значительно сократить расходы на работу с LLM (до 10 раз)💰 и увеличить скорость вывода моделями( до 100 раз) ⚡ при работе с API OpenAI/HuggingFace Hub/Bard/Anthropic.

В инструменте используется семантическое кэширование, для поиска и хранения похожих или взаимосвязанных запросов, что позволяет увеличить вероятность попадания данных в кэш и повысить эффективность кэширования.

❗️ После получения результатов поиска модель выполняет оценку сходства и возвращает результаты при достижении установленного порога.

Вы можете настроить порог, который изменит точность результатов нечеткого поиска.

Подробнее в документации.

pip install gptcache

▪Github: https://github.com/zilliztech/GPTCache
▪Docs: gptcache.readthedocs.io

@ai_machinelearning_big_data

Читать полностью…

💥 Масштабное обновление получила платформа для работы с исходным кодом GitVerse

Глава СберТеха Максим Тятюшев отметил, что разработчики смогут зеркалировать репозитории с GitVerse на другие площадки для резервного копирования и в один клик смогут находить нужный репозиторий и открывать проект в локальной среде разработки.

На полях GigaConf 2024 Сбер продемонстрировал как передовые цифровые технологии и решения изменят различные секторы экономики, повышая их эффективность и конкурентоспособность.

@ai_machinelearning_big_data

Читать полностью…

🔹 Как усилить технический анализ финансовых рынков методами машинного обучения?

Рассмотрим, как современные технологии машинного обучения могут усилить и расширить классические подходы технического анализа на финансовых рынках на открытом уроке от Otus, посвященный курсу «ML для финансового анализа», 3 июля в 20:00.

✅ В течении часа рассмотрим реальные примеры и кейсы, демонстрирующие использование машинного обучения для улучшения торговых стратегий на основе технического анализа.

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/BYD9T/?erid=LjN8KPtzA

Читать полностью…

🌟 Быстрый способ переводить экраны любых приложений на русский язык

Пользователь Хабра опубликовал рабочий способ переводить на русский экраны приложений на айфоне по одному двойному тапу. Лайфхак сильно упрощает жизнь, когда нужно разобраться в приложениях на других языках.

▪️Статья: https://habr.com/ru/companies/yandex/posts/824706

@ai_machinelearning_big_data

Читать полностью…

🌟 Video-Infinity — быстрая генерация длинных видеороликов

conda create -n video_infinity_vc2 python=3.10
conda activate video_infinity_vc2
pip install -r requirements.txt

python inference.py --config examples/config.json

Video-Infinity позволяет быстро генерировать длинные видеоролики с использованием нескольких GPU.
Скорость на уровне 2300 кадров за 5 минут, что в 100 раз быстрее, предыдущих методов.

🟡 Страничка Video-Infinity
🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

👁‍🗨 LongVA: Long Context Transfer from Language to Vision

Vision модель с длинныи конетекстом , которая:

- Может обрабатывать 2000 кадров или 200к токенов
- Достигает Sota на VideoMME среди моделей 7B

▪Github: https://github.com/EvolvingLMMs-Lab/LongVA
▪Paper: https://arxiv.org/abs/2406.16852
▪Project: https://lmms-lab.github.io/posts/longva/
▪Demo: https://longva-demo.lmms-lab.com/

@ai_machinelearning_big_data

Читать полностью…

Митап для DS и ML-разработчиков от МТС

4 июля | 18:30
Офлайн в Москве | Онлайн

Что будет в программе:

— Эксперты из RnD расскажут, как как адаптировать Open Source-модели генеративного ИИ, чтобы с минимальными ресурсами получить приемлемое качество дообучения.
— Обсудим, что такое персональные ИИ-решения и как в МТС создавали персональных Аватара и Ассистента.
— Узнаем про LLM от экспертов MTS AI.

Очных участников ждут нетворкинг и ламповый вечер в пространстве летнего кинотеатра в парке «Музеон». Все желающие смогут присоединиться онлайн.

Регистрируйтесь по ссылке.

Читать полностью…

🌟 LongRAG — улучшение RAG при помощи LLM с большим контекстом

Традиционный RAG работает с небольшими фрагментами документов, т.е. нужно обработать огромное количество таких фрагментов, чтобы найти нужное.
В отличие от традиционного, LongRAG работает с большими фрагментами, что значительно улучшает результат.

LongRAG полностью использует возможности LLM с большим контекстом для достижения высокой производительности.
На графике — сравнение LongRAG с обычным RAG. Синие названия обозначают модели без тонкой настройки, а красные - модели с тонкой настройкой.

🟡 Страничка LongRAG
🟡 Датасет
🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

🖥 Maestro — это инструмент искусственного интеллекта, который использует возможности передовых нейронных сетей для выполнения ваших задач.

Этот Python-скрипт задействует до трех моделей ИИ для решения задач: Мощная связка из GPT-4o, Claude-3.5 и LlaMa 3, работающих вместе для решения ваших задач.

Роли моделей следующие:
▫️ ORCHESTRATOR MODEL — управляет всем процессом.Модель принимает ваш промпт, разбивает её на более мелкие задачи и передает их следующей модели.

▫️ SUB AGENT MODEL — выполняет ключевые функции проекта, такие как написание кода, генерация текста и многое другое.

▫️ REFINER MODEL — оптимизирует и улучшает результаты предыдущхи моделей, исправляет ошибки, делает текст более естественным и многое другое.

▪ Github: https://github.com/Doriandarko/maestro

#генеративныеии

@ai_machinelearning_big_data

Читать полностью…

🌟 MorpheuS — реконструкция поверхности с обзором 360° по монокулярному RGB-D видео

MorpheuS — это метод, который может воссоздать 360° поверхности из случайно снятого RGB-D видео.
Метод разработан Hengyi Wang и коллегами из Лондонского университета

Ненаблюдаемые области пространства достраиваются с помощью диффузионной модели

🟡 Страничка MorpheuS
🟡 Arxiv
🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

🌟 ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео

ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео.

В частности при помощи ExVideo была улучшена модель Stable Video Diffusion, для генерации длинных видеороликов до 128 кадров.
Код, статья и модель — по ссылкам ниже.

🟡 Страничка ExVideo
🖥 GitHub
🟡 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

🌟 Modded-NanoGPT — позволяет добиться качества GPT-2 (124M) при обучении всего на 5B лексем

Modded-NanoGPT — это модификация того кода для обучения GPT-2 от Андрея Карпати.

Modded-NanoGPT позволяет:
— обучать в 2 раза эффективнее (требуется всего 5B лексем вместо 10B для достижения той же точности)
— имеет более простой код (446 строк вместо 858)

🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…