🔥 MiniCPM-Llama3-V 2.5 — мультимодальная LLM-ка уровня GPT-4 (почти), которую можно запустить на телефоне

# клонируем репо и перемещаемся в папку
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V

# создаём conda-окружение
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V

pip install -r requirements.txt

MiniCPM-Llama3-V 2.5 имеет 8 млрд параметров и может принимать на вход изображения и текст.
Имея всего 8 млрд параметров, эта модель в некоторых тестах превосходит GPT-4V-1106, Gemini Pro, Claude 3 Qwen-VL-Max и MLLM на базе Llama 3.

Модель может обрабатывать изображения с количеством пикселей до 1.8 млн, показывает всего 10.3% галлюцинаций на Object HalBench, поддерживает ~30 языков (русский тоже), активно используется квантование для общей оптимизации.

🖥 GitHub

@ai_machinelearning_big_data

Читать полностью…

Как понять, подходит ли вам финтех?

Дата-аналитиками работают те, кому нравятся большие данные и большие зарплаты. Если узнали в этом описании себя — финтех для вас.

30 мая в 18:00 мск пройдёт день открытых дверей онлайн-магистратуры МФТИ и Нетологии «Финансовые технологии и аналитика». На встрече вы узнаете о задачах Data Analyst, трендах индустрии и карьерных возможностях для студентов вуза. Отдельно расскажем, как работает онлайн-образование и что нужно для поступления.

Записывайтесь на встречу, если хотите узнать больше о финтехе и возможностях онлайн-образования.
🔗Ссылка: https://netolo.gy/da9Q
Реклама ООО “Нетология” 2VSb5w9QTix

Читать полностью…

🔥 Ambient Diffusion — схема обучения ИИ-моделей на повреждённых данных

Исследователи из Техасского университета в Остине разработали инновационную схему обучения моделей на сильно поврежденных изображениях, метод получил название Ambient Diffusion. Для чего?
Последнее время то и дело возникают судебные иски — художники жалуются на незаконное использование их изображений.
И Ambient Diffusion как раз позволяет ИИ-моделям не копировать изображения, а скажем «черпать вдохновение» из них.

В ходе исследования команда исследователей обучила модель Stable Diffusion XL на наборе данных из 3 000 изображений знаменитостей. Изначально было замечено, что модели, обученные на чистых данных, откровенно копируют учебные примеры.

Однако когда обучающие данные были испорчены — случайным образом маскировалось до 90% пикселей, — модель все равно выдавала высококачественные уникальные изображения.

Возможности использования Ambient Diffusion выходят за рамки решения проблем с авторскими правами. По словам профессора Адама Кливанса, сотрудника проекта, «Ambient Diffusion может оказаться полезным и для научных и медицинских приложений. Это касается практически любых исследований, где дорого или невозможно получить полный набор неповрежденных данных — от визуализации черных дыр до некоторых видов магнитно-резонансной томографии».

▶️ Подробнее
🟡 Arxiv

@ai_machinelearning_big_data

Читать полностью…

Как работает обучение с подкреплением: классические алгоритмы SARSA и Q-learning

Почему 2 этих инструмента лежат в основе всех современных алгоритмов?

Расскажет опытный эксперт на открытом уроке от OTUS, где вы:
- познакомитесь с базовыми алгоритмами RL и поймете, чем оно отличается от остальных;
- узнаете о трех парадигмах ML и разберетесь с основными понятиями;
- определите, чем марковский процесс принятия решений отличается от случайного поиска.

Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. Встречаемся 28 мая в 20:00 мск в рамках курса «Reinforcement Learning». Все участники вебинара получат спец. цену на обучение!

Регистрируйтесь: https://clck.ru/3Aozr4

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

Читать полностью…

🔥🔥🔥 YOLOv10: Real-Time End-to-End Object Detection

⚡️ Вышла новая версия детектора объектов YOLOv10

Добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0

По сравнению с YOLOv9-C, YOLOv10-B имеет на 46% меньшую задержку и использует на 25% меньше параметров при той же производительности.

▪Paper: arxiv.org/pdf/2405.14458
▪Github: https://github.com/THU-MIG/yolov10/
▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10
▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s

@ai_machinelearning_big_data

Читать полностью…

⚡️ Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

🤯 Face Adapter - это нечто!

🚀 Новый мощный адаптер для переноса лиц, который работает с предварительно обученными diffusion моделями.

🔄 Обеспечивает точный контроль над выражениями и чертами лиц.

Работает с видео и фото.

▪Github: https://github.com/FaceAdapter/Face-Adapter
▪Paper: https://arxiv.org/abs/2405.12970
▪HF: https://huggingface.co/FaceAdapter/FaceAdapter
▪Project: https://faceadapter.github.io/face-adapter.github.io/

@ai_machinelearning_big_data

Читать полностью…

Как юристу построить карьеру в IT, не меняя профессию

По прогнозам экспертов, к 2026 году автоматизацию рабочих процессов внедрят 40% юридических отделов. Услуги таких профессионалов на стыке IT и права нужны в бизнесе, в государственном секторе и в частной практике.

Вместе с НИУ ВШЭ в Нетологии разработали программу магистратуры «LegalTech: автоматизация юридических процессов». На дне открытых дверей вы узнаете о задачах специалиста, направлениях, перспективах профессии и принципах работы онлайн-магистратуры.

Встреча будет полезна начинающим юристам и смежным специалистам, кто хочет сменить направление работы или сделать следующий шаг в карьере. Ждём и опытных юристов — вы узнаете, как вырасти в должности и зарплате.

🕘Когда: 29 мая, 18:00 мск
🔗Запись: https://netolo.gy/da9K
Реклама ООО “Нетология” 2VSb5xXTTTe

Читать полностью…

🔥 open_clip — open-source реализация CLIP

— pip install open_clip_torch

Встречайте открытую реализацию CLIP (Contrastive Language-Image Pre-training от OpenAI).
CLIP — это нейросеть, разработанная OpenAI для выполнения задач визуального, а также языкового понимания. Алгоритмы нацелены на понимание связи между текстом и изображениями.

🖥 GitHub
🟡 Google Colab

@ai_machinelearning_big_data

Читать полностью…

Data Fest 2024 | Москва, 25 мая

Приглашаем на Data Fest 2024 в Москве, в гостях у VK! Весь день, 3 зала и 30+ спикеров в одном месте 🔥

Адрес: Москва, Ленинградский пр-кт 39 (БЦ Скайлайт, башня А)
Дата: 25 мая, суббота, 11:00

Участников ждут доклады из секций:
1. RecSys секция от хоста площадки VK
2. DS Career
3. NLP
4. Advanced LLM
5. CV
6. Speech
7. ML in Physics
8. Data Strategy
9. Open Source

Регистрация доступна по ссылке: https://ods.ai/events/fest2024-vk

Читать полностью…

Стартовал прием заявок для публикации статей по AI/ ML в научном журнале международной конференцию по искусственному интеллекту AI Journey. 

Авторы лучшей научной работы получат вознаграждение в 1 млн рублей, а также получат возможность представить свое исследование перед научным сообществом на площадке конференции AI Journey.

Исследования участников будут опубликованы в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics. Статьи могут быть написаны на русском или английском языке и должны представлять только не опубликованные ранее сведения. Другие правила предоставления и оформления материалов читайте на сайте. Заявки принимаются до 20 августа.

Читать полностью…

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎

Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции.

На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных.

Темы докладов ⤵️

🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server.
🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент.
🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных.

Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Читать полностью…

ТГУ и Skillfactory открывают набор на онлайн-магистратуру "Компьютерное зрение и нейронные сети"

На программе вы сможете:
- Освоить Computer Vision от классических методов до 3D-моделирования.
- Выбрать специализацию: AR, генеративный дизайн или робототехника.
- Стать востребованным специалистом в ведущих IT-компаниях.

Почему стоит выбрать программу?
⚪️Решение реальных задач бизнеса: кейсы по продуктовому матчингу, генеративному дизайну и AR-технологиям.
⚪️Преподаватели - ведущие специалисты в сфере Machine Learning и Computer Vision, а индустриальный партнер – разработчик IT-решений Rubius.
⚪️Стоимость первого года обучения - от 240 р/месяц благодаря господдержке.
⚪️Обучение очное, но в онлайн-формате. 
⚪️Сохраняются все студенческие льготы, а по окончании вы получите диплом очной формы ТГУ.

Необходим только диплом о высшем образовании. Навыки в Machine Learning, физике и оптике не требуются.

Оставьте заявку сейчас и получите доступ к бесплатным подготовительным курсам от ТГУ, которые помогут вам успешно пройти вступительные испытания.
Ссылка: https://go.skillfactory.ru/GCbpWw 

Не упустите шанс стать востребованным специалистом будущего!

Реклама. ООО «Скилфэктори», ИНН 9702009530
erid: LjN8KFsUq

Читать полностью…

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://society.ton.org/activities/open-league

Читать полностью…

⚡️ Devon — open-source AI-программист

— curl -sSL https://raw.githubusercontent.com/entropy-research/Devon/main/install.sh | bash

Devon — AI-помощник, которого можно использовать для парного программирования;
open-source аналог Devin.
Использует API Anthropic, или OpenAI, или Groq

🖥 GitHub
🟡 Пример использования

@ai_machinelearning_big_data

Читать полностью…

⚡️ SELF-DISCOVER — система для улучшения способности LLM рассуждать

Исследователи из Google DeepMind и Университета Южной Калифорнии представили революционный подход к повышению способности к рассуждению больших языковых моделей (LLM). Их новая система «SELF-DISCOVER», презентованная на этой неделе на arXiV и Hugging Face, обещает существенные улучшения в решении сложных задач рассуждениий, потенциально революционизируя производительность ведущих моделей, таких как GPT-4 от OpenAI и PaLM 2.

Система демонстрирует повышение производительности до 32% по сравнению с традиционными методами, такими как цепочка мыслей (CoT). Этот подход основан на том, что LLM самостоятельно раскрывают внутренние структуры рассуждений, присущие задачам, для решения сложных проблем, например таких, как критическое мышление или пошаговый анализ.

Имитируя человеческие стратегии решения проблем, эта система работает в два этапа. Первый этап включает в себя составление связной структуры рассуждений, свойственной задаче, с использованием набора атомарных модулей рассуждения и примеров задач. На втором этапе – во время декодирования, LLM следуют этой самообнаруженной структуре, чтобы прийти к окончательному решению.

В обширном тестировании различных задач на рассуждение, включая Big-Bench Hard, Thinking for Action и Math, предложенный подход неизменно превосходил традиционные методы. Примечательно, что с помощью GPT-4 он достиг точности 81%, 85% и 73% по трем задачам, превзойдя методы цепочки мыслей и планирования и решения.

@ai_machinelearning_big_data

Читать полностью…

⚡️ Adobe выпустила DMD2!

Новый усовершенствованный метод дистилляции, который может превратить диффузионные модели, такие как SDXL, в мощные одношаговые генераторы изображений.

Прошло много времени с тех пор, как мы видели какие-либо интересные обновления в экосистеме SD, так что это круто 🔥

▪Project page: https://tianweiy.github.io/dmd2/
▪Code: https://github.com/tianweiy/DMD2
▪Demo: https://4e4a5c6a8b08f76802.gradio.live

@ai_machinelearning_big_data

Читать полностью…

⚡️ SWE-agent — open-source ИИ-агент для дебаггинга или решения какой-то проблемы с кодом

Всё просто: сообщаем SWE-agent, какую проблему он должен решить в нашем коде, и агент пытается автоматически исправить ее, используя GPT-4 или другую LLM.
SWE-agent исправляет 12,29% ошибок в оценочном наборе SWE-bench, что не так много — зато его работа занимает всего 1.5 минуты.

🖥 GitHub
🟡 Обзор SWE-agent, YouTube
🟡 Связанное исследование, PDF
🟡 Посмотреть демо

@ai_machinelearning_big_data

Читать полностью…

🌟 WhisperKit — распознавание речи на устройствах Apple с помощью Whisper

— brew install whisperkit-cli

WhisperKit — это пакет Swift, который интегрирует модель распознавания речи Whisper от OpenAI с фреймворком CoreML от Apple для эффективного локального вывода на устройствах Apple.

🖥 GitHub
🟡 Hugging Face

@ai_machinelearning_big_data

Читать полностью…

⚡️ Релиз Aya 23 8B и 35B от Cohere

Cohere выпустили Aya 23: с 8 и 35 млрд параметрами.
Aya 23 объединяет модели семейства Command с недавно выпущенной коллекцией Aya.
Мультиязычная (поддерживает 23 языка).

Судя по бенчмаркам, 35B версия уделывает BX-7B, Mixtral8x7B, и другие модели, а 8B версия стабильно в тройке лидеров.

▶️ Hugging Face
🟡 Протестировать

@ai_machinelearning_big_data

Читать полностью…

⚡️ Uni-MoE — унифицированная мультимодальная LLM с архитектурой MoE

Встречайте совсем свежую работу Y. Li, S. Jiang и ещё нескольких человек, в которой они презентуют Uni-MoE.
Комплексные бенчмарки демонстрируют главное преимущество Uni-MoE — значительное снижение погрешности при работе со смешанными мультимодальными наборами данных, а также улучшение совместной работы и обобщения данных несколькими экспертами.

📎 Arxiv

@ai_machinelearning_big_data

Читать полностью…

⚡️ Mistral-7B-v0.3 доступна на HuggingFace

— pip install mistral_inference

Изменения в Mistral-7B-v0.3 по сравнению с предыдущими версиями:
— Увеличен словарь до 32768 слов;
— Добавлена поддержка более новой версии токенизатора v3;
— Модель теперь поддерживает вызов функций;
— Apache 2.0 лицензия.

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', '7B-v0.3')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Mistral-7B-v0.3", allow_patterns=["params.json", "consolidated.safetensors", "tokenizer.model.v3"], local_dir=mistral_models_path)

🤗 Hugging Face — Base Model
🤗 Hugging Face — Instruct Model

@ai_machinelearning_big_data

Читать полностью…

🖥 BREAKING: Nvidia stock, $NVDA, is now trading with a market cap above $2.5 TRILLION for the first time in history.

Рыночная капитализация Nvidia впервые в истории достигла $2,5 трлн 💸.

Для сравнения, Nvidia сейчас больше, чем Tesla и Amazon ВМЕСТЕ взятые.

Более того, Nvidia сейчас больше, чем весь фондовый рынок Германии.

Капитализация Nvidia превышает рыночную капитализацию итальянского и австралийского фондовых рынков ВМЕСТЕ взятых.

5 лет назад рыночная капитализация Nvidia составляла всего 100 миллиардов долларов.

Сейчас это третья по величине публичная компания в мире, которая на 17% уступает Apple по размеру.

@ai_machinelearning_big_data

Читать полностью…

🌟 Microsoft Edge вскоре получит функцию закадрового перевода и дублирования видео в реальном времени с помощью ИИ

Браузер Microsoft Edge вскоре получит функцию закадрового перевода и дублирования видео в реальном времени на таких сайтах, как YouTube, LinkedIn, Coursera и т.д., благодаря использованию ИИ для перевода аудио на иностранные языки, сообщила Microsoft в ходе ежегодной конференции Microsoft Build 2024, стартовавшей 21 мая в Сиэтле (США).

В настоящее время эта функция поддерживает перевод с испанского на английский, а также перевод с английского на немецкий, хинди, итальянский, русский и испанский. Ожидается, что новая функция Edge на базе ИИ также сделает видео более доступными для слабослышащих или страдающих потерей слуха пользователей.

Microsoft сообщила, что Edge также будет поддерживать перевод устного контента в реальном времени на новостных сайтах, таких как Reuters, CNBC и Bloomberg. В дальнейшем компания планирует увеличить количество поддерживаемых сайтов, а также расширить возможности Edge по переводу большего количества языков.

Новая функция пополнит набор возможностей Edge на базе ИИ, появившихся у браузера благодаря интеграции с Copilot. В настоящее время Edge поддерживает возможность обобщения содержания видеороликов YouTube, но он пока не обладает способностью генерировать текстовые резюме для каждого видео, поскольку при их создании полагается на транскрипцию видео.

▶️ Демонстрация перевода в реальном времени

@ai_machinelearning_big_data

Читать полностью…

⚡️ Your Guide to Generative AI Courses

Лучший способ изучить генеративный ИИ - это создать собственный проект. Новый ресурс, который поможет вам погрузится в эту тему!

Новое руководство от DeepLearningAI
по созданию RAG приложения, с пошаговой схемой создания RAG и список кратких уроков, подготовленных кураторами, которые содержат как теоретические знания, так и практические примеры с кодом.

https://deeplearning.ai/resources/generative-ai-courses-guide/

@ai_machinelearning_big_data

Читать полностью…

⚡️ Cover-Agent — инструмент с открытым исходным кодом, включающий в себя реализацию TestGen-LLM от Meta для автоматического улучшения наборов тестов

— pip install git+https://github.com/Codium-ai/cover-agent.git

Cover-Agent использует генеративный искусственный интеллект для автоматизации и улучшения генерации тестов (сейчас в основном юнит-тестов).
Cover-Agent может запускаться через терминал, в будущем его планируется интегрировать в популярные CI-платформы.

🖥 GitHub
🟡 Связанная статья Arxiv

@ai_machinelearning_big_data

Читать полностью…

⚡️ Большой прорыв в понимании работы LLM — Anthropic опубликовала исследование

Обычно модели AI воспринимаются как "черный ящик", где ввод данных приводит к выводу ответа, но неясно, почему модель выбрала именно этот ответ. Заглядывание внутрь "черного ящика" не всегда помогает, поскольку внутреннее состояние модели состоит из длинного списка чисел (активации нейронов), которые трудно интерпретировать.
Однако, благодаря применению техники "обучения словаря", сотрудники Anthropic смогли сопоставить паттерны активации нейронов с понятными человеческому человеку концепциями, позволяя представлять любой внутренний состояния модели через несколько активных признаков вместо множества активных нейронов.

В октябре 2023 года было успешно применено обучение словаря к небольшой "игрушечной" языковой модели. Эта работа была расширена до больших и сложных моделей, включая Claude Sonnet, что позволило выявить миллионы признаков, отражающих широкий спектр сущностей, таких как города, люди, элементы, научные области и синтаксис языков программирования программирования. Эти признаки могут быть мультимодальными и многоязычными, реагируя на изображения или названия сущности на многих языках.

Авторы также обнаружили возможность манипулировать этими признаками, усиливая их для изменения поведения модели. Например, усиление признака "Золотые ворота" привело к тому, что модель начала ассоциировать себя с этим мостом, приводя его в любую тему разговора.

Работа над улучшением безопасности моделей AI продолжается, и в Anthropic надеются использовать эти открытия для мониторинга систем AI на предмет нежелательного поведения, для направления их к желаемым результатам или удаления опасных тем.

📎 Научная статья от Anthropic

@ai_machinelearning_big_data

Читать полностью…

⚡️Phi-3-medium-4k-instruct

Майкрософт выпустили новые модели Phi-3!

В том числе модели 7B и 14B.

Также добавлена мультимодальная модель phi!

- Phi-3-Vision: https://huggingface.co/microsoft/Phi-3-vision-128k-instruct
- Phi-3-Small:
~8k: https://huggingface.co/microsoft/Phi-3-small-8k-instruct
~128k: https://huggingface.co/microsoft/Phi-3-small-128k-instruct
- Phi-3-Medium:
~4k: https://huggingface.co/microsoft/Phi-3-medium-4k-instruct
~128k: https://huggingface.co/microsoft/Phi-3-medium-128k-instruct

@ai_machinelearning_big_data

Читать полностью…

🔥🚀 MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

MoRA - новый метод использования высокоранговых обновлений весов для файнтюнига моделей при сохранении того же количества обучаемых параметров, как и при использовании матриц низкого ранга.

Превосходит LoRa в задачах с интенсивным использованием памяти, помимо этого, модель достигает сопоставимой производительности в других задачах. Подробности тут.

▪repo: https://github.com/kongds/MoRA
▪abs: https://arxiv.org/abs/2405.12130

@ai_machinelearning_big_data

Читать полностью…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее Fast Track мероприятия:

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Читать полностью…

🔥 GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Только что был выпущен код для генерации 3D объектов с помощью Гауссовских сплатов.

Новый фреймворк обеспечивает высокое качество генераций и рендеринга всего по четырем входными изображениями.

git clone https://github.com/GaussianObject/GaussianObject.git --recursive

▪Github: https://github.com/GaussianObject/GaussianObject
▪Colab: https://colab.research.google.com/drive/1WIZgM--tJ3aq25t9g238JAuAoXrQYVMs?usp=sharing#scrollTo=TlrxF62GNePB
▪Project: https://gaussianobject.github.io

@ai_machinelearning_big_data

Читать полностью…