machinelearning_ru | Unsorted

Telegram-канал machinelearning_ru - Машинное обучение RU

18194

Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw

Subscribe to a channel

Машинное обучение RU

CoIR: Комплексный бенчмарк для моделей генерации кода

Huawei представляет бенчмарк, включающий 10 датасетов для различных задач работы с кодом .

📝https://arxiv.org/abs/2407.02883
👨🏽💻https://github.com/CoIR-team/coir

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Storm-7B🌪️

Эта модель обеспечивает выигрыш в 50,5% по сравнению с GPT-4 Preview, что делает ее первой моделью с открытым исходным кодом, которая соответствует GPT-4 Preview в AlpacaEval 2.0.

📄https://arxiv.org/pdf/2406.11817
🤗https://huggingface.co/jieliu/Storm-7B

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🌟 local-gemma — простая библиотека и CLI для запуска Gemma-2 локально; можно использовать CUDA, MPS или CPU

— pip install local-gemma"[cpu]"

local-gemma предоставляет простой и быстрый способ локального запуска Gemma-2 прямо из терминала (или можно использовать в коде как обычную библиотеку).
local-gemma построена на основе библиотек Transformers и bitsandbytes.

🖥 GitHub

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ LLaRA: Увеличение объема данных для обучения роботов

Эффективность SotA в задачах манипулирования роботами превосходит подход, аналогичный RT-2

репозиторий: https://github.com/LostXine/LLaRA
abs: https://arxiv.org/abs/2406.20095

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Nvidia учит модели diffusion считать!

Count Gen может генерировать правильное количество объектов, указанное в подсказке ввода, сохраaняя при этом естественный формат, соответствующий подсказке.

• GIthub: https://github.com/Litalby1/make-it-count
• Project: https://make-it-count-paper.github.io/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Как переводить экран любого приложения на русский двойным тапом

Читаем короткую статью на Хабре и настраиваем перевод.

▪️ Читать

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Почитать о том, как файн-тюниный Mistral-7B + RAG может превзойти Claude 3 Opus и GPT-4o в некоторых популярных бенчмарках для генерации кода!

Повышение точности до 19%, увелеченеи скоросиь в 3,7 раза и снижаем затраты в 150 раз.

https://together.ai/blog/rag-fine-tuning

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ 100 вопросов c собесов в Data Science и ML

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

- желающему получить оффер в сфере DS
- тому, кто уже давно дата-сайнтист, но хочется освежить какие-то алгоритмы/темы
- кто хочет поменять стек на что-то в области анализа и - присматривается к DS

▪Читать
▪Видео

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🌟 4K4DGen — панорамная 4D-генерация в разрешении 4K

4K4DGen демонстрирует возможность создания динамических сцен с 360-градусным обзором в разрешении 4K, обеспечивая полное погружение в VR.
Этот метод облегчает анимацию сцены и оптимизирует набор 4D-гауссианов с помощью эффективных техник сплэтчинга.

🟡 Страничка 4K4DGen
🟡 Arxiv

@machinelearning_ru

Читать полностью…

Машинное обучение RU

BigCodeBench, новый бенчмарк для оценки LLM по сложным задачам программирования, ориентированный на реалистичные задачи функционального уровня, требующие использования разнообразных библиотек и сложных рассуждений! 👀

🧩 Содержит 1140 заданий по 5,6 тестовых примеров в каждом, охватывающих 139 библиотек на Python.

✅ Лучшая модель - GPT-4 с 61,1%, за ней следует DeepSeek-Coder-V2.

✅ Лучшая открытая модель - DeepSeek-Coder-V2 с 59,7%, что лучше, чем у Claude 3 Opus или Gemini.

👥 Задачи создаются в три этапа, включая генерацию синтетических данных и перекрестную проверку людьми.

▪Блог: https://hf.co/blog/leaderboard-bigcodebench
▪Таблица лидеров: https://huggingface.co/spaces/bigcode/bigcodebench-leaderboard
▪Код: https://github.com/bigcode-project/bigcodebench

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🍏 На iOS 18 WhisperKit работает на 40% быстрее

Количество токенов на whisper-base увеличено с 165 до 237.

▪Репозиторий: https://github.com/argmaxinc/WhisperKit
▪Тест https://testflight.apple.com/join/LPVOyJZW

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ DeepSeek-Coder-V2: Первая модель с открытым исходным кодом, превосходящая GPT4-Turbo в кодинге и математике

> > Превосходит GPT4-Turbo, Claude3-Opus, Gemini-1.5Pro, Codestral в задачах написания кода и решении математических задач.
> Поддерживает 338 языков программирования, длина контекста 128 КБ.
> Полностью открытый исходный код двух размеров: 230B и 16 B

В таблице Arena-Hard-Auto DeepSeek-Coder-V2 превосходит Yi-large, Claude3-Opus, GL M4 и Qwen2-72B.

#DeepSeekCoder

▪HF: https://huggingface.co/deepseek-ai/DeepSeek-Coder-V2-Instruct
▪Github: https://github.com/deepseek-ai/DeepSeek-Coder-V2/blob/main/paper.pdf

@ai_machinelearning_big_data

Читать полностью…

Машинное обучение RU

⚡️ Multiphase - основанный на физике метод воссоздания реалистичного движения по видеозаписям с монокуляром! #CVPR2024 Работа, проделанная специалистами из СТендфорда

▪Код: https://github.com/nicolasugrinovic/multiphys
▪Статья: https://arxiv.org/pdf/2404.11987
▪Проект: http://iri.upc.edu/people/nugrinovic/multiphys/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🚀 Discovering Preference Optimization Algorithms with and for Large Language Models

Нейросети теперь обучают сами себя — исследователи попросили большие языковые модели (LLM) найти лучшие способы оптимизации своей работы.

В результате ИИ разработал новый подход под названием DiscoPOP.

Этот метод повышает производительность нейросети в суммировании, генерации и выполнении задач. Команда опубликовала код подхода, а также процесс, который позволяет LLM самообучаться.

Полностью автономные ИИ-исследователи, которые могут улучшать свои способности самостоятельно, уже не за горами.

▪ Github


@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models

Обеспечивает превосходную производительность в различных тестах всего с 2 миллионами обучающих данных

▪github: https://github.com/yfzhang114/SliME
▪abs: https://arxiv.org/abs/2406.08487

@machinelearning_ru

Читать полностью…

Машинное обучение RU

Лучший локальный LLM до 10B

Семейство InternLM-2.5 7B только что появилось на

https://huggingface.co/collections/internlm/internlm25-66853f32717072d17581bc13

Читать полностью…

Машинное обучение RU

erid: LjN8KWxB8

Проверь свой модный уровень! Разгадай все фэшн-термины и получи подарок 🎁

Кофта с капюшоном или худи? Ботинки с дырками или броги? Если вы ищете вещи на Lamoda, необязательно знать все модные названия. Нейропоиск на платформе сделает все за вас: поймет контекст и предложит максимальное число вариантов. Даже если бренды называют вещь не так, как вы привыкли.

Но задумывались ли вы над тем, как правильно называются вещи на фэшн-языке?

Предлагаем проверить знания и выяснить, получится ли из вас модный инфлюенсер! Пройдите тест и угадайте все названия. А после участвуйте в розыгрыше сертификата от Lamoda Tech.

Для этого нужно подписаться на наш канал и поделиться результатом теста под постом с розыгрышем.

8 июля мы рандомно выберем трех счастливчиков и подарим им по сертификату на 10 000 рублей, чтобы лето стало еще более стильным 💃

➡️ Вперед за подарком!

Читать полностью…

Машинное обучение RU

Avito All Day Long — первая конференция от инженеров AvitoTech

Пройдёт 20 июля в Центре событий РБК (Москва).

У коллег есть, чему поучиться: они распилили монолит на тысячи микросервисов, масштабировались на пять вертикалей, создали три технопродукта (AvitoPlato, Trisigma, Emcee) и одно из сильнейших в стране IT-комьюнити.

На конференции можно будет послушать, обсудить и затестить решения AvitoTech, окунуться в экспертный нетворкинг и обязательно остаться на афтепати — там обещают сюрприз.

Чтобы зарегистрироваться и забронировать себе место, нажмите сюда.

Читать полностью…

Машинное обучение RU

⚡️ Гайд в которой показано, как создать чат-бота с помощью Gemma 2 9B

Здесь используется Keras 3, работает на любом сервере - JAX, PyTorch, TensorFlow. Лично рекомендую JAX для обеспечения лучшей производительности.

https://colab.research.google.com/github/google-gemini/gemma-cookbook/blob/main/Gemma/Keras_Gemma_2_Quickstart_Chat.ipynb

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 AuraSR- это модлеь с открытым исходным
кодом для апскейлинга, с помощью GigaGAN от Adobe.

🤏 Параметры 600 М
⭐️ Отлично подходит для придания резкости и мелких деталей изображениям

▶️ https://huggingface.co/spaces/gokaygokay/AuraSR

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Nvidia представляет L4 GM!

Масштабную 4D-модель реконструкции, которая может превратить видео с одного просмотра в анимированный 3D-объект.

https://research.nvidia.com/labs/toronto-ai/l4gm

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 Руководство по разработке модели Responsible Foundation: обзор инструментов и ресурсов

Представляет собой постоянно растущую коллекцию из более чем 250 инструментов и ресурсов, охватывающих текстовые, визуальные и речевые аспекты

проект: https://fmcheatsheet.org
abs: https://arxiv.org/abs/2406.16746

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

C#: t.me/csharp_ci
Машинное обучение: t.me/ai_machinelearning_big_data
АНАЛИЗ Данных: t.me/data_analysis_ml
Хакинг: t.me/linuxkalii
Linux: t.me/linuxacademiya
Базы данных: t.me/sqlhub
C++ t.me/cpluspluc
Golang: t.me/Golang_google
Java: t.me/javatg
React: t.me/react_tg
Javascript: t.me/javascriptv
Мобильная разработка: t.me/mobdevelop
Docker: t.me/+0WdB4uvOwCY0Mjdi
Python: t.me/pythonl
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Big Data: t.me/bigdatai
Devops: t.me/devOPSitsec
Собеседования МЛ: t.me/machinelearning_interview
Python подготовка с собесу: t.me/python_job_interview
МАТЕМАТИКА: t.me/data_math

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
C++ папка: /channel/addlist/CdBs5DLepLJmZjY6
C# папка: /channel/addlist/u15AMycxRMowZmRi
Java папка: /channel/addlist/ZM3J6oFNAnRlNWU6
FRONTEND папка: /channel/addlist/mzMMG3RPZhY2M2Iy
Linux папка: /channel/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

Машинное обучение RU

🔥 Mixture of Agents + конвейер FT: превосходят GPT-4, и в 25 раз меньше затрат!

Новая SOTA на - Arena-Hard (84.8) и Alpaca Eval (LC 68.4)

https://docs.openpipe.ai/features/mixture-of-agents

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ ChatGLM: Семейство больших языковых моделей от GLM-130B до GLM4 Со всеми инструментами

GLM-4:
- практически не уступает GPT-4 в области MMLU, математики, GPQA и т.д
- приближается к GPT-4 при выполнениии задач с длинным контекстом

▪hf: https://huggingface.co/THUDM
▪repo: https://github.com/THUDM
▪abs: https://arxiv.org/abs/2406.12793

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🔥 Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%

Модель демонстрирует превосходную производительность в различных задачах, включая реконструкцию, классификацию и генерацию.

▪github: https://github.com/zh460045050/VQGAN-LC
▪abs: https://arxiv.org/abs/2406.11837

@machinelearning_ru

Читать полностью…

Машинное обучение RU

AI Like OpenAI’s Sora...But Free To Try!

https://www.youtube.com/watch?v=0aUQEDv_6PY

@machinelearning_ru

Читать полностью…

Машинное обучение RU

🖥 Вышел NumPy 2.0.0. Самые значительные обновления с 2006 года для Python разработчиков

Вышла новая версия Python-библиотеки для научных вычислений NumPy 2.0.0, предназначенная для работы с многомерными массивами и матрицами.

Она включает обширную коллекцию функций, реализующих различные алгоритмы, связанные с использованием матриц. NumPy считается одной из самых популярных библиотек для научных расчетов. Код библиотеки написан на Python с применением оптимизаций на языке C и распространяется под лицензией BSD.

NumPy 2.0.0 является первым значительным обновлением с 2006 года. В новой версии добавлены новые функции и улучшена производительность, а также внесены изменения в ABI, Python API и C-API, нарушающие обратную совместимость. Например, библиотека SciPy, собранная с NumPy 1.x, потребует перекомпиляции для работы с NumPy 2.0. В некоторых случаях для использования NumPy 2.0 в приложениях потребуется внести изменения в код.

Одно из наиболее значимых изменений связано с сохранением точности скалярных выражений.

Например, выражение “np.float32(3) + 3” теперь вернет значение типа float32, а не float64. В выражениях с несколькими типами для результата будет использоваться тип с наивысшей точностью, например, “np.array([3], dtype=np.float32) + np.float64(3)” вернет значение типа float64. Также изменены целочисленные типы по умолчанию на платформе Windows: на 64-разрядных системах теперь используется 64-разрядный целый тип, а на 32-разрядных – 32-разрядный (ранее использовался аналог типа long из C, теперь это эквивалент np.intp).

Некоторые определения в C-API были изменены или удалены, например, структура PyArray_Descr. Максимальное число измерений и аргументов, выставляемое через макросы NPY_MAXDIMS и NPY_MAXARGS, увеличено до 64.

Все комплексные типы переведены на использование стандартных типов из спецификации C99 (cfloat_t, cdouble_t, clongdouble_t). Добавлен новый C API для создания собственных dtype. Также предложены новые упрощённые функции инициализации PyArray_ImportNumPyAPI и PyUFunc_ImportUFuncAPI.

В Python API обеспечено более четкое разделение между публичными и приватными API, представлена новая структура модулей. Около 100 функций, модулей и констант вынесены из основного пространства имен “np”, объявлены устаревшими или удалены. Пространство имен np.lib было очищено. Число объектов в основном пространстве имен сокращено на 10%, а в пространстве имен numpy.lib – на 80%. Пространство имен numpy.core переведено в разряд приватных. Удалены некоторые методы из классов np.ndarray и np.generic. Создано новое пространство имен numpy.stringsf со строковыми операциями.

https://uproger.com/vyshel-numpy-2-0-0-samye-znachitelnye-obnovleniya-s-2006-goda-dlya-python-razrabotchikov/

@machinelearning_ru

Читать полностью…

Машинное обучение RU

⚡️ Nemotron 4 340B!

Nvidia только что выпустила LLM размером 340B , модель близкую
к производительности OpenAI GPT-4 🤯 NVIDIA не претендует на право собственности на какие-либо сгенерированные выходные данные. 💚

🧮 340 миллиардов параметров в контекстном окне 4k
🔢 Обучена на 9 триллионах токенов
🌎 Поддерживает более чем 50 языков и более чем 40 языков программирования
🧠 Трубует 16x H100 в bf16 и ~8x H100 в int4
🤗 Модель доступна на huggingface

▪Модель: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911
▪Технический отчет: https://research.nvidia.com/publication/2024-06_nemotron-4-340b

@ai_machinelearning_big_data

Читать полностью…

Машинное обучение RU

⚡️ Только что вышла Stable Diffusion3. Самая лучшая бесплатная модель генерации изображений

https://habr.com/ru/news/821301/

@machinelearning_ru

Читать полностью…
Subscribe to a channel